由 AI 生成、能愚弄監控攝影機的圖案(包括 Flock)
前言
背景:電腦視覺的進步使自動化監控更強大,但也暴露出新的干擾偵測的方法。本文解釋了一個最近的專案,該專案使用 AI 生成的視覺圖案 來阻止機器視覺系統對人、面孔或汽車進行分類。目的是客觀概述此技術、其實際示範,以及對隱私、法律和安全的更廣泛影響。
懶人包
重點: 對抗性圖案—由強化學習生成—可以混淆被監控系統使用的目標檢測模型。在公開測試中,這些圖案使多個開源偵測器(包括某些廣泛部署系統背後的技術)無法識別被包覆的汽車。此方法不會使攝影機失靈或使人類觀看者看不見影像;它的目標是自動分類層。
主體
最近的 noRecognition 專案展示了對抗性機器學習如何產生對現代監控的實用視覺對策。開發者 Bill Swearingen 使用強化學習演化圖形圖案,利用目標偵測模型的弱點。不同於物理遮蔽或簡單偽裝,這些圖案特別優化以破壞偵測演算法的輸出,同時在人類看來仍保持視覺上一致。換句話說,人類觀看攝影機畫面仍然會看到汽車、人物或物體,但原本會標記並記錄該物體的程式卻無法做到。
Swearingen 的工作在規模與目標鎖定方面值得注目。在約一年期間,他進行了數百萬次測試來完善能擊敗各種偵測堆疊的圖案。根據他的結果,這些圖案成功規避了他評估的所有 11 個開源偵測器。他測試的目標中包括與某商業車牌辨識供應商相關的偵測管線;在各城市考慮更廣泛部署該供應商的攝影機時,此事引起爭議。該專案在一個大型安全會議上公開展示:一輛以其中一種生成圖案包覆的 2009 年 Toyota Yaris 在現場攝影機前駛過,演示偵測層未能如預期識別該車輛。
關於這些圖案能做與不能做的事,需精確說明。它們不會致盲攝影機;也不會抹去或扭曲供人類觀看的影片。相反,它們引入了結構化的視覺噪聲,這些噪聲針對機器視覺模型內部數學的脆弱點進行調整。現代電腦視覺系統透過將視覺特徵映射到高維表示並根據學習到的模式做出判斷來分類物體。對抗性範例會破壞那種映射:對人來說讀起來像大膽的圖形藝術的設計,可能產生使分類器解讀為無關或無意義的特徵激活,導致模型輸出低信心或根本沒有標籤。
在技術上,Swearingen 使用一種強化學習形式,反覆評估圖案在目標模型上的表現,然後調整圖案以改進規避效果。他將這個過程描述為教模型「如何繪畫」:生成圖案、對偵測器進行測試、從失敗中學習,並產生更好的候選圖案。透過這個反饋回路,系統可以高頻率地生成新圖案。Swearingen 表示,他將最有效的圖案離線保存,以防供應商用那些具體範例重新訓練其模型。
該專案屬於一系列即興防禦與對抗技術的延續。活動家與技術人員長期試驗使自主感測混淆或失效的方法——從簡單的硬體技巧到專門的服裝或眼鏡以干擾臉部辨識。使 noRecognition 與眾不同的是其有意針對組織與供應商實際部署的堆疊。透過針對特定工業模型的測試,該工作從理論性的對抗範例轉向能應對已在運行的真實世界系統的有針對性對策。
除了技術示範外,這種方法也引發法律與倫理問題。自動車牌辨識與臉部辨識系統曾牽涉到誤認與濫用,從錯誤攔查到對抗議者與移民社群的監控。大量部署能持續識別的攝影機的前景已促使政策制定者與隱私倡議者展開辯論。支持者將讓人們避免自動偵測的工具視為收回隱私、選擇退出持續追蹤的一種方式。批評者則指出可能被想逃避執法或從事不法之人濫用。
此類視覺對策存在實際限制與需要考量的因素。各司法管轄區對車輛改裝與遮擋車牌的法律不同;公開示範中顯示的圖案覆蓋了車身但未覆蓋車牌。距離、解析度與攝影機角度會影響任何視覺對策的效力:在某一範圍或角度能干擾偵測的圖案,在不同條件下可能失效。此外,偵測供應商可透過重新訓練模型、增加訓練集多樣性,或部署額外的感測器融合(例如結合攝影機資料與雷達或 LIDAR)來降低對單一視覺模態的敏感度。Swearingen 表示他將最成功的圖案保密,以限制供應商的重新訓練,但在對抗設計者與模型開發者之間的軍備競賽中,這只是暫時優勢。
從政策與社會角度看,可複製的對抗技術的存在具有影響力。考慮監控部署的監管機關與市政府必須衡量自動偵測的好處與錯誤、偏見及被規避的風險。對隱私倡議者而言,阻礙自動記錄的工具可被視為在法律框架追趕之前的必要對策。對技術人員而言,此工作強調需設計能抵抗對抗性輸入的健全系統,同時考量偵測技術的倫理使用。
在實務面上,noRecognition 專案也探索過群眾募資生產可穿戴與車輛尺度的圖案——最初是品牌周邊商品,最終可能是車輛貼膜——目標是達到足夠的解析度與設計可用性,以促使人們採用。這進一步引發有關對抗性保護商品化,以及市場如何影響此類技術擴散的問題。
最終,對抗性圖案揭示了現行機器視覺的一個核心事實:它以不同於人類的方式感知世界,而這種差異可被利用。這種利用是用來保護公民權利、規避執法,或用於其他目的,將取決於法律框架、供應商回應與公共辯論。noRecognition 專案是對抗性學習如何從實驗室走向公開示範並進入政策討論領域的具體範例,突顯了技術創意與社會取捨。
關鍵見解表
| 面向 | 描述 |
|---|---|
| 重點事實 1 | AI 生成的對抗性圖案可以在保持人類可見影像完整的情況下,阻止目標檢測模型對被覆物品進行分類。 |
| 重點事實 2 | noRecognition 專案展示了對多個開源偵測器的規避,並公開在部署的攝影機系統前測試了一輛包覆圖案的汽車。 |