前言

AI 幻覺—大型語言模型產生的自信但不正確的輸出—通常被視為惱人的錯誤。然而，近期研究揭示了一種更令人不安的可能性：幻覺可以被當作攻擊向量加以利用。本文總結來自特拉維夫大學、以色列理工學院（Technion）和 Intuit 的研究人員的合作研究成果，該研究描述了一種名為 對抗性 HalluSquatting 的方法。此技術利用模型預測出的虛構連結與資源名稱，將惡意指令注入 AI 代理的工作流程。隨著 AI 助手獲得與系統互動的能力——克隆儲存庫、安裝套件、執行指令——這個漏洞可能讓攻擊者大規模地妥協機器。本文說明該攻擊、實驗證據以及對具代理能力的 AI 系統更廣泛的安全影響。

懶人包

對抗性 HalluSquatting 利用 AI 生成的虛構連結與儲存庫名稱，事先註冊那些資源並植入惡意內容。當 AI 代理後續檢索這些幻覺式資源時，可能會執行攻擊者提供的指令。研究人員在受控測試中顯示出高幻覺率，並示範了針對多個流行程式輔助工具可能導致遠端代碼執行的情況。 幻覺不僅僅是錯誤文字——它們可能成為妥協的途徑。

主體

具代理能力的 AI（能搜尋網路、存取檔案、安裝軟體、生成並執行程式碼的系統）最近的進展擴展了其功能與攻擊面。過去，模型對不存在網頁或儲存庫的幻覺被視為準確性問題。新研究則將此類幻覺重新框定為攻擊者的機會。該論文題為「Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting」，詳細說明了一種實際方法，攻擊者預測模型可能會虛構的假資源，註冊那些名稱或建立相應的工件，並填入惡意指令或代碼。當 AI 代理後續跟隨其幻覺連結或嘗試存取被預測的資源時，可能會將攻擊者控制的內容視為權威並採取行動。

攻擊流程概念上簡單但效果強大。首先，攻擊者分析 AI 助手發明參考資料的常見模式（例如儲存庫名稱或技能頁）。接著，攻擊者在相關平台上註冊那些被預測的名稱或建立具有匹配識別碼的套件。最後，攻擊者加入旨在指示代理執行不良行為的內容——例如執行代碼、外洩資料或下載額外負載。由於現代代理常常自動或以最小確認執行安裝或執行代碼步驟，攻擊者控制的資源可能導致遠端代碼執行或其他有害影響。

研究人員針對多個廣泛使用的程式輔助工具與代理進行評估，包括 Cursor、GitHub Copilot、Gemini CLI 和 OpenClaw。在受控實驗中，幻覺式儲存庫克隆在測試情境中最高發生於 85%，而幻覺式技能安裝在某些測試中達到 100%。這些高比例顯示，在現實互動模式下，代理很可能編造出具有可預測性的資源名稱，攻擊者可預見並加以利用。

這類攻擊被命名為 HalluSquatting（對抗性幻覺霸佔），類似於 typosquatting（利用視覺或拼字相近的域名欺騙使用者）。關鍵差異在於 HalluSquatting 針對的是模型的錯誤而非人類的打字失誤：它依賴模型創造不存在資源的可預測方式。隨著具代理能力的特性更為普及，後果也從錯誤答案轉變為安全侵害——攻擊者控制的指令可能使裝置加入 botnet、開採加密貨幣、散佈惡意軟體或參與阻斷服務攻擊。

研究人員將 HalluSquatting 納入 promptware 攻擊的更大族群：即導致基於大型模型的代理執行攻擊者期望操作的操控手法。先前工作已示範直接提示注入、開發者檔案中的隱藏提示（CopyPasta）以及利用間接提示注入的惡意網頁。HalluSquatting 新增了另一向量——不需直接欺騙使用者，而是利用代理自身發明合理外部參考的傾向。

真實世界的案例與相關研究強調這不僅僅是理論。Google 研究人員早先示範過製作網站以透過間接提示注入劫持代理來外洩資料或操縱付款。其他研究顯示，程式碼或文件中的隱藏提示可導致助理散佈惡意指令。實際報告也指出有主動濫用的嘗試：例如一名 OpenClaw 使用者報告數千次試圖誘騙代理洩露敏感資料的事件。

防禦 HalluSquatting 挑戰性很高。它要求代理在對外部資源採取行動前驗證其真實性與來源。潛在緩解措施包括更嚴格地沙盒化被執行的內容、限制代理權限（例如阻止自動代碼執行或套件安裝）、改進來源驗證機制，以及維護受信任儲存庫的允許清單。此外，模型層級的防禦可降低幻覺頻率，或提示代理在追蹤不熟悉資源前標記並要求使用者確認。

儘管有緩解選項，根本的張力仍在：具代理能力的 AI 系統在能自主執行任務時最為有用，但那份自主性也增加了基於惡意幻覺採取行動的風險。研究人員警告，若不加以處理，類似 HalluSquatting 的攻擊可能導致可擴展、無針對性的妥協——實際上把具代理功能的機器變成受攻擊者控制的 botnet。隨著 AI 能力成長，安全做法必須同步調整，以確保代理不成為大規模濫用的新管道。

總之，該研究強調我們應該如何重新思考幻覺：不僅是準確性的失敗，也可能是潛在的安全向量。可預測的幻覺與代理自主性的組合構成了一種新穎且緊迫的威脅，開發者、平臺營運者與安全團隊必須加以應對，以維護 AI 驅動系統的安全。

重點摘要表