前言

在快速演變的網絡安全環境中，AI 生成的內容，通常被稱為AI 泥，帶來了新的挑戰。過去幾年，低品質 AI 生成的媒體內容，如文本、圖像和影片的激增，已在平台上造成不真實內容的負擔。這一趨勢已滲透到網絡安全領域，影響了依賴準確漏洞報告的漏洞賞金計劃。本文深入探討業界對 AI 生成提交的湧入所採取的影響和回應。

懶袋

由 LLM 生成的不真實報告標誌的 AI 泥威脅著網絡安全效能。挑戰在於：將真正的漏洞與虛假的聲稱區分開來。

主體

過去幾年來，人工智慧的演變可謂變革性，影響了從醫療到汽車行業的各個領域。然而，這種演變也在安全等領域引入了新的挑戰，特別是在檢測和回應系統方面。在網絡安全領域，漏洞賞金計劃作為重要工具，通過吸引道德駭客來確認軟件的漏洞。這些計劃雖然不可或缺，但由於 AI 生成的虛假報告的興起，面臨著前所未有的挑戰。

AI 生成的內容，俗稱「AI 泥」，已經充斥了網絡空間，包括網站和社交媒體，泛濫著錯誤訊息和虛假信息。網絡安全領域同樣受到影響，許多通過語言模型如 LLMs 生成的報告經常編造不存在的漏洞。這些虛假報告，雖然初看似乎可信，但當網絡安全團隊忙著分析和驗證這些聲稱時，耗費了寶貴的資源。

RunSybil 的聯合創辦人兼 CTO Vlad Ionescu 指出，LLM 有潛力提供有用的回應，有時以準確性為代價。在生成報告時，這些模型經常提供詳細但虛構的漏洞，隨後在漏洞賞金平台上傳播。這一趨勢不僅挑戰了這些平台的效能，還增加了依賴它們的公司和研究人員的負擔。

此類問題的例子屢見不鮮。安全研究員 Harry Sintonen 發現一份針對開源安全項目 Curl 的虛假報告，展示了 AI 生成的錯誤信息的實際影響。來自社群的回應，包括 Open Collective 的 Benjamin Piouffle 等人物，進一步強調了假 AI 提交的數量淹沒這些平台。

儘管面臨挑戰，並非所有實體都報告虛假報告的急劇增加。像 Mozilla 這樣的公司保持低拒絕率，這表明整個行業受到的影響程度有所差異。然而，普遍的感受是 AI 泥的潮流正在上升，需要創新的解決方案。

為了應對這些挑戰，像 HackerOne 和 Bugcrowd 這樣的公司正在採用混合方法，結合人工監督和 AI 助手，如機器學習模型，以更有效地過濾報告。這些方法承諾更有效的分診系統，如 HackerOne 的 Hai Triage，利用 AI 來過濾噪音，並識別出需要人工驗證的潛在真正威脅。

隨著駭客使用 AI 和由 AI 驅動的保護措施之間的互動加劇，該行業正處於一個十字路口。改進 AI 系統以進行分診的開發和實施將對維持平衡至關重要，並確保網絡安全工作可以繼續有效應對新的威脅。

關鍵觀察表