Anthropic 在美國國安局的工程師與要求暫停 AI 發展的呼籲
重點
報導指出,Anthropic 已將大約半打工程師派駐至美國國家安全局,以協助部署其 Mythos 模型用於攻擊性網路行動,這可能包括針對中國與伊朗等國家的網路行動。與此同時,Anthropic 發表研究警告人工智慧正接近遞歸自我改進,並敦促前沿實驗室進行可驗證的全球暫停。 這種並置──在倡議停止失控 AI 發展的同時與情報機構進行實務合作──提出了關於治理與風險的緊迫問題。
情緒分析
- 整體語氣介於複雜與謹慎:報導結合了對先進 AI 供國家安全使用的擔憂,以及 Anthropic 內部對 AI 發展軌跡的強烈警告。機構與公眾反應可能分歧:有人會將與 NSA 的合作視為務實的防禦工作,也有人會視其與約束呼籲相矛盾。公司的研究帶有沉重且謹慎的基調,敦促協調的國際措施以防止遞歸性自我改進超越人類監督。監管、法律與商業壓力──包括即將到來的上市計劃與與美國國防部的持續訴訟──加劇了審視與複雜性。
文章內文
近期報導指出,Anthropic 已在美國國家安全局安插約六名工程師,以協助在攻擊性網路行動中部署 Mythos——一個強大的內部 AI 模型。根據這些報導,這些前置部署的人員會根據特定任務需求調整模型,且消息來源暗示 Mythos 可能被用來滲透或利用中國、伊朗等國家的網路。Anthropic 未公開釋出 Mythos,理由是濫用風險,改為透過名為 Project Glasswing 的聯盟將存取限制於經審核的合作夥伴。
同時,Anthropic 的內部研究機構發表了一篇論文,檢視其 Claude 系列模型如何開始自動化自身開發的部分環節。公司描述工程工作流程的快速轉變:Claude 現在貢獻了合併到生產環境的大部分程式碼,使團隊能釋出比以往更多的程式碼。研究警告,此一軌跡可能朝向遞歸自我改進發展,屆時 AI 系統會在逐漸減少人類監督的情況下設計並訓練更有能力的後繼系統。該前景被框定為一種系統性風險,值得協調的國際行動。
公司發表的實驗包括一個案例:將一個開放式 AI 安全研究問題交給 Claude 代理,代理在大部分時間內以高度自動化的方式完成工作。人類研究員在短時間內恢復了部分性能差距;而代理在運行大量運算小時並自行設計實驗後,恢復了更大比例的性能。Anthropic 的作者將此解讀為模型開始展現研究判斷力的證據,而不僅僅是在執行人類定義的任務。論文強調,一旦 AI 選擇要執行的實驗,人類可能會失去在迭代開發迴路中最後有意義的控制,使小的錯配在世代間累積放大。
Anthropic 將解方框定為可驗證的全球暫停:多家領先實驗室將同時停止前沿模型的開發,並由獨立機構驗證以確保遵守。公司表示願意參與此類暫停,但警告單方面放慢步伐只會將領導地位轉移給繼續推進者。此提議呼應先前研究者與業界人士對合作性限制的呼籲,以降低無限制 AI 進展所帶來的存在性與系統性風險。
這些發展發生在法律與商業緊張局勢之中。Anthropic 一直捲入與國防部相關的訴訟,因為在合約流標後該機構被標記為供應鏈風險。該指認呼應過去對外國對手採取的行動。Anthropic 抵制其模型被用於某些國防用途,特別是完全自主武器或大規模國內監控,並已在法庭上挑戰政府行動。與此同時,報導指出 NSA 在法律爭議期間持續使用 Mythos,加劇了關於監督與問責的公共辯論。
在與國家情報機構的實務合作與對失控 AI 的公開警告之間的並置,提出了複雜的治理問題。批評者可能視之為矛盾:一家公司一方面警告存在性風險,另一方面又提供敏感的攻擊能力。支持者則可能主張,向國家安全夥伴提供先進工具可以是一種防禦性責任,確保受信任的行為者控制高級能力而非敵對者。不論如何,此情境突顯了商業誘因、國家安全需求與全球安全關切之間的緊張關係。
Anthropic 的時機值得注意:公司正為一項可能提高其財務與策略選擇審視的首次公開募股做準備,且監管與合約爭議仍未解決。隨著前沿 AI 能力加速,利益相關者──包括實驗室、政府與國際機構──面臨定義規範、驗證機制與負責任開發法律框架的壓力。關於協調暫停的爭論證明了這些選擇的迫切性與不確定性。
主要結論: Anthropic 同時與 NSA 合作並倡議全球暫停,概括了先進 AI 的核心困境:如何將快速技術進展與強而有力的監督、透明度與國際合作相結合。
關鍵洞見表
| 面向 | 描述 |
|---|---|
| 與 NSA 的合作 | 報導稱 Anthropic 安置工程師於 NSA,以將 Mythos 模型調整用於攻擊性網路任務。 |
| Mythos 存取 | Mythos 仍未向公眾釋出,僅透過私人聯盟限制於經審核的合作夥伴存取。 |
| 遞歸自我改進風險 | Anthropic 的研究顯示模型越來越多地自動化開發任務,可能導致 AI 系統設計自身的後繼者。 |
| 提議的解方 | Anthropic 呼籲前沿實驗室之間進行可驗證的全球暫停,以防止不受控制的 AI 武器競賽。 |
| 法律與商業脈絡 | Anthropic 面臨訴訟並與國防部的關係存有爭議,同時正準備一項將帶來更大公眾檢視的上市計劃。 |