為什麼獨立 AI 稽核需要保持獨立

重點摘要

六家領先的 AI 公司承諾與獨立稽核人員合作，但協議並未說明由誰挑選稽核人員、他們可以檢查哪些內容，或是否必須公開結果。過去企業的失敗，以及先前自願性 AI 承諾的成效不彰，都說明將監督交由受審查的公司負責有其風險。新的隱私保護測試方法，或許能讓稽核人員在不取得模型副本或接觸敏感資料的情況下檢查先進模型。要讓稽核具公信力，公司就不應掌控檢查的問題或範圍。本文主張，應透明選任稽核人員、提供有意義的報告，並讓審查稽核結果的人員受到外部問責。

情緒分析

• 本文對白宮協議抱持審慎批判的態度。文章肯定外部審查的承諾，但強調僅有自願承諾未必能確保嚴謹監督。
• 包括 Enron 與 Arthur Andersen 倒閉事件在內的歷史案例，支持了人們對利益衝突的擔憂：公司自行選任並支付稽核人員的費用，可能造成利益衝突。對先前 AI 承諾的討論也顯示，這些承諾可能未能充分落實。
• 文章的語氣並非全然悲觀。Google DeepMind 與新加坡 AI 安全研究所及其他團體共同開發的雙盲測試方法，被視為一種務實做法，可同時保障模型安全與評估者的獨立性。
• 整體而言，情緒複雜但偏向審慎：加強審查的技術方法已經存在，但可信的治理、公共問責，以及防範利益衝突的保障措施仍未解決。

文章正文

六家大型人工智慧公司近日同意，依據一項提交白宮的協議，配合外部審查人員進行審查。9 月 29 日，Nvidia、OpenAI、Anthropic、Google、Meta 和 xAI 簽署了關於其最先進 AI 模型的協議。美國總統 Donald Trump 稱這項協議具有「道德約束力」。這些公司表示，將與獨立的外部稽核人員或評估者合作，並由獨立董事會成員審查報告，確保已發現的問題獲得處理。

外部審查有助於找出公司可能忽略，或缺乏動機揭露的風險。然而，這項協議仍留下重要問題未解：它沒有界定由誰挑選稽核人員、稽核人員可以檢查模型或開發流程的哪些部分，也沒有說明是否必須公開調查結果。此外，協議也未規定不履行承諾的處罰措施。依照目前描述的安排，公司自行選擇稽核人員，並決定稽核人員可以取得哪些資料。

本文將這套架構與 Enron 和 Arthur Andersen 涉及的會計醜聞相提並論。2000 年，Enron 支付 Arthur Andersen $25 million 稽核帳目，另支付 $27 million 作為稅務與顧問服務費用。不到兩年，兩家公司都倒閉了。國會隨後通過《Sarbanes-Oxley 法案》，將稽核人員的選任權從管理階層手中移除、限制稽核人員向稽核客戶提供許多其他服務，並成立一個公共委員會來檢查稽核人員。文中指出，Andersen 的失敗並非單純因為專業能力不足；財務誘因可能削弱稽核人員質疑客戶的意願。

自願性的 AI 承諾也帶來參差不齊的成果。2023 年，領先的 AI 公司向白宮承諾，包括允許外部專家在系統發布前進行測試。Stanford、Harvard 和 Brown 的研究人員後來依據這些承諾，評估了 16 家公司。平均分數為 53%，而 16 家公司中有八家在「協助外部人士找出並通報問題」這項承諾上得了零分。這些結果令人懷疑，在缺乏明確標準或執行機制的情況下，依賴承諾是否足夠。

即使確實進行外部測試，模型開發公司仍可能限制評估者可以檢查的內容。非營利 AI 模型測試機構 METR 表示，在 OpenAI 的 o3 模型發布前進行的評估僅持續三週，可取得的資訊有限，而且無法查看模型逐步推理的過程。OpenAI 確實允許進行這項評估，但這個例子說明，審查的價值取決於開發者提供的權限與條件。

模型安全確實帶來一項棘手難題。訓練完成的 AI 模型是一個非常龐大的數字檔案，製作成本可能超過 $100 million。若將副本交給外部人士，可能會暴露有價值的技術或造成安全風險。Google DeepMind 曾說明由此產生的兩難：評估者可能必須事先透露問題，讓公司知道測試內容；或者由開發者讓評估者取得模型。

8 月，Google DeepMind 與新加坡 AI 安全研究所及另外三個外部團體合作，展示了另一種做法。這項合作依照雙盲藥物試驗所採用的原則，進行了其所稱全球首例 AI 模型雙盲測試。測試在封閉式電腦硬體上進行，評估者看不到模型，Google 也看不到他們的問題。Google 表示，雙方都能以數學方式驗證各自的資料仍受到保護。這種做法顯示，獨立測試不必以交付模型副本給稽核人員為前提。

封閉式硬體並非毫無風險。去年，研究人員使用不到 $1,000 的設備突破了這類硬體的防護，不過攻擊者必須實際接觸伺服器。本文認為，這項弱點值得重視，但比起全面拒絕讓評估者接觸模型，更容易管理。謹慎管控設備可以降低風險。

Decentralization Research Center 本週發布的報告《集中式 AI 的替代方案》，根據對 36 人的訪談，整理出近 30 種可行方案，說明如何避免 AI 由少數人掌控。報告的核心發現是，外部人士無須取得模型或其資料，也能審查先進 AI。因此，本文建議由稽核人員，而非受評估的公司，決定測試內容。公司應公布稽核人員身分並說明稽核範圍，即使詳細結果仍須保密也無妨。本文也主張，負責審查報告的董事會委員會應向公司以外的對象負責。這項協議並未設立獨立的稽核人員監察機構，因此國會必須決定如何填補這項問責缺口。

關鍵見解表