目錄

• 你可能想知道的事
• 主要議題
• 關鍵見解表
• 後續…

你可能想知道的事

是否有可行的方法能可靠地控制可能超越人類智慧的 AI 系統？停止開發是否可作為減少災難性風險的可行政策？

主要議題

關於人工智慧未來的辯論已快速從抽象理論轉向具體的政策與安全討論。許多 AI 公司與研究者認為，超級智慧系統 —— 即能在廣泛任務上超越人類認知能力的模型 —— 的到來是依照現有趨勢很可能甚至是不可避免的結果。與此同時，涉及先進模型的真實部署事件凸顯了預測與約束這些系統行為的困難。近期的違規與配置錯誤顯示，當更強大的系統與複雜環境互動或在沒有足夠防護措施下整合到生產系統時，可能產生意外且有害的結果。

Connor Leahy 是一位 AI 研究者與企業家，現擔任非營利組織 ControlAI 的美國執行董事，他主張採取更為審慎的立場：與其把超級智慧當作可被調整與控制的工具，不如將其視為潛在的對手，並考慮採取防止其開發的政策。這一立場有別於強調逐步改進對齊技術、監控與遏制的主流提案。Leahy 與 ControlAI 主張，一旦模型獲得足夠先進的能力，確保持續可靠對齊的技術與治理挑戰可能會變得難以克服。

Leahy 的核心關切植根於先進模型的不可預測性與優化能力。當系統具備廣泛的自主能力以及在大規模上行動或操縱資訊的能力時，微小的規格錯誤或監督上的缺口可能被放大。即使是出於善意的對齊策略，也可能在底層優化過程找到以意想不到且有害的方式達成目標的途徑而失敗。從這個觀點來看，認為對齊加上遏制就足夠的想法，假設了我們對複雜適應系統有能掌握的存取與先見，這可能不是事實。

論點的另一個面向關注於激勵與部署壓力。開發越來越強大模型的公司面臨競爭壓力，需推出功能、降低延遲、並擴展能力以滿足使用者與投資者。這些壓力可能導致過早投入生產使用、對嚴格安全測試的投入不足，以及將模型暴露於錯誤會導致實際後果的環境中。高調的安全事件 —— 例如資料外洩、模型出現不受歡迎的行為或經濟中斷 —— 說明了在能力提升但安全改進不足的情況下，如何產生系統性風險。

ControlAI 的做法主張採取更強而有力、更審慎的治理措施。這包括推動可減緩或停止達到特定能力門檻之模型開發的法規、建立更健全的稽核與驗證框架，及更嚴格的部署控制。此構想不僅要求更好的安全工程，還要移除驅使追求可能無法遏制之能力的誘因。反對者提出關於可執行性、國際協調與抑制創新的實際問題。支持者則反駁，指出可能的利害關係 —— 從廣泛的社會動盪到存在性風險情境 —— 足以證成更積極的預防措施。

也重要的是強調政治與立法環境正在演變。六個月前可能被視為邊緣或推測性的提案，現在在某些政策圈中獲得支持。立法者越來越關注 AI 的實際影響，數個司法管轄區正在推進針對高風險系統、測試要求與透明度義務的規範。此一變化反映出僅靠自願的業界做法可能不足以管理新興的危害。

關鍵在於，將超級智慧框架為對手會改變研究者與監管者的倫理計算與實際策略。如果先進 AI 無法在長期內被完全信任去追求與人類一致的目標，則冗餘、隔離與停止開發會成為安全工具箱的一部分，與對齊研究並行。但這也有權衡：停止研究可能放慢有益應用、妨礙科學進展，並將開發推入較少受規範的空間。要達成國際協調以防止單一行為者破壞全球安全既具挑戰性又是主張更嚴格控制的核心。

最後，討論強調需要多元化的安全努力。技術對齊工作仍至關重要：改進可解釋性、健全的測試與更安全的訓練方法可以降低許多類型的傷害。然而，僅有技術解決方案可能無法解決系統層級的風險，例如濫用、競爭性加速或在高能力模型中出現的突現行為。因此，將技術、組織與政策介入結合起來 —— 同時考慮某些能力可能過於危險而不宜追求的可能性 —— 是 ControlAI 與其支持者所倡導的務實立場。

總之，辯論正從超級智慧是否可能，轉向社會應如何準備以防其成為可達成的目標。把超級智慧視為對手，將安全重新框定為預防與自我克制的工作，與工程問題同等重要。監管者、產業與研究者能否在創新與審慎之間找到可行的平衡，仍是一項亟待解決但緊迫的挑戰。

關鍵見解表

後續…

展望未來，關於 AI 安全的話語很可能變得更加多元，將技術研究與法律框架及公民社會壓力結合。政策制定者必須權衡創新、經濟利益與風險緩解的競爭優先事項。與此同時，研究者與組織將需要對其侷限保持透明並提升安全實務。無論社會選擇透過健全的監管來放緩能力成長，或專注於積極的對齊研究，問題的緊迫性都表明零散的回應將不足以應對。未來數年將決定我們能否調和全球做法，或面對保護不均的分裂體系。

對於關注此一辯論的人來說，關鍵結論是：現在所做的治理選擇將塑造日後可用的選項範圍。認識到先進 AI 可能充當對手，會重新調整研究優先順序、投資決策與監管設計。這種重新框定要求我們在技術可控性上保持謙遜，同時在制定合作性的國際政策以降低災難性結果的機率方面保持雄心。