科技文章上線

OpenAI 首席科學家提出以困惑度作為限制 AI 發展的衡量指標

數字匠人
OpenAI 首席科學家提出以困惑度作為限制 AI 發展的衡量指標

目錄

你可能想知道

  • AI 公司如何衡量發展速度,才能充分協調並同意設下限制?
  • 為什麼 OpenAI 首席科學家認為,隨著 AI 系統進步,困惑度仍可能具有參考價值?

主題

OpenAI 首席科學家 Jakub Pachocki 發表了一篇新部落格文章,探討限制 AI 發展的可能性。文章的核心提議是,一種稱為困惑度的技術指標,或許能協助業界描述並比較發展進度。這項論點回應了減緩先進 AI 發展討論中的一項實際挑戰:在組織能同意發展速度限制之前,需要先有一套共同的方法來衡量系統進步的速度。

隨著人們愈發關注 AI 快速進展可能帶來的後果,這場辯論也變得格外受到重視。一位曾任職於 OpenAI 和 Anthropic 的研究人員形容,這些公司是在「拿我們的生命賭博」。Anthropic 的 IPO 申報文件也指出,這項技術可能對社會造成「災難性或存亡攸關的風險」。這些警告促使人們呼籲企業與政策制定者思考如何掌控發展步調,以及應配套哪些防護措施。

之後,Anthropic 執行長 Dario Amodei 發布了一項「掌控前沿發展步調」的計畫。這項提議似乎獲得 OpenAI 執行長 Sam Altman 和 SpaceX 執行長 Elon Musk 的支持。Amodei 提出的建議包括呼籲企業同意「共同安全標準,以及限制 AI 不受約束的進展速度」。這項提議點出一個重大協調難題:如果各組織對何謂進展沒有共識,共同承諾就很難明確界定並加以落實。

Pachocki 的文章提出以困惑度作為共同衡量指標的候選方案;Altman 稱這篇文章是「OpenAI 最近一段時間發表過最重要的內容」。這個詞不應與同名公司混淆。在機器學習中,困惑度衡量模型平均而言預測下一個 token 的準確程度。一般來說,困惑度越低,代表依據此指標的預測越準確。

這項提議部分建立在兩種評估方式的差異之上。著重於 AI 系統「下游能力」的基準測試,可能會隨著系統變化而迅速過時。專門測試特定技能的基準,可能在模型進步、開發者針對測試進行最佳化,或出現基準原本未設計評估的新能力時失去效用。Pachocki 認為,即使 AI 技術不斷進步,困惑度仍然「具有參考價值」。

這並不代表困惑度能涵蓋智慧、安全或實用性的所有面向。文章提出的是,困惑度或許能在不同世代的模型中,持續提供模型預測效能的相關資訊。它是否有助於協調,取決於各組織能否以一致的方式計算並解讀此指標,以及它能否有效反映與發展限制相關的變化。

Pachocki 的文章附有一張圖表,顯示自 GPT 3.5 以來,OpenAI 模型的困惑度如何下降。他將指標的特定數值與模型能力的重要變化連結起來。他寫道:「GPT‑4 的數值約為 0.91,已能有效運用思維鏈推理,這促使人們接著有目標地引出這項能力,並打造出現代推理模型。」這個例子說明,量化指標或許能與模型表現方式的實際變化一併納入考量。

他也指出趨勢中的另一個較晚階段:「如今,當我們的損失值降至 0.8 以下,已看到資安和數學等領域出現變革性能力。」在他的說法中,損失值下降與重要能力的發展同時出現。這項觀察是監測困惑度論據的一部分,而非證明某個特定數值必定能預測某種能力或風險。

從這個角度來看,困惑度或許能成為「通用智慧共同基準」的基礎。AI 公司可能藉此建立「共同限制」。此方法建議將可衡量的技術門檻與安全條件連結:參與的公司同意,在理解與監測 AI 行為的能力達到一項明確里程碑之前,不超越選定的門檻。

這項提議的核心概念是,發展限制需要一套共同的進展衡量方式,以及一項各方同意的安全里程碑,作為繼續發展的條件。單靠一項指標,無法決定可接受的風險程度、哪些組織應參與,或如何確認各方是否遵守規範。不過,它可以為討論提供共同參照點,避免討論只能依賴各不相同的內部評估或籠統的能力描述。

這類基準在實務上如何運作,也有一些重要問題需要釐清。困惑度關乎預測效能,但促使人們呼籲減緩發展的疑慮,還包括安全、資安和更廣泛的社會影響。模型在預測指標上的分數,本身未必能揭示其行為是否可理解、可控制,或受到充分監測。因此,任何以困惑度為基礎的安排,都必須釐清這項指標與其意圖協助管理的特定風險之間有何關聯。

落實這項提議也需要各方就衡量程序達成共識。企業必須決定使用哪些資料和評估方法、如何比較不同模型的結果,以及如何處理訓練或測試方式的變動。若缺乏一致的程序,共同門檻就可能難以解讀。公開說明方法並進行獨立評估,有助於提高結果的可比較性,不過文章中的提議本身並未解決這些治理問題。

整體而言,Pachocki 的提議將 AI 發展步調的討論,重新界定為衡量與協調問題。困惑度或許能持續反映模型進展,而理解與監測行為的具體里程碑則可作為進一步發展的條件。這種方法能否派上用場,不僅取決於指標的技術特性,也取決於各組織能否就其意義達成共識,並負責任地加以運用。

重點整理表

面向 說明
衡量指標提議 Jakub Pachocki 提議以困惑度作為衡量 AI 進展的共同指標之一,部分原因是相較於一些逐漸過時的能力基準,困惑度仍具有參考價值。
困惑度的衡量內容 它衡量模型平均而言預測下一個 token 的準確程度;困惑度越低,代表預測越準確。
模型案例 Pachocki 將 GPT‑4 的約 0.91 與有效的思維鏈推理能力連結,並表示損失值低於 0.8 時,資安和數學領域也出現了變革性能力。
協調提議 共同基準可協助 AI 公司制定共同限制,並同意在理解和監測 AI 行為的能力達成明確里程碑之前,不超越某個門檻。
重要限制 困惑度衡量的是預測效能,並非對安全性、可控制性或社會影響的完整評估。任何限制都需要額外標準與監督。

後續發展……

這項提議帶出了一系列關於 AI 研究與治理的更廣泛問題。後續研究可以探討,困惑度能否可靠地反映不同模型系列、訓練方法和評估環境中的變化。研究人員也可以探討這項指標在哪些情況下具有參考價值,以及在哪些情況下無法反映攸關安全或公共福祉的能力。

另一個重要方向,是開發能將技術表現與現實世界行為連結起來的評估方法。評估系統是否能被理解和監測,可能需要預測分數以外的方法,包括對可靠性、資安影響和監督成效進行系統性評估。這些評估必須經過審慎設計,確保結果能適用於不同組織,而非只針對單一系統量身打造。

治理研究可以探討企業如何界定具體里程碑、透明地報告進展,以及確認各方遵守共同限制。這也包括思考獨立評估、資訊分享和明確程序如何在不掩蓋正當安全疑慮的情況下建立信任。持久可行的做法可能需要結合技術衡量指標、安全證據、透明程序和國際討論。

困惑度或許能作為衡量 AI 進展某個面向的有用起點,但沒有任何單一數字能解決這項完整挑戰。持續研究穩健的基準、模型行為和監測系統,有助於釐清共同限制是否可行,以及如何將其與可證明的安全性和理解能力提升相連結。

最後編輯時間:2026/11/22

數字匠人

作者

數字匠人

閒散過客

隨遇而安,喜歡漫步於人生風景中,又為觀察家,以平靜的心看世界