重點摘要

AI基準組織Epoch AI未及早披露OpenAI資助其FrontierMath項目而遭到批評。這一延遲披露引發了AI社群中的不當行為指控。透明性對於維護AI基準的信任至關重要。許多貢獻者在涉及OpenAI的參與情況成為公眾知識之前並未獲得通知。此事件突顯了開發不帶偏見的AI評估工具的複雜性。

情感分析

• 圍繞此問題的情感主要混合著對透明度的失望及承認必要的改進。


• 批評者強調透明過程對於保持AI基準項目的可信度的重要性。


• 下方進度條顯示整體情感：

文章內容

由於一個組織未能及時披露OpenAI對一基準項目的資助，引發了爭議。NGO Epoch AI主要由Open Philanthropy資助。12月20日，他們公開表示，OpenAI對FrontierMath的開發做出了貢獻，這是一個將專家級數學挑戰作為基準以衡量AI性能的項目。這個基準對OpenAI展示其旗艦AI o3起了關鍵作用。

然而，許多FrontierMath的貢獻者直到公告發布才知道OpenAI的角色，這被部分人批評為缺乏透明度。一位名為“Meemi”的貢獻者在LessWrong上指出Epoch AI的溝通不夠，強調了對於資金披露透明性和AI部署考量中工作潛在應用的重要性。

社交媒體上也出現了擔憂，認為此類隱秘可能會損害FrontierMath作為公正基準標準的聲譽。此前未公開的信息是，OpenAI在o3發布前就已對FrontierMath數據集進行了訪問。Epoch AI的聯合創始人及董事Tamay Besiroglu承認了未能透明的錯誤，並表示儘管有合同限制，應該更努力地與貢獻者討論這些互動。

Besiroglu進一步澄清了OpenAI有口頭協議不利用數據集訓練其AI，並維護了一個單獨數據集以供獨立驗證。不過，Epoch AI的數學家Ellot Glazer指出，獨立驗證OpenAI報告結果的挑戰。Glazer相信OpenAI並未利用數據集，但在獨立測試之前保持謹慎。

這一事件反映了創建中立AI進展基準時面臨的更廣泛問題，強調了在透明性和運營約束之間的平衡。

重要見解表