前言

日本新創公司Sakana最近宣布其AI已經實現了首篇經同行評審的科學出版物。雖然不完全錯誤，但這一聲明伴隨多種微妙之處。AI在科學過程中的參與逐漸引發爭論，其作為「共事科學家」的成熟度看法不一。Sakana定位於樂觀陣營，提出潛力，雖然也承認AI發展的早期階段。

懶人包

Sakana最新的成果揭示了AI的潛力在於生成經同行評審的論文，但這並非完全突破性的，並帶來了倫理挑戰。關於AI能否貢獻有意義的科學知識仍存在疑問。

正文

作為先驅，日本新創公司Sakana，以大膽聲明吸引了關注：他們的AI成功創造了首篇AI生成的經同行評審的科學論文。此論文據稱是由其AI系統名為The AI Scientist-v2製作，並提交給ICLR會議工作坊。公司聲稱，工作坊組織者和ICLR的領導層都參與了一個實驗過程，以盲目檢視AI生成的手稿。報告指出，與英屬哥倫比亞大學和牛津大學的研究人員進行合作，提交了三篇AI生成的論文進行評審。Sakana強調，AI完成了一個端到端的過程，包括形成研究假設、執行實驗、分析數據，甚至撰寫標題和文本。

然而，於一篇論文被接受後，Sakana選擇撤回，強調透明度及尊重ICLR的傳統。該論文介紹了一項新的神經網絡訓練技術，雖然承認存在持續的實證問題，但提供的數據可以促使科學界進一步探討。這一成就並未超過初始預期。根據Sakana的部落格文章，一些被指出的引用錯誤十分「尷尬」，包括一個方法被錯誤歸因於2016年的一篇論文，實際上它源自1997年。此外，該論文的審查並未如其它經同行評審的出版物一樣，沒有在同行評審後經過後續的「元審查」階段，這是對可能拒絕的理論上至關重要的一步。

工作坊的接受率通常顯著高於大會的主要議程，這一事實由Sakana公開披露。沒有任何AI生成的作品符合Sakana自己的主要發表標準。學術界的一些成員，如阿爾伯塔大學的Matthew Guzdial，描述了Sakana的結果為「有點誤導」，強調人類判斷在選擇有希望的AI生成論文中發揮了作用，暗示這是一種協同而非完全的AI獨立。

專注於AI的倫敦國王學院Mike Cook也對同行評審者與工作坊的嚴謹度提出了質疑。他指出，針對失敗實驗的工作坊可能為AI生成內容提供了一個更易接近的場地，這可能使AI更容易產生似乎正規無誤的分 析。AI撰寫類似人類的文體能力此前已經使AI撰寫的論文躲過期刊審查，這引發了關於AI的能力和其在科學對話中可取性的倫理問題。AI生成破壞性噪音而非實質性知識的潛力是專家愈發關注的問題。

儘管這些爭議，Sakana在立場上明確地指出，他們的AI並不聲稱是在產生開創性的科學貢獻。相反，這個實驗主要是在檢驗AI生成研究的「质量」並強調AI驅動科學立即需要建立規範。這場爭論之一是AI產生的科學是否應獨立評估以避免對其固有偏見，這一觀點由Sakana反覆強調。研究社區有關AI在學術領域和整個科學方法中的角色和影響的對話正不斷演變。

關鍵見解表格