俄羅斯網路使用 ChatGPT 冒充學術專家
前言
摘要: 一份由 OpenAI 發布的報告說明,一個很可能在俄羅斯運作的網路利用 ChatGPT 來創建並散佈自稱為某學術機構作品的內容。該活動使用翻譯後的提示、虛擬私人網路(VPN)繞過地區封鎖,並將抄襲的學術內容錯誤歸屬於真實學者。本文說明調查結果、用以掩蓋來源的技術,以及在生成式 AI 上出現的類似影響行動的更廣泛背景。目的是提供對該事件及其對資訊完整性與平台安全影響的清晰、中立的說明。
重點摘要
重點要點: OpenAI 封禁了被認為來自俄羅斯的帳號,這些帳號使用 ChatGPT 起草文章並掩蓋俄羅斯來源。該網路宣傳所謂的 International Burke Institute(IBI),發佈大量抄襲文章並歸於未曾撰寫該文的學者。雖然大多數貼文的觸及程度有限,但相關的 Telegram 頻道擁有可觀的追隨者。該行動使用 VPN,OpenAI 發現與先前與俄羅斯有關的活動有關聯,但並未將 IBI 行動直接歸因於俄羅斯政府。
主體
OpenAI 的報告描述了一項協調行動:一群帳號——被評估為非常可能源自俄羅斯——使用 ChatGPT 生成社群媒體內容與留言,以宣傳一個自稱為 International Burke Institute(IBI)的實體。IBI 將自己呈現為一家位於以色列的學術機構,擁有精心包裝的個人檔案與文章,營造出學術產出的外觀。根據 OpenAI 的說法,活動操作者使用俄語提示指示 ChatGPT 撰寫英文貼文,並採取措施隱藏內容來自俄羅斯的跡象。
由於 ChatGPT 在俄羅斯被封鎖,操作者依賴虛擬私人網路(VPN)來存取該服務並偽裝其位置。OpenAI 認為這個團體的工作流程結合了自動化內容生成與人工協調:AI 生成的文字構成貼文與留言的基礎,而人類操作者管理社交帳號、建立該機構的網站,並透過通訊平台傳播連結。公司已移除並停權其認定屬於該網路的帳號。
報告的一項主要發現與 IBI 網站上發佈的內容有關。OpenAI 審查了 36 篇文章,發現其中 34 篇看起來是從其他來源複製而來。數篇文章被歸於並非實際作者的學者,且有些文章被指派給錯誤的專家。例如,一篇關於中巴經濟走廊的文章似乎取自劍橋大學出版社的來源,卻歸功於一位其學術專長為南亞政治而非該主題的教授。這種錯誤歸因與內容重用的模式顯示,操作者有意透過利用知名名字與既有研究來製造可信度。
IBI 大多數貼文的受眾規模有限;許多條目僅獲得少量瀏覽。然而,該網路也透過 Telegram 頻道推廣該機構,在數個案例中每個頻道的追隨者數量達到約 20,000 人。低能見度貼文與較大型訊息頻道追隨群的結合,暗示一種多管道的分發策略:在主流平台上廣而淺的存在,並在通訊生態系統中進行更集中且目標性較強的推廣。
OpenAI 將此活動置於使用生成式 AI 的俄羅斯相關影響行動的更廣背景中。2024 年早些時候,公司識別出一個標為 Doppelganger 的行動,該行動同樣依賴 ChatGPT 生產有利於俄羅斯、批評烏克蘭、北約與美國的文章、社交貼文與留言。報告也引用了俄羅斯關聯團體使用 AI 工具執行網路任務的案例:一個名為 Forest Blizzard 的團體(與俄軍情報有關)據報利用 ChatGPT 研究目標、起草腳本並協助網絡釣魚活動。這些例子說明生成式模型如何被轉用於多種惡意活動,從宣傳到支持網路攻擊。
重要的是,雖然 OpenAI 將 IBI 行動與使用俄語提示及 VPN 的操作者聯繫起來,但公司並未直接將該行動歸因於俄羅斯政府。其也指出某些以色列個人可能曾在會議出現或提交與該機構相關的文章,但 OpenAI 發現的證據不足以釐清這些人、IBI 與在俄羅斯辨識出的網路操作者之間的關係。這種模糊性突顯了歸因的一項常見挑戰:惡意網路常使用中介、看似合理的第三方或借用的可信度來複雜化與國家行為者的直接聯繫。
IBI 案例凸顯若干實務與政策上的含義。首先,生成式 AI 降低了大規模產出流利、看似合理文字的門檻,使行為者能輕易捏造機構、建立假專家檔案並相對容易地重製學術文體。第二,錯誤歸因與內容抄襲可誤導隨意讀者,並使再利用的資料獲得不應有的權威性,特別當被複製的作品關聯到有聲望的出版社或知名學者時。第三,平台營運者與研究機構必須保持警惕:識別並瓦解此類網路需要對內容來源、語言模式、帳號行為與跨平台散布進行鑑識審查。
對於研究人員與平台防禦者而言,該報告展示了將自動化偵測技術與人工分析結合的價值。AI 工具可標記重複內容、異常的歸因模式以及不尋常的帳號行為,但仍需人類專業來驗證出處、聯絡被錯誤歸因的作者並評估情境線索。政策回應可能包括加強學術出版的出處信號、鼓勵透明的作者歸屬,並改善平台層級防範協調性不實行為的機制。
最後,此事件顯示需要更廣泛的公眾意識。讀者應對不熟悉的機構與看似具權威的文章保持健康的懷疑態度:查核原始出版者、透過機構頁面驗證作者資歷,並尋找佐證來源。通訊平台與社群媒體生態系能迅速放大捏造內容;因此媒體素養與查證做法日益成為對抗操縱的重要防線。
總之,OpenAI 關於 IBI 行動的報告描述了一項利用 ChatGPT、VPN 與抄襲材料來製造學術可信度的複雜但未完全成功的嘗試。該行動的方法呼應了先前利用生成式 AI 的影響努力,並強調為維護資訊完整性而需協調技術、制度與公眾回應的重要性。
關鍵見解表
| 面向 | 說明 |
|---|---|
| 來源與工具 | OpenAI 評估帳號非常可能源自俄羅斯,並發現操作者使用帶有俄語提示的 ChatGPT 以及 VPN 來隱藏位置。 |
| 目標實體 | 該活動宣傳 International Burke Institute(IBI),該組織自稱為以色列的學術機構,但發佈內容多為抄襲。 |
| 內容真實性 | 在審查的 36 篇文章中,有 34 篇似乎來自其他來源,有些文章被錯誤歸於並非作者的學者。 |
| 觸及範圍 | 大多數貼文的受眾很少,儘管相關的 Telegram 頻道各自可觸及約 20,000 名追隨者。 |
| 歸因 | OpenAI 並未將該行動直接歸因於俄羅斯政府,並指出某些以色列個人與該行動之間的關聯不明。 |
| 更廣泛背景 | 該活動與先前使用生成式 AI 執行宣傳與網路任務的俄羅斯相關影響與網路行動相一致。 |