決策模型競爭升溫之際，OpenAI 擴大 Decisions API 的使用範圍

重點摘要

OpenAI 已全面開放 Decisions API，加入快速成長的模型競賽，這類模型旨在快速做出選擇並提供信心評分。這項產品改造 ChatGPT Luna，以降低推論時間與成本，而非依賴另行校準的模型。早期客戶部署回報了工作流程加速的成效，包括 Speak 將操作間隔時間從 1.4 秒縮短至 .13 秒。業界基準測試對競爭系統的評估各有不同，結果也可能因任務而異。核心挑戰在於，如何針對每種真實工作負載，平衡速度、成本、智慧程度與校準。新的語音與影像功能也可能擴大這些系統能處理的任務種類。

情緒分析

• 文章整體語氣以資訊說明為主，並審慎樂觀。文章介紹 OpenAI 的產品發布，以及早期客戶回報的實際效益，但並未將這些效益視為某一模型在所有情況下都最優秀的證明。
• 正面觀感來自回報的速度提升、營運成本降低，以及功能擴展至語音與視覺輸入。Speak 的案例具體呈現了更快的決策如何影響產品的回應速度。
• 對競爭情況的討論相當平衡。TypeSafe 的 Jev 模型仍受到矚目，而公開排名則顯示其他系統在特定指標上勝過 OpenAI 的模型。文章也指出，基準排名未必能預測模型在客戶自身工作流程中的表現。
• 決策模型的有效性仍有一些不確定之處。不同工作負載可能需要不同程度的智慧、速度、成本效益與校準，因此文章鼓勵依照實際情境進行評估，而非只依賴通用排名。
• 整體而言，文章對此類模型的潛力抱持正面看法，但對目前的證據與限制仍保持審慎。

文章正文

OpenAI 已全面開放其 Decisions API 模型，讓更多使用者能使用這項技術；它旨在從一組選項中快速做出選擇，並提供信心評分。此一發布讓 OpenAI 踏入不斷成長的決策模型市場，這類模型有時也稱為 System One 模型。這些系統旨在處理特定決策任務，速度比傳統大型語言模型工作流程更快，成本也更低。隨著軟體開發者探索能否在特定應用中，以此取代較慢、較昂貴的元件，這類模型的吸引力也日益提升。

TypeSafe 讓這個領域受到更多關注。這家新創公司由一位前沿研究實驗室的前研究員創立，其 Jev 模型協助建立了「超級分類器」的概念：這種系統會在明確定義的選項中做出選擇，並回報選擇的信心程度。原文稱 TypeSafe 是一家市值 76 億美元的公司。開發者已開始探索在回應必須快速且受限，而非開放式生成的工作流程中使用決策模型。不過，這類模型是否合適，取決於任務本身，以及團隊如何界定可接受的準確度與信心程度。

OpenAI API 產品負責人 Nikunj Handa 表示，他的團隊看到 Jev 後，認為它有大量可能的應用場景。接著，OpenAI 透過改造 ChatGPT Luna 開發自家的產品。團隊沒有打造專為決策校準的模型，而是重新配置 Luna，以降低推論時間與成本。Handa 說，主要改進是將回應時間從 1 到 3 秒縮短至 100、120、180 毫秒。他表示，未來可能會考慮進行專門訓練；目前的版本則是以 Luna 現有形式運作。

OpenAI 在 9 月 29 日的開發者日宣布推出 Decisions API，並於週四向所有客戶開放。公開版本新增語音與視覺模態。該公司也表示，已透過在不同地區配置推論資源，努力降低全球各地的延遲。這些設計旨在讓服務回應更迅速，並能應用於更廣泛的場景，包括處理文字以外內容的應用。

早期試用客戶包括 Box、Datadog、Ramp 和 Speak。這些公司的工程師在希望獲得高於 OpenAI LLM 吞吐量的工作流程中使用 API。AI 語言教學公司 Speak 的技術長 Andrew Hsu 表示，這項 API 將操作間隔時間從 1.4 秒縮短至 .13 秒。OpenAI 也利用這項產品提升 Dots 語音助理的回應速度。這些案例說明，在互動式產品中，延遲的重要性可能不亞於模型能力。

儘管市場興趣濃厚，但除了是否適用於特定應用之外，目前還沒有公認的優良決策模型定義。開發者可能需要依工作負載，以不同方式平衡智慧程度、成本、校準與速度。TypeSafe 執行長 Diogo Almeida 不信任基準測試，並建議人們在實際工作中試用模型。與此同時，TypeSafe 也在推出最新 Jev 模型時發布了自家的排名；新模型加入了影像支援與 smart-if 陳述式等功能。

公開比較結果也各不相同。AIM System One Index 和 Artificial Analysis Decision Index 通常較看好 D1 Ultra（Liquid 上週發布的新決策模型）以及 Base Lab 的 Elephant-1。最新 Jev 模型在這兩項指標中分別排名第七與第三，而 OpenAI 的 Decision Model 則分別排名第八與第十四。原文也指出，目前 TypeSafe 的模型在 OpenRouter 上最常被查詢。這些排名提供了比較參考，但無法確定各系統在特定公司的工作流程中會有何種表現。

JevMan 是另一種評估方式，讓決策模型玩 PacMan。最新 Jev 模型在該排名中居首。打造這項基準測試的 Opper AI 首席成長長 Felix Wunderlich 表示，這款經典遊戲是很有用的測試，因為它要求模型持續做出快速且攸關成敗的決策。模型必須在每個岔路口於幾百毫秒內決定前進方向。因此，這項基準測試著重的是受限情境中的快速決策，而非廣泛的語言能力。

OpenAI 認為，多模態能力可能是自家模型的優勢。Handa 告訴 TechCrunch，Luna 在影像分類方面表現出色，校準能力也有所提升。他補充，客戶希望 Decisions API 在將影像用作輸出時能提供更大的彈性。他也指出，進一步降低延遲可能促成新的應用，例如若回應時間達到 60 毫秒，就能在影片的每一格都呼叫一次 API。

文章將決策模型可能普及的趨勢，連結到 Jev 的同名人物——一位經濟學家，他提出更有效率地使用資源，能使資源更廣泛普及。隨著模型變得更快速、成本更低，更多開發者可能會發現適合交由它們處理的任務。Handa 表示，隨著技術進步，一系列不斷增加的潛在應用可能會逐漸浮現。這種成長的規模將取決於實際表現、成本，以及模型能否滿足不同工作負載的需求。

關鍵洞察表