前言

背景：

一群應屆畢業生發現自動化模型可以產出可運作的結果，但無法可靠地判斷何者真正引人入勝或有吸引力，於是建立了一個以 AI 為驅動的設計評估平台。本文說明這項洞見如何促成 Design Arena 的誕生——現為 Intelligence 的一部分——該公司在大規模收集人類偏好並將所得的品味數據貨幣化。此處旨在概述公司的起源故事、產品行為、商業模式，以及對 AI 發展的更廣泛影響。

懶人包

Design Arena 的起源是當大學創辦人意識到模型可以做出可用的東西，但並不令人愉悅。 他們建立了一個可大規模擷取人類判斷的平臺，讓使用者對替代方案進行排序，讓 AI 開發者得以學習人們實際偏好的內容。該新創公司已吸引前沿 AI 實驗室作為付費客戶，並剛完成 790 萬美元的種子輪募資，以擴大其人類主導的評估服務。

主體

公司的起源可追溯到一小群朋友，他們在 2025 年畢業前數週專注於讓一個 AI 遊戲引擎運作。雖然模型能成功產出可遊玩的遊戲，但輸出缺乏使遊戲有價值的要素：樂趣。創辦人面臨一個簡單但重要的問題—— 你要如何判定一項設計是否具有吸引力？ 自動化指標和合成基準可以衡量功能性，但無法取代關於品味與享受的真實人類判斷。

為了解決這項缺口，團隊開發了一個在大規模徵求直接人類回饋的平台。使用者會看到成對或分組的輸出，並被要求從最好到最差進行排序。這些選擇會被彙整並回饋給模型開發者，提供一個細緻且以偏好為驅動的訊號，可用來精進生成系統。隨著時間推移，這種方法產生了如今全球數百萬人使用的產品，顯示出將人類偏好轉換為可操作模型訓練訊號的服務擁有廣泛需求。

從使用者體驗角度看，Design Arena 的行為類似於一個進階的模型路由器。非企業使用者透過類似 ChatGPT 的提示框互動，並有額外下拉選單來指定格式——網站、圖片與其他視覺資產——以及偏好風格。提交請求後，使用者會反覆在替代方案之間做選擇（例如 A 對比 B），對輸出進行排序直到出現明確的偏好順序。這個簡單且反覆的機制將主觀品味轉換為結構化資料。

然而，更具商業價值的是企業方案。前沿 AI 實驗室與媒體模型供應商可以將 Design Arena 整合為持續的人類評估來源。由於大多數參與者對於產生輸出的後端模型不抱有偏好，他們的排序反映的是終端使用者的觀點而非模型身分。這一特性使得收集到的訊號特別有價值：它們揭示了人們真正想要的，而不是某個特定基準所獎勵的結果。

在推出這個概念不久後，該公司以 Intelligence 為旗下品牌名稱運營，完成了一輪由 Index Ventures 領投、其他知名投資者參與的 790 萬美元種子輪募資。此資金將支援產品擴展以及與付費企業客戶的更深度整合，這些企業為可靠且來自人類的評估數據支付費用。

財務表現值得注意。據報導，該平臺對公司的年度經常性收入有顯著貢獻，凸顯出部分客戶視人類評估為改善生成模型的關鍵投入。實務上，該平台也要求使用者登入以存取輸出，這使公司能夠追蹤偏好如何隨地區與時間變化。例如，團隊觀察到地區風格差異——某些亞洲市場的網頁介面趨向更為極繁的美學，而其他市場則偏好極簡風格。

這些人類品味訊號補強了自動化基準。自動化測試能輕易擴展並產生可重現的分數，但它們易遭操弄與對抗性操作。有人為介入的評估提供了對此類脆弱性的魯棒性檢驗，並提供自動化指標常常遺漏的細緻訊號。產業中近期的幾起事件凸顯出中心化計分的基準可能被妥協，因而增加了對多元化評估策略的興趣。

話雖如此，群眾外包的人類回饋市場並非沒有風險。某些曾嘗試類似玩法的新創公司儘管擁有大量使用者與顯著資金，仍難以維持長期商業模式。舉例來說，有家公司在募得數千萬美元後仍未達到持久獲利而關閉。此類結果顯示，僅有使用者成長並不保證可行的營收模式：將偏好數據轉換為可複製的企業價值是關鍵步驟。

不過，其他採取人類評估方法的新創公司似乎獲得成功。跨領域平台將使用者排序與比較資料轉為可供模型訓練的產品級訊號，在近期融資回合中吸引了大量資本，顯示投資者對於關閉 AI 系統人類偏好回饋迴路的解決方案有興趣。

總結來說，Design Arena 的發展突顯出一個更廣泛的趨勢：隨著生成式 AI 的成熟，限制因素越來越多地是人類判斷而非純粹的建模能力。能夠在大規模層次捕捉、解讀並貨幣化人類品味的平台，為模型輸出與真實世界可取性之間提供了一座橋樑。憑藉新一輪資金與付費企業客戶，Design Arena 的方法將被密切觀察，作為如何系統化人類洞見以改善 AI 的潛在範本。

關鍵見解表