前言

General Compute，一家 AI 推理雲端新創公司，已從以科技為重點的投資公司 Upper90 獲得 4 億美元 貸款。此交易值得注意，因為這似乎是首批將專為推理（在模型已訓練後高效運行）設計的晶片用作擔保品的案例之一。此筆交易凸顯了市場對 AI 系統日益攀升成本的更廣泛回應：投資人與營運者越來越專注於能為開源與較低成本模型提供 可負擔且高效能的推理 的基礎設施，而非一味追求最昂貴的訓練 GPU。

懶人包

關鍵摘要： 推理晶片 正成為為 AI 基礎設施提供融資的一個實用且具成本效益的擔保品類別。Upper90 對 General Compute 的貸款突顯市場正轉向為運行模型優化的硬體——這類硬體比採用水冷、以訓練為主的 GPU 更容易廣泛且廉價地部署。

正文

General Compute 由執行長 Finn Puklowski 與技術長 Jason Goodison 創立，正在使用受英特爾支持的晶片製造商 SambaNova 的硬體，建構一個以推理為重點的 neocloud。Neocloud 是專為 AI 工作負載設計的專門化雲端環境，與 AWS 或 Azure 等超大雲提供的通用服務不同。General Compute 採用的 SN50 晶片經過針對推理的優化：它們具有 節能 特性，避免了水冷的複雜性，並可在更廣泛的資料中心中安裝。公司表示，這些晶片在推理吞吐量上可比傳統基於 GPU 的雲端快上達 16 倍，這可能讓低延遲且具成本效益的模型存取變得更容易。

新進者面臨的基本挑戰是如何快速取得足夠數量的這類晶片。Upper90 的介入反映出融資操作手冊正在演進。Upper90 的共同創辦人兼執行長 Billy Libby，曾任高盛的量化交易員，他在 2021 年為 Crusoe 融資購置 GPU——他認為那是一個以先進運算硬體做擔保的早期貸款範例。當時，許多傳統貸方因 GPU 折舊與市場風險的不確定性而避開此類交易。

然而，過去幾年市場已趨於成熟。像 CoreWeave 這類公司將以晶片為擔保的貸款轉變為可重複的商業模式，進而成為高調的公開募股，這有助於使以計算庫存為抵押的貸款常態化。Libby 解釋，早期參與以 GPU 為擔保的金融業務，讓 Upper90 能從市場低效率中獲益。現在，看到 GPU 被更廣泛理解且在某些情況下被過度購買，該公司正轉向下一個機會：為能大規模運行開源與成本意識型模型的公司，提供以推理為中心的硬體融資。

這一策略反映了更廣泛的產業轉變。對 AI 模型價格與專用權杖存取的關注上升，促使注意力轉向能比最新封閉、前沿大型語言模型更廉價運行開源模型的基礎設施。支援開源模型的平台與存取點，如 OpenRouter 與 Fireworks，已吸引大量投資。像 Kimi 的 K3 等新模型在某些基準上已展現出與 Anthropic 與 OpenAI 的產品相抗衡的表現，進一步驗證對替代方案的需求。同時，像 Groq 與 Cerebras 等新興晶片製造商，已吸引併購方與公開市場的策略性興趣，為可用矽片的多樣性增加了動能。

General Compute 決定採購超越 Nvidia 生態系的晶片具有深遠意義。超越單一主導供應商的多元化可降低成本並減少供應商綁定。另一家基礎設施供應商 TensorWave 也透過與 AMD 的合作押注類似策略。隨著更多非 Nvidia 晶片達到規模，能採用多種架構的供應商可能在提供具成本效益的推理服務上取得競爭優勢。

Puklowski 強調這些新處理器可能在總擁有成本或效能上提供吸引人的優勢。不過，他也指出，需求端採用落後於供給：這些晶片大量上市，但買家仍相對稀少。這種供需失衡為金融方與基礎設施新創公司，圍繞推理硬體組織資本與部署創造了機會。透過與 Upper90 合作，General Compute 的融資不僅僅是購買運算資源的資金注入——它代表著投資資本正在重組，以支持更分散、多供應商的運算格局，並挑戰 Nvidia 的主導地位。

其影響具有實務面向。避開複雜冷卻與電力需求的推理優化晶片，可在更廣泛的共同放置設施中部署，加快部署時間並擴展地理覆蓋範圍。對客戶而言，這可轉化為更低的延遲、降低的成本以及更廣泛的模型服務端點可用性。對貸方與投資人而言，為推理設計的晶片呈現不同於訓練 GPU 的風險/報酬特性：它們的折舊方式可能不同，且更容易改作營運工作負載用途，這使其成為某些融資結構中更具吸引力的擔保品類別。

最終，Upper90 向 General Compute 提供的 4 億美元貸款表明，資本市場在配合明確營運計劃時，對承保專門化 AI 基礎設施越來越有信心。隨著開源模型與替代矽片獲得吸引力，曾以訓練 GPU 為主的融資模式正演進，轉而支持推理這一為實務 AI 產品提供日常執行層的硬體。如果此趨勢持續，預期會出現更多以推理硬體作為取得成長資本核心資產的交易，幫助擴大快速且可負擔 AI 服務的可及性，而不限於最昂貴訓練堆疊的狹小範圍。

關鍵洞見表