目錄

• 你可能想知道
• 主要主題
• 關鍵見解表
• 後續...

你可能想知道

• 單一推理堆疊是否能讓大型語言模型在 Nvidia、AMD、Google TPU、Apple Metal、Intel Arc 以及新興 AI 晶片上高效運行？

• 能否透過在多個加速器上最大化效能的軟體，顯著降低 AI 成本並打破供應商鎖定？

主要主題

AI 基礎設施正從近乎壟斷的局面，朝向更多元的生態系演進。總部位於巴黎的 ZML 是一家成長快速的創業公司，由 AI 領域的知名人士支持，該公司推出了一款新的推理伺服器，旨在讓開源大型語言模型（LLM）能在各類加速器上運行。這款軟體以免費產品形式發佈以便從實際使用模式中學習，目標涵蓋來自既有供應商如 Nvidia 與 AMD 的晶片，以及 Google 的 TPU、Apple 的 Metal 平台和 Intel Arc，也力求支援較新的、通常為歐洲的 AI 矽晶片專案。

推理是模型處理提示並產生輸出的那個步驟，隨著 AI 走入生產系統與日常工具，這一步變得越來越重要。歷來，硬體、驅動與運行時軟體的差異造成孤島，使組織被迫採用特定供應商的堆疊。ZML 的方法試圖統一這些分散的路徑，讓組織能在不同晶片上執行相同的 LLM 而不犧牲效能。依公司創辦人所言，這可減少導致供應商鎖定的架構摩擦，並幫助組織根據成本、可得性或能源效率來選擇硬體。

在多樣化加速器上達到最佳效能既是工程挑戰，也是潛在的市場顛覆者。如果能在不同晶片家族間優化推理吞吐量與延遲，企業與雲端供應商就能混搭硬體，以平衡成本、功耗與吞吐量。 此能力可能實質降低 AI 系統的運行成本並擴大可行部署的範圍。 對於需要大規模擴展推理的組織而言，能為特定工作負載選擇最有效的加速器，帶來明確的經濟與運營優勢。

除了成本之外，轉向跨晶片的推理堆疊也有助於尚處起步階段的晶片供應商獲得所需的軟體生態系。ZML 的創辦人特別點名歐洲晶片製造商，指出較小或區域性的矽晶片生產者可從能提供當前其他地方尚未具備功能的軟體中獲益。這類軟體協助能加速採用，並使新穎架構在生產推理工作負載上可行，幫助市場在主導供應商之外實現更多元化。

話雖如此，該策略並非以對抗既有供應商為出發點。ZML 與主要晶片製造商維持合作關係，並承認像 Nvidia 這類領導者在供應與部署上的優勢。高效能且中立的推理層與強大的硬體供應商共存，有可能營造出多家供應商參與並創新的環境，而不迫使客戶綁定在專屬堆疊中。

推理優化的競爭態勢相當活躍。數家公司與開源專案在此領域積極推進，各自提供低延遲、高吞吐量推理的替代方案。ZML 的產品進入的市場已包含其他推理平台與框架，其中部分與 ZML 的產品功能重疊。然而，ZML 將自身定位在更廣的路徑上：與硬體緊密整合、軟體與矽晶片協同設計，以解鎖雙方單獨無法達到的特性與效率。

組織動態也很重要。ZML 小而專注的團隊與創辦人先前的工程領導經驗，讓其得以快速迭代並規劃多次發布。公司取得的創投資金提供了快速行動的資本，同時保持相對精簡。ZML 並未立即將新推理伺服器開源，而是選擇先以免費、非開源的形式推出，優先收集實際使用數據以作為未來商業決策的依據。這種務實的做法旨在加速採用，同時在團隊瞭解使用模式以及最有利於創收的方向後保留變現選項。

投資人與創辦人的關注突顯出 ZML 努力的市場相關性。來自知名新創創辦人與 AI 相關人士的貢獻與關注，暗示跨晶片推理層既可行又值得期待。此類支持者的存在也表示對非主要 AI 中心的創業公司能從本土市場創造具影響力基礎設施抱持信心，利用在地人才與夥伴關係，向全球客戶提供差異化產品。

總體來說，ZML 的免費推理伺服器代表一項具體嘗試，旨在降低 AI 部署的技術與商業門檻。透過讓 LLM 能在異質硬體上高效運行，它試圖為組織提供更大的運營選擇與潛在成本節省。如果能被大規模採用，此類軟體可能改變部分 AI 經濟模型，並為新興矽晶片供應商提供通往實際應用的路徑。

關鍵見解表

後續...

展望未來，進一步的探索應聚焦於軟體與硬體的協同設計、具能源意識的推理排程，以及使異質加速無摩擦的標準化執行時。這些領域既有可能帶來技術突破，也能帶來實際節省。對跨平台工具與開放標準的細緻投資，或可加速更具競爭力的矽晶片市場出現；而針對推理效率與功耗優化的研究，將是實現可持續 AI 部署的關鍵。 探索編譯器優化、執行時編排與正式效能基準測試 將有助於社群更好地比較選項，並為不同 AI 工作負載採用合適的硬體組合。

總之，在多樣化加速器上實現高效推理不僅是技術成就，也是促進更廣泛 AI 採用的戰略驅動力。持續推進可互操作的執行時、透明的基準測試與節能設計，對實現該潛力至關重要。