序言

背景：人工智慧模型的規模與能力快速成長，但其記憶體需求讓許多強大系統只能鎖定在伺服器上。本文說明 PrismML 的 Bonsai 27B 如何將一個 270 億參數的模型壓縮至足以在現代智慧型手機上運行的體積、為何這很重要，以及其中的權衡為何。目標是提供對壓縮方法、測得的效能與對於裝置上 AI 實務影響的清晰且可理解說明。讀者將學到技術創新與實際效果——大型模型如何在本地運行同時保留大部分原本能力。

懶袋摘要

PrismML 將一個 27B 模型壓縮到幾 GB，使其能在裝置上運行，且不保留高精度的退路。 三值變體保留約 94.6% 的全精度基準結果，而二值變體則更小。兩個版本皆以 Apache 2.0 授權釋出，為手機與普通筆電在本地運行先進模型打開了可能性。

主體

大型語言模型通常需要大量記憶體。以半精度表示的 270 億參數模型常需約 54 GB 記憶體，這排除了大多數消費者筆電，更不用說大多數手機。PrismML 挑戰了這個限制，將 27B 模型壓縮到原來體積的一小部分。結果——Bonsai 27B——提供多種壓縮格式：一個約 3.9 GB 的二值風格構建可適配 iPhone 17 Pro Max，和一個約 5.9 GB 的三值構建在筆電上達到更高吞吐量。這些發行標誌著一個里程碑：在此能力層級的模型能尊重智慧型手機的記憶體預算，同時仍提供可信的效能。

該壓縮技術根植於量化，並倚賴 Caltech 的專有研究。此方法並非以 16 位元浮點權重表示，而是用權重的符號（二值：+1 或 -1）或三種狀態之一（三值：-1、0、+1）來表示大多數權重。每 128 個權重共用一個 16 位元的縮放因子以恢復大小資訊。此設計導致每權重極低的位元數：二值變體平均約 1.125 位／權重，三值變體約 1.71 位。簡單來說，三值權重只需三種選擇（負、零、正），而不是 16 位浮點大約 65,000 個不同值。

關鍵在於，PrismML 將壓縮應用在整個模型——嵌入層、注意力層與語言模型頭皆端到端量化。這與許多在量化構建中保留敏感層（例如嵌入或某些注意力區塊）在較高精度以維持品質的做法不同。Bonsai 避免了這類「逃生閥」，這也是模型體積能顯著縮小的主要原因之一。

PrismML 先前以 Bonsai 8B 展示了 1 位元方法的可行性，那是一個 1.15 GB 的模型並維持合理的推理能力。擴展到 27B 意義重大，因為此類規模的模型開始展現一致的連鎖思維推理、更可靠的多步行為與更好的工具使用——這些能力是較小架構常難以維持的。

基準測試有助量化權衡。在使用 NVIDIA H100 進行測量的一套 15 項評估任務（涵蓋知識、數學、程式編寫與工具使用）中，三值 Bonsai 27B 平均達到 80.49 分，約為全精度基準的 94.6%。1 位元二值變體在相同彙總中得分 76.11。與類似規模的公開模型（例如 Gemma 4 或 Qwen 3.6）相比，Bonsai 的壓縮變體提供了更強的效能與尺寸比。例如，在仿照 AIME 的競賽式數學測試中，三值 Bonsai 得到 93.7%，而更大型模型為 95.3%；程式與一般知識分數儘管經過壓縮仍處於具競爭力的區間。

除量化外的架構選擇也很重要。Bonsai 採用混合注意力骨幹：大約四分之三的層使用線性注意力替代方案，其餘保留完整的二次注意力。這種混合降低了注意力堆疊的執行時間與記憶體負擔，並使得非常大的裝置上語境窗口成為可能——PrismML 報告在裝置上實作 262K 代幣的語境是可行的——若全程採用普通的二次注意力，成本將高得不可行。

我們在真實任務中測試 Bonsai 27B 以評估實用性。在程式編寫場景中，迭代提示與本地執行是有效的：一個兩遍的工作流程產生了穩健的遊戲邏輯與瀏覽器專案的碰撞偵測，模型在後續一遍精煉結構而非從頭重建。創意寫作結果較為細緻；模型能產出具內在一致邏輯與可信節奏的連貫故事，但在零樣本情境下原創性有時落後於雲端頂尖模型。鑑於本地執行的優勢——無 API 成本且對私有資料延遲較低——這些權衡使 Bonsai 對許多使用案例具有吸引力。

PrismML 亦釋出了一個名為 DSpark 的推測解碼層。此草擬器提出候選的代幣區塊，主模型在單次前向傳遞中驗證這些區塊，能在不改變輸出分佈的情況下提高吞吐量。在 H100 等級 GPU 上，DSpark 可帶來約 1.37 倍的吞吐量提升。在消費級 Apple Silicon 上目前尚非預設，但它代表了 GPU 服務的優化路徑。

商業興趣迅速跟進。據報導，Apple 已與 PrismML 舉行早期會談，評估該壓縮方法是否可應用於 Apple 的模型與裝置戰略。PrismML 表示其路線圖包含接下來的壓縮 Gemma 模型，並會跟進更大型的前沿模型。1 位元 Bonsai 27B 與三值變體以寬鬆的 Apache 2.0 授權釋出，允許研究者與開發者進行實驗與本地部署。

總結來說，Bonsai 27B 展示了謹慎的端到端低位元量化結合架構效率，能將中等規模模型推入個人裝置領域。這一方法並未保留每一項全精度效能的小數，但在大幅縮減記憶體需求的同時保留了模型大量的實用能力。對於裝置上 AI 與對隱私敏感的離線使用情境，這種權衡可能是改變遊戲規則的——讓手機與普通筆電執行以往僅能由強大伺服器硬體完成的任務。

關鍵見解表