Amazon 推出全新 TorchNeuron 工具，挑戰 Nvidia

前言

Amazon Web Services 推出 TorchNeuron，這是一款開發者工具，旨在讓使用者更輕鬆地在其 Trainium 晶片上執行以 PyTorch 為基礎的 AI 應用程式。此舉不只是為了吸引工作負載進入 Amazon 雲端，也是在挑戰 Nvidia 的軟體優勢；這項優勢讓 Nvidia 硬體成為 AI 開發者的預設選擇。TorchNeuron 希望降低移植應用程式所需的工作量，而 Amazon 則主張，Trainium 客戶還能受惠於更完整的雲端基礎架構。這項宣布引出 AI 產業的一個核心問題：開發者能否在不增加設定與維護工作的情況下，獲得更多選擇？本文將探討 TorchNeuron 的運作方式、Amazon 對 Trainium 的主張，以及降低 PyTorch 對 Nvidia 軟體生態系依賴可能帶來的影響。

懶人包

TorchNeuron 讓開發者只需變更設定，就能將 PyTorch 應用程式調整為在 Amazon 的 Trainium 上執行，而無須重寫程式碼。Amazon 表示，這項工具是其更大規模計畫的一環，目標是降低 PyTorch 對 Nvidia 的依賴，並為新創公司在 AWS 中提供另一種選擇。該公司主張，即使每個 token 的價格不是唯一考量，其雲端整合式基礎架構，以及 Trainium 同時支援訓練與推論的能力，也能讓這個平台更具吸引力。關鍵的不確定因素在於，更多硬體選擇究竟會簡化部署並降低成本，還是會帶來新的設定與相容性挑戰。

正文

Amazon Web Services 週一宣布推出 TorchNeuron，並將其定位為一種讓 AI 新創公司以最少變更，將應用程式移至 Trainium AI 晶片的方法。Amazon 表示，開發者只需變更一行設定，就能在 Trainium 上執行 PyTorch 應用程式，無須重寫程式碼。此作法旨在解決使用替代 AI 硬體時的一項實際障礙：開發者往往必須調整軟體、最佳化效能，並為不同晶片平台維護不同版本。

這項宣布也回應了更廣泛的競爭議題。Nvidia 在 AI 運算領域的地位，不僅來自其 GPU，也仰賴 CUDA——這套用於在 Nvidia 硬體上執行應用程式的軟體基礎架構。多年來，CUDA 已深度整合進 AI 開發工作流程。因此，Amazon 推出 TorchNeuron，是為了在晶片能力之外，也以軟體相容性參與競爭，同時讓開發者更容易將 Trainium 納入考慮，作為替代方案。

TorchNeuron 支援 PyTorch。PyTorch 是一套免費的開源工具組，用於建構、訓練及執行 AI 模型。Amazon 表示，約 85% 的 AI 應用程式是以 PyTorch 編寫，因此，想吸引 AI 工作負載的公司必須重視對這個框架的支援。PyTorch 最初由 Facebook 開發。自 2022 年起，這個框架成為 Linux Foundation 的一部分；該基金會負責維護開源專案。

Nvidia 多年來致力於確保 CUDA 能順暢支援以 PyTorch 編寫的 AI 應用程式。這種相容性讓 Nvidia 硬體成為開發者熟悉且方便的選擇。當某個框架與硬體平台幾乎不需額外作業就能協同運作時，開發者可能會直接選擇已建立的方案。TorchNeuron 的目的，是透過為 PyTorch 使用者提供一條直接使用 Trainium 的途徑，削弱這種自動連結。

Amazon 表示，TorchNeuron 是以 PyTorch 為基礎調整而成，因此熟悉該框架的開發者不必另外學習一套完全不同的程式設計方式，就能使用這項工具。所承諾的單行設定變更相當重要，因為它可能降低評估 Trainium 的初期成本。如果開發者不必重寫應用程式碼就能測試新晶片平台，他們可能更願意比較其效能、供應情況與營運成本，並與現有基礎架構進行評估。

不過，Amazon 並非第一家讓 PyTorch 應用程式更容易在不同處理器上執行的公司。PyTorch 使用者也可以透過簡單的設定變更，將應用程式移植到 AMD GPU 或 Apple 晶片上。這些替代方案的存在，顯示硬體彈性已是整個產業追求的目標。競爭關鍵在於，TorchNeuron 能否兼具相容性、效能與實用支援，而不只是提供另一條使用不同晶片的途徑。

Amazon 更廣泛的主張是，使用 Trainium 也能讓新創公司取得 AWS 基礎架構。該公司將此與新雲端服務供應商作對比；這類專業雲端供應商可能與 Nvidia 硬體關係密切，包括 Coreweave、Nebius 和 Firmus。Amazon 認為，新創公司應考量開發與營運 AI 產品所需的整套服務，而非只著眼於取得特定加速器。

負責製造 Amazon 客製化晶片的 AWS Annapurna Labs 技術軟體副總裁 Colin Brace 在寄給 TechCrunch 的電子郵件中闡述了這項主張。他說：「你是在 AWS 上建構產品，而不是押注於單一用途的運算供應商，然後手忙腳亂地圍繞它建置其他所有東西。」Brace 補充，AWS 已具備協助公司從原型走向正式上線的基礎架構，讓創辦人能快速開發，並在需要時擴大規模。他的說法將 AWS 定位為完整的雲端環境，而不只是 AI 晶片供應商。

Amazon 也表示，Trainium 同時支援訓練與推論。訓練是教導 AI 模型的過程；推論則是使用已完成的模型，例如讓模型回答使用者問題。AWS 表示，在雲端基礎架構中整合使用同一款晶片處理這兩個階段，能改善完整工作負載的成本效益。該公司主張，即使 AWS 未提供最低的每 token 價格，這種更全面的成本考量仍然重要。

Brace 概括這項主張時表示：「Trainium 的價值在於價格效能，加上訓練與推論能共用同一平台，改善完整工作負載的成本效益。」他以 AI 語音應用程式供應商、ElevenLabs 的競爭對手 Deepgram 為例。Brace 表示，Deepgram 透過原生 PyTorch 支援轉移至 Trainium 後，在達到生產級準確度的同時，每美元可處理的音訊增加了 70%。這是 AWS 提供的案例；單憑這項宣布，並不能證明所有應用程式都能達到相同結果。

Amazon 的計畫不只提供移轉工具。該公司表示，正致力於降低 PyTorch 自動以 Nvidia 為中心的程度，並打算向 PyTorch 主專案貢獻支援此目標的程式碼。這可能影響該框架處理不同硬體後端的方式，讓替代晶片更容易在共同的開發環境中使用。

這個方向也存在取捨。PyTorch 的目的之一，是抽象化 AI 程式碼在硬體上執行時的許多繁瑣問題。當框架能在幕後處理不同處理器與軟體系統之間的差異，開發者便能從中受益。但若要讓硬體選擇更加開放而進行變更，也可能需要額外設定，或造成新的相容性問題。更具彈性的框架是否有價值，取決於開發者能否在不必管理大幅增加的複雜度下切換平台。

實際結果仍不明朗。如果 TorchNeuron 能讓 Trainium 易於採用，新創公司便能多一種建構與營運 AI 應用程式的選擇，硬體供應商也可能面臨更大的壓力，必須在效能、成本與開發者體驗方面競爭。如果平台之間的移轉仍需耗費大量工程資源，開發者可能會繼續偏好最可靠地支援其軟體的既有生態系。

對 Amazon 而言，成功不只是贏得個別晶片部署案。若能大幅降低 PyTorch 對 Nvidia 的自動依賴，就可能挑戰那些鞏固 Nvidia 在 AI 開發領域地位的軟體優勢。同時，這項變化也可能讓開發者受益，為他們提供更多選擇。正如 Brace 所說：「真正重要的是解除鎖定，讓開發者不再被限制而無法真正選擇。」隨著開發者在實際工作負載中使用 TorchNeuron，它能否在不增加新負擔的情況下提供這種選擇，將會逐漸明朗。

重點整理表