Arm整合兩大資料庫加速雲端和邊緣AI發展
Arm 今天宣布，Arm Kleidi 技術與 PyTorch 和 ExecuTorch 的整合已經完成，這是雲端和邊緣 AI 功能向前邁出的重要一步。這項開發旨在增強 Arm CPU 上的大型語言模型 (LLM) 的功能，為依賴先進人工智慧應用的開發人員和企業帶來了新時代的到來。
Arm 的方法以 Kleidi 為中心，這是一個尖端套件，融合了為開發人員提供的賦能技術和基本資源，旨在促進機器學習 (ML) 技術堆疊中的技術協作。這項策略性措施旨在簡化 Arm 架構上的開發流程，為在 ML 堆疊中工作的開發人員提供更無縫的體驗。
Arm 開發者技術和策略副總裁 Alex Spinelli 強調了該公司與領先的雲端服務供應商和軟體設計師的持續合作關係。這些合作旨在創造使用者友善的開發環境，簡化在基於 Arm 的硬體上提升 AI 和 ML 工作負載的過程。四個月前推出的 Kleidi 技術已經加快了 Arm CPU 的開發速度，並顯著提升了核心 AI 效能。與 PyTorch 社群的密切合作凸顯了該技術在減少開發人員實現高效 AI 部署的工作量方面的潛力。
在雲端層面，Kleidi 與 Arm 運算庫 (ACL) 的整合不僅增強了 PyTorch，還為全球開發者制定了藍圖，無需多餘的工程工作即可在 Arm 平台上優化 AI。開發人員現在可以將 Arm 視為託管其關鍵 ML 工作負載的有力候選者。
與 PyTorch 和 TensorFlow 的整合包括將基本的 Arm 庫嵌入到這些領先的框架中。重要的是，這意味著隨著這些框架的每個新版本的發布，開發人員可以立即受益於顯著的性能增強，而無需在 Arm 平台上進行額外的構建。這項投資對合作關係產生了積極影響。
性能飛躍不僅僅是理論上的。例如，由 Meta Llama 3 LLM 驅動並託管在 Amazon Web Services (AWS) Graviton 處理器上的 Arm 驅動的聊天機器人在主流 PyTorch 部署中展示了即時回應能力。 AWS Graviton4 上的初步測試表明，Kleidi 的整合可以使令牌的初始回應時間加倍。
AWS Graviton3 上的 Hugging Face 模型推理工作負載的進一步效能改進非常明顯，由於利用 ACL 輔助的 Kleidi 技術優化了 torch.compile，效能提升了 1.35 到 2 倍。這些是 Arm 平台在廣泛的 ML 工作負載中可實現潛在效能加速的範例實例。 Arm 繼續大力投資，確保開發人員的 AI 應用程式從雲端到邊緣完美運行，將新功能與前幾代產品集成，讓開發人員立即受益。
隨著生成式 AI 推動整個產業的創新浪潮，Arm 仍然與 ML 技術堆疊的每個關鍵部分緊密整合。與 AWS 和 Google Cloud 等供應商以及 Databricks 等快速發展的獨立軟體供應商 (ISV) 的合作有助於使開發人員處於技術進步的最前沿。
隨著客戶熱切地採用基於 Arm 架構的客製化 CPU Axion，Google雲端運算產品管理高級總監 Nirav Mehta 強調了 Arm 和Google雲端為增強開發人員對 AI 的存取和敏捷性所做的持續努力。同樣，Databricks 的 Lin Yuan 指出，透過 Arm Kleidi 的集成，可以實現跨 ML 軟體堆疊的顯著性能優化，使使用 Databricks 的 AI 和 ML 工作流程資料智慧平台的企業受益。
為了支援開發人員將這些資源應用到實際場景中，Arm 建立了基準軟體堆疊和學習資源。這些向開發人員展示瞭如何在 Arm CPU 上建置 AI 工作負載，從而加速 Arm 系統的廣泛採用並加快部署速度。第一個用例是透過 Kleidi 技術加速的聊天機器人，很快就會出現 ML Ops 和檢索增強生成的增強。
展望未來，Kleidi 與從 ExecutiveTorch 到 PyTorch 等其他領先人工智慧框架的持續整合也意味著設備端應用程式效能的持續增強。 Arm 對 PyTorch 社群的承諾及其對各種整數格式的量化優化的關注體現了其致力於大規模無縫促進下一代 AI 體驗的努力。
Arm 作為高級會員加入 PyTorch 基金會所產生的動力凸顯了 Arm 人工智慧之旅中的這一關鍵時刻。該公司始終致力於幫助全球開發者充分利用 Arm 平台上端對端 AI 的潛力，最終塑造尖端的 AI 應用和功能。
Arm 的方法以 Kleidi 為中心，這是一個尖端套件，融合了為開發人員提供的賦能技術和基本資源，旨在促進機器學習 (ML) 技術堆疊中的技術協作。這項策略性措施旨在簡化 Arm 架構上的開發流程，為在 ML 堆疊中工作的開發人員提供更無縫的體驗。
Arm 開發者技術和策略副總裁 Alex Spinelli 強調了該公司與領先的雲端服務供應商和軟體設計師的持續合作關係。這些合作旨在創造使用者友善的開發環境，簡化在基於 Arm 的硬體上提升 AI 和 ML 工作負載的過程。四個月前推出的 Kleidi 技術已經加快了 Arm CPU 的開發速度，並顯著提升了核心 AI 效能。與 PyTorch 社群的密切合作凸顯了該技術在減少開發人員實現高效 AI 部署的工作量方面的潛力。
在雲端層面，Kleidi 與 Arm 運算庫 (ACL) 的整合不僅增強了 PyTorch，還為全球開發者制定了藍圖，無需多餘的工程工作即可在 Arm 平台上優化 AI。開發人員現在可以將 Arm 視為託管其關鍵 ML 工作負載的有力候選者。
與 PyTorch 和 TensorFlow 的整合包括將基本的 Arm 庫嵌入到這些領先的框架中。重要的是，這意味著隨著這些框架的每個新版本的發布，開發人員可以立即受益於顯著的性能增強，而無需在 Arm 平台上進行額外的構建。這項投資對合作關係產生了積極影響。
性能飛躍不僅僅是理論上的。例如，由 Meta Llama 3 LLM 驅動並託管在 Amazon Web Services (AWS) Graviton 處理器上的 Arm 驅動的聊天機器人在主流 PyTorch 部署中展示了即時回應能力。 AWS Graviton4 上的初步測試表明，Kleidi 的整合可以使令牌的初始回應時間加倍。
AWS Graviton3 上的 Hugging Face 模型推理工作負載的進一步效能改進非常明顯，由於利用 ACL 輔助的 Kleidi 技術優化了 torch.compile，效能提升了 1.35 到 2 倍。這些是 Arm 平台在廣泛的 ML 工作負載中可實現潛在效能加速的範例實例。 Arm 繼續大力投資，確保開發人員的 AI 應用程式從雲端到邊緣完美運行，將新功能與前幾代產品集成，讓開發人員立即受益。
隨著生成式 AI 推動整個產業的創新浪潮，Arm 仍然與 ML 技術堆疊的每個關鍵部分緊密整合。與 AWS 和 Google Cloud 等供應商以及 Databricks 等快速發展的獨立軟體供應商 (ISV) 的合作有助於使開發人員處於技術進步的最前沿。
隨著客戶熱切地採用基於 Arm 架構的客製化 CPU Axion，Google雲端運算產品管理高級總監 Nirav Mehta 強調了 Arm 和Google雲端為增強開發人員對 AI 的存取和敏捷性所做的持續努力。同樣，Databricks 的 Lin Yuan 指出，透過 Arm Kleidi 的集成，可以實現跨 ML 軟體堆疊的顯著性能優化，使使用 Databricks 的 AI 和 ML 工作流程資料智慧平台的企業受益。
為了支援開發人員將這些資源應用到實際場景中，Arm 建立了基準軟體堆疊和學習資源。這些向開發人員展示瞭如何在 Arm CPU 上建置 AI 工作負載，從而加速 Arm 系統的廣泛採用並加快部署速度。第一個用例是透過 Kleidi 技術加速的聊天機器人，很快就會出現 ML Ops 和檢索增強生成的增強。
展望未來，Kleidi 與從 ExecutiveTorch 到 PyTorch 等其他領先人工智慧框架的持續整合也意味著設備端應用程式效能的持續增強。 Arm 對 PyTorch 社群的承諾及其對各種整數格式的量化優化的關注體現了其致力於大規模無縫促進下一代 AI 體驗的努力。
Arm 作為高級會員加入 PyTorch 基金會所產生的動力凸顯了 Arm 人工智慧之旅中的這一關鍵時刻。該公司始終致力於幫助全球開發者充分利用 Arm 平台上端對端 AI 的潛力，最終塑造尖端的 AI 應用和功能。
最後編輯時間：2024/12/16