|
Arm 正在與 Meta 公司的 PyTorch 團隊攜手合作，共同推進(jìn)新的 ExecuTorch 測試版 (Beta) 上線(xiàn)，旨在為全球數十億邊緣側設備和數百萬(wàn)開(kāi)發(fā)者提供人工智能 (AI) 和機器學(xué)習 (ML) 功能，進(jìn)而確保 AI 真正的潛力能被最廣泛的設備和開(kāi)發(fā)者所使用。 借助 ExecuTorch 和新的 Llama 量化模型，Arm 計算平臺優(yōu)化生成式 AI 性能 Arm 計算平臺無(wú)處不在，為全球眾多邊緣側設備提供支持，而 ExecuTorch 則是專(zhuān)為移動(dòng)和邊緣側設備部署 AI 模型而設計的 PyTorch 原生部署框架。兩者的緊密合作，使開(kāi)發(fā)者能夠賦能更小、更優(yōu)化的模型，包括新的 Llama 3.2 1B 和 3B 量化模型。這些新模型可以減少內存占用、提高準確性、增強性能和提供可移植性，成為小型設備上的生成式 AI 應用的理想選擇，如虛擬聊天機器人、文本摘要和 AI 助手。 開(kāi)發(fā)者無(wú)需額外的修改或優(yōu)化，便可將新的量化模型無(wú)縫集成到應用中，從而節省時(shí)間和資源。如此一來(lái)，他們能夠迅速在廣泛的 Arm 設備上大規模開(kāi)發(fā)和部署更多的智能 AI 應用。 隨著(zhù) Llama 3.2 大語(yǔ)言模型 (LLM) 新版本的發(fā)布，Arm 正在通過(guò) ExecuTorch 框架優(yōu)化 AI 性能，使得在 Arm 計算平臺邊緣設備運行的真實(shí)生成式 AI 工作負載能更為快速。在 ExecuTorch 測試版發(fā)布的首日起，開(kāi)發(fā)者便能享有這些性能的提升。 集成 KleidiAI，加速端側生成式 AI 的實(shí)現 在移動(dòng)領(lǐng)域，Arm 與 ExecuTorch 的合作意味著(zhù)眾多生成式 AI 應用，如虛擬聊天機器人、文本生成和摘要、實(shí)時(shí)語(yǔ)音和虛擬助手等，完全能夠在搭載 Arm CPU 的設備上以更高的性能運行。這一成果得益于 KleidiAI，它引入了針對 4 位量化優(yōu)化的微內核，并通過(guò) XNNPACK 集成到了 ExecuTorch 中，因此，在 Arm 計算平臺上運行 4 位量化的 LLM 時(shí)，無(wú)縫加速 AI 工作負載的執行。例如，通過(guò) KleidiAI 的集成，Llama 3.2 1B 量化模型預填充階段的執行速度可以提高 20%，使得一些基于 Arm 架構的移動(dòng)設備上的文本生成速度超過(guò)了每秒 400 個(gè)詞元 (token)。這意味著(zhù)，終端用戶(hù)將從他們移動(dòng)設備上獲得更快速、響應更靈敏的 AI 體驗。 了解更多 Arm 在移動(dòng)市場(chǎng)對 ExecuTorch 的支持，請查閱博客文章。 為物聯(lián)網(wǎng)的邊緣側 AI 應用加速實(shí)時(shí)處理能力 在物聯(lián)網(wǎng)領(lǐng)域，ExecuTorch 將提高邊緣側 AI 應用的實(shí)時(shí)處理能力，包括智能家電、可穿戴設備以及自動(dòng)零售系統等。這意味著(zhù)物聯(lián)網(wǎng)設備和應用能夠以毫秒級的速度響應環(huán)境變化，這對保障安全性和功能可用性至關(guān)重要。 ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上運行，以加速邊緣側 AI 應用的開(kāi)發(fā)和部署。事實(shí)上，通過(guò)將 ExecuTorch 與 Arm Corstone™-320 參考平臺（也可作為仿真固定虛擬平臺 (FVP) 使用）、Arm Ethos-U85 NPU 驅動(dòng)程序和編譯器支持集成到一個(gè)軟件包中，開(kāi)發(fā)者可在平臺上市前幾個(gè)月就著(zhù)手開(kāi)發(fā)邊緣側 AI 應用。 了解更多 Arm 在物聯(lián)網(wǎng)領(lǐng)域對 ExecuTorch 的支持，請查閱博客文章。 更易獲取、更快捷的邊緣側 AI 開(kāi)發(fā)體驗 ExecuTorch 有潛力成為全球最受歡迎的高效 AI 和 ML 開(kāi)發(fā)框架之一。通過(guò)將應用最廣泛的 Arm 計算平臺與 ExecuTorch 相結合，Arm 正在通過(guò)新的量化模型加速 AI 的普及，讓開(kāi)發(fā)者能夠更快地在更多設備上部署應用，并將更多生成式 AI 體驗引入邊緣側。 |
