打造 “CPU+” 異構計算平臺,Arm 靈活應對各類(lèi) AI 工作負載

發(fā)布時(shí)間:2024-12-4 17:22    發(fā)布者:eechina
關(guān)鍵詞: Arm , AI加速 , AI推理
作者:Arm

對于人工智能 (AI) 而言,任何單一硬件或計算組件都無(wú)法成為適合各類(lèi)工作負載的萬(wàn)能解決方案。AI 貫穿從云端到邊緣側的整個(gè)現代計算領(lǐng)域,為了滿(mǎn)足不同的 AI 用例和需求,一個(gè)可以靈活使用 CPU、GPU 和 NPU 等不同計算引擎的異構計算平臺必不可少。

依托于 Arm CPU 的性能、能效、普及性、易于編程性和靈活性,從小型的嵌入式設備到大型的數據中心,Arm CPU 已經(jīng)為各種平臺上的 AI 加速奠定了基礎。

就靈活性而言,這對生態(tài)系統大有裨益的三個(gè)主要原因是,首先,Arm CPU 可以處理廣泛的 AI 推理用例,其中許多用例通常用于數十億臺設備,例如當今的智能手機、云和數據中心。不僅如此,除了推理之外,CPU 還經(jīng)常用于技術(shù)棧中的數據預處理和編排等其他任務(wù)。其次,開(kāi)發(fā)者能夠在更多種類(lèi)的數據格式中運行更廣泛的軟件,而無(wú)需構建多個(gè)版本的代碼。最后,CPU 的靈活性使之成為加速 AI 工作負載的理想工具。

提供多樣性和選擇,助力行業(yè)靈活部署 AI 計算

除了 CPU 產(chǎn)品組合外,Arm 計算平臺還包括 GPU 和 NPU 等 AI 加速器技術(shù),許多市場(chǎng)都在將這些技術(shù)與 CPU 進(jìn)行集成。

在移動(dòng)端領(lǐng)域,Arm 終端計算子系統 (CSS) 包含 Armv9.2 CPU 集群,并與 Arm Immortalis-G925 GPU 集成,可為各種 AI 用例提供加速功能,包括圖像分割、對象檢測、自然語(yǔ)言處理和語(yǔ)音轉文本等用例。在物聯(lián)網(wǎng) (IoT) 方面,Arm Ethos-U85 NPU 可與需要加速 AI 性能的基于 Arm Cortex-A 的系統一起設計,例如工廠(chǎng)自動(dòng)化等場(chǎng)景。

此外,除了 Arm 自己的加速器技術(shù)外,合作伙伴借助 Arm 的 CPU 靈活定制具有差異化的芯片解決方案。例如,NVIDIA 用于 AI 基礎設施的 Grace Blackwell 和 Grace Hopper 超級芯片均采用了 Arm CPU 和 NVIDIA 的 AI 加速器技術(shù),從而顯著(zhù)提升 AI 性能。

NVIDIA Grace Blackwell 超級芯片將 NVIDIA 的 Blackwell GPU 架構與基于 Arm Neoverse 的 Grace CPU 相結合。Arm 獨特的產(chǎn)品組合使 NVIDIA 能夠進(jìn)行系統級設計優(yōu)化,與 NVIDIA H100 GPU 相比,其能耗降低了 25 倍,單個(gè) GPU 性能提高了 30 倍。具體來(lái)說(shuō),得益于 Arm Neoverse 平臺的靈活性,NVIDIA 能夠實(shí)現自有的高帶寬 NVLink 互連技術(shù),并提升 CPU、GPU 和內存之間的數據帶寬和延遲。

Arm 致力于通過(guò) Arm 全面設計生態(tài)項目,為整個(gè)生態(tài)系統注入 AI 加速的機遇。通過(guò)該生態(tài)項目,開(kāi)發(fā)者可以更快訪(fǎng)問(wèn) Arm CSS 技術(shù),賦能軟硬件技術(shù)進(jìn)步,以此驅動(dòng) AI 和芯片創(chuàng )新,并加快開(kāi)發(fā)和部署 AI 優(yōu)化的芯片解決方案。

Arm 架構滿(mǎn)足 AI 所需的獨特靈活性

Arm CPU 設計所具有靈活性關(guān)鍵在于 Arm 領(lǐng)先的架構。它提供了一個(gè)可以與 AI 加速器技術(shù)緊密集成的基礎平臺,并支持從 128 位到 2,048 位的各種向量長(cháng)度,可以在許多不同的數據點(diǎn)上輕松執行多個(gè)神經(jīng)網(wǎng)絡(luò )。

Arm 架構的靈活性為整個(gè)芯片生態(tài)系統提供了多樣化的定制機會(huì ),Arm 一直致力于幫助合作伙伴更快地構建自己的差異化芯片解決方案。這種獨特的靈活性也使 Arm 能夠不斷進(jìn)行架構創(chuàng )新,定期推出關(guān)鍵指令和功能來(lái)加速 AI 計算,進(jìn)而惠及整個(gè)生態(tài)系統,其中包括領(lǐng)先的芯片合作伙伴,以及在 Arm 計算平臺上構建應用的 2,000 多萬(wàn)軟件開(kāi)發(fā)者等。

這一切始于 Armv7 架構,該架構引入了高級單指令多數據 (SIMD) 擴展,例如 Neon 技術(shù),這是 Arm 首次涉足機器學(xué)習 (ML) 工作負載。在過(guò)去幾年中,該架構不斷增強,Armv8 中增加了向量點(diǎn)積和矩陣乘法特性,之后在 Armv9 中又引入了 Arm SVE2 和新的 Arm SME 技術(shù),為廣泛的生成式 AI 工作負載和用例提高了計算性能并降低了功耗。

與 AI 加速器技術(shù)無(wú)縫集成

Arm 是 AI 時(shí)代的計算平臺,推動(dòng)了持續的架構創(chuàng )新,以滿(mǎn)足速度更快、互動(dòng)性更好和沉浸感更強的 AI 應用的發(fā)展。Arm CPU 作為靈活處理 AI 工作負載的異構計算方法中的一部分,可以無(wú)縫增強和集成 GPU 和 NPU 等 AI 加速器技術(shù)。

Arm CPU 是處理眾多 AI 推理工作負載的實(shí)用之選,憑借出色的靈活性,它能夠與加速器技術(shù)無(wú)縫集成,打造更強大、更高性能的 AI 功能,精準滿(mǎn)足特定用例和計算需求。對于 Arm 的技術(shù)合作伙伴而言,出色的靈活性有助于實(shí)現豐富的定制選擇,使他們能夠為 AI 工作負載構建完整的芯片解決方案。

本文地址:http://selenalain.com/thread-877867-1-1.html     【打印本頁(yè)】

本站部分文章為轉載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和對其真實(shí)性負責;文章版權歸原作者及原出處所有,如涉及作品內容、版權和其它問(wèn)題,我們將根據著(zhù)作權人的要求,第一時(shí)間更正或刪除。
您需要登錄后才可以發(fā)表評論 登錄 | 立即注冊

相關(guān)視頻

關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權所有   京ICP備16069177號 | 京公網(wǎng)安備11010502021702
快速回復 返回頂部 返回列表
午夜高清国产拍精品福利|亚洲色精品88色婷婷七月丁香|91久久精品无码一区|99久久国语露脸精品|动漫卡通亚洲综合专区48页