|
沉睡多年后，人工智能（AI）再次醒來(lái)，其勢如滔滔江河，不可阻擋。隨著(zhù)天量資本不斷涌入，各種創(chuàng )新突破令人瞠目結舌。隨后，AI技術(shù)快速向各個(gè)應用領(lǐng)域滲透，成為提升產(chǎn)品競爭力的利器。 如今，AI部署已經(jīng)從昂貴的數據中心云端蔓延到了尋常的應用終端，如手機、電腦和汽車(chē)，甚至可穿戴設備。端側的硬件AI算力成為提升AI設備性能的重要一環(huán)。那么，端側AI算力有何優(yōu)勢？如何才能有效提升終端算力？在近期舉辦的E維智庫第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng )新趨勢峰會(huì )暨百家媒體論壇上，安謀科技產(chǎn)品總監鮑敏祺先生以“端側AI應用‘芯’機遇，NPU加速終端算力升級”為題進(jìn)行了講解。 鮑敏祺以智能手機為例介紹了AI如何提升用戶(hù)體驗，包括AI大模型對語(yǔ)音、圖片和視頻的理解能力，以及其分析和總結能力，這些能力使得手機成為我們生活和工作中的得力助手。在A(yíng)I的部署方式方面，以大語(yǔ)言模型（LLM）為例，廠(chǎng)商們的選擇各有不同。目前，除華為以外，所有中國手機廠(chǎng)商都在不同程度地布署了設備端AI，如下圖所示。 
鮑敏祺介紹說(shuō)，與單純的云AI相比，端側AI具備兩個(gè)優(yōu)勢：時(shí)效性和數據的安全性。雖然云AI的算力更強大，能夠獲得更強的理解力，但其響應存在延遲。此外，由于端側產(chǎn)品針對特定應用和特定用戶(hù)，所以AI的學(xué)習訓練也更加具有針對性，用戶(hù)體驗會(huì )更好，產(chǎn)品的用戶(hù)粘度也就更高。 鮑敏祺說(shuō)，由于內存帶寬的限制（50-100GB/s），端側大模型的規模一般被限制在1B至3B，而7B是臨界值。從商業(yè)化的角度去看，芯片廠(chǎng)商達成了一個(gè)基本共識：消費類(lèi)產(chǎn)品AI的未來(lái)投入重點(diǎn)是神經(jīng)網(wǎng)絡(luò )處理器（NPU）。為方便芯片廠(chǎng)商設計研發(fā)NPU，安謀科技推出了“周易”NPU IP，它在功耗、成本和生態(tài)系統諸方面都具有優(yōu)勢。 據介紹，“周易”NPU正朝著(zhù)更高能效的方向演化。首先，其微架構實(shí)現了升級，保留了部分卷積神經(jīng)網(wǎng)絡(luò )（CNN）功能，增強了transformer語(yǔ)言大模型能力。第二，通過(guò)混合精度量化、片內互聯(lián)、壓縮和稀釋等技術(shù)實(shí)現了更高效率。其次，通過(guò)數據/模型的并行處理、負載均衡和tiling技術(shù)提升了效率�！爸芤住盢PU的結構如下圖所示，重點(diǎn)是其任務(wù)日程管理器和異構策略。
鮑敏祺說(shuō)，“周易”NPU可應用于智能汽車(chē)、智能手機、PC和AIOT等場(chǎng)景，其策略各有不同。下面是汽車(chē)應用的示例，其中不僅包含了安謀的“周易”NPU，也包含了安謀的山海SPU、玲瓏VPU和玲瓏DPU，以及Arm的Mali GPU和ISP。
鮑敏祺說(shuō)，“周易”NPU能夠涵蓋ADAS、智能座艙、車(chē)載娛樂(lè )系統等不同汽車(chē)場(chǎng)景。上面的“周易”NPU具有20到320 TOPS可擴展性，以應對不同場(chǎng)景的不同算力需求。例如，車(chē)載信息娛樂(lè )系統（IVI）的要求不會(huì )很高，但ADAS在很多情況下要執行多任務(wù)，所以需要更高的算力。據悉，搭載了“周易”NPU的芯擎科技“龍鷹一號”芯片已累計出貨超過(guò)40萬(wàn)片，并成功應用于吉利旗下的領(lǐng)克、銀河系列以及一汽紅旗等20余款主力車(chē)型中。對于下一代“周易”NPU，安謀會(huì )增強自動(dòng)駕駛AI方面的算力和效率。 |
