|
作者：Arm 隨著(zhù)人工智能 (AI) 的演進(jìn)，利用小語(yǔ)言模型 (SLM) 在嵌入式設備上執行 AI 工作負載成為業(yè)界關(guān)注的焦點(diǎn)。Llama、Gemma 和 Phi3 等小語(yǔ)言模型，憑借其出色的成本效益、高效率以及在算力受限設備上的易部署性，贏(yíng)得了廣泛認可。Arm 預計這類(lèi)模型的數量將在 2025 年繼續增長(cháng)。 Arm 技術(shù)以其高性能與低功耗的顯著(zhù)優(yōu)勢，為小語(yǔ)言模型提供了理想的運行環(huán)境，能夠有效提升運行效率，并進(jìn)一步優(yōu)化用戶(hù)體驗。為了直觀(guān)展示端點(diǎn) AI 在物聯(lián)網(wǎng)和邊緣計算領(lǐng)域的巨大潛力，Arm技術(shù)團隊近期打造了一場(chǎng)技術(shù)演示。在演示中，當用戶(hù)輸入一個(gè)句子后，系統將基于該句擴展生成一個(gè)兒童故事。這項演示受到了微軟 “Tiny Stories” 論文和 Andrej Karpathy 的 TinyLlama2 項目的啟發(fā)，TinyLlama2 項目使用了 2,100 萬(wàn)個(gè)故事來(lái)訓練小語(yǔ)言模型生成文本。 該演示搭載了 Arm Ethos-U85 NPU，并在嵌入式硬件上運行小語(yǔ)言模型。盡管大語(yǔ)言模型 (LLM) 更加廣為人知，但由于小語(yǔ)言模型能夠以更少的資源和較低的成本提供出色的性能，而且訓練起來(lái)也更為簡(jiǎn)易且成本更低，因此越來(lái)越受到關(guān)注。 在嵌入式硬件上實(shí)現基于 Transformer 的小語(yǔ)言模型 Arm 的演示展示了 Ethos-U85 作為一個(gè)小型低功耗平臺，具備運行生成式 AI 的能力，并凸顯了小語(yǔ)言模型在特定領(lǐng)域中的出色表現。TinyLlama2 模型相較 Meta 等公司的大模型更為簡(jiǎn)化，很適合用于展示 Ethos-U85 的 AI 性能，可作為端點(diǎn) AI 工作負載的理想之選。 為開(kāi)發(fā)此演示，Arm 進(jìn)行了大量建模工作，包括創(chuàng )建一個(gè)全整數的 INT8（和 INT8x16）TinyLlama2 模型，并將其轉換為適合 Ethos-U85 限制的固定形狀 TensorFlow Lite 格式。 Arm 的量化方法表明，全整數語(yǔ)言模型在取得高準確度和輸出質(zhì)量之間實(shí)現了良好平衡。通過(guò)量化激活、歸一化函數和矩陣乘法，Arm 無(wú)需進(jìn)行浮點(diǎn)運算。由于浮點(diǎn)運算在芯片面積和能耗方面成本較高，這對于資源受限的嵌入式設備來(lái)說(shuō)是一個(gè)關(guān)鍵考量。 Ethos-U85 在 FPGA 平臺上以 32 MHz 的頻率運行語(yǔ)言模型，其文本生成速度可達到每秒 7.5 到 8 個(gè)詞元 (token)，與人類(lèi)的閱讀速度相當，同時(shí)僅消耗四分之一的計算資源。在實(shí)際應用的系統級芯片 (SoC) 上，該性能最多可提高十倍，從而顯著(zhù)提升了邊緣側 AI 的處理速度和能效。 兒童故事生成特性采用了 Llama2 的開(kāi)源版本，并結合了 Ethos NPU 后端，在 TFLite Micro 上運行演示。大部分推理邏輯以 C++ 語(yǔ)言在應用層編寫(xiě)，并通過(guò)優(yōu)化上下文窗口內容，提高了故事的連貫性，確保 AI 能夠流暢地講述故事。 由于硬件限制，團隊需要對 Llama2 模型進(jìn)行適配，以確保其在 Ethos-U85 NPU 上高效運行，這要求對性能和準確性進(jìn)行仔細考量。INT8 和 INT16 混合量化技術(shù)展示了全整數模型的潛力，這有利于 AI 社區更積極地針對邊緣側設備優(yōu)化生成式模型，并推動(dòng)神經(jīng)網(wǎng)絡(luò )在如 Ethos-U85 等高能效平臺上的廣泛應用。 Arm Ethos-U85 彰顯卓越性能 Ethos-U85 的乘法累加 (MAC) 單元可以從 128 個(gè)擴展至 2,048 個(gè)，與前一代產(chǎn)品 Ethos-U65 相比，其能效提高了 20%。另外相較上一代產(chǎn)品，Ethos-U85 的一個(gè)顯著(zhù)特點(diǎn)是能夠原生支持 Transformer 網(wǎng)絡(luò )。 Ethos-U85 支持使用前代 Ethos-U NPU 的合作伙伴能夠實(shí)現無(wú)縫遷移，并充分利用其在基于 Arm 架構的機器學(xué)習 (ML) 工具上的既有投資。憑借其卓越能效和出色性能，Ethos-U85 正愈發(fā)受到開(kāi)發(fā)者青睞。 如果在芯片上采用 2,048 個(gè) MAC 配置，Ethos-U85 可以實(shí)現 4 TOPS 的性能。在演示中，Arm 使用了較小的配置，即在 FPGA 平臺上采用 512 個(gè) MAC，并以 32 MHz 的頻率運行具有 1,500 萬(wàn)個(gè)參數的 TinyLlama2 小語(yǔ)言模型。 這一能力凸顯了將 AI 直接嵌入設備的可能性。盡管內存有限（320 KB SRAM 用于緩存，32 MB 用于存儲），Ethos-U85 仍能高效處理此類(lèi)工作負載，為小語(yǔ)言模型和其他 AI 應用在深度嵌入式系統中的廣泛應用奠定了基礎。 將生成式 AI 引入嵌入式設備 開(kāi)發(fā)者需要更加先進(jìn)的工具來(lái)應對邊緣側 AI 的復雜性。Arm 通過(guò)推出 Ethos-U85，并支持基于 Transformer 的模型，致力于滿(mǎn)足這一需求。隨著(zhù)邊緣側 AI 在嵌入式應用中的重要性日益增加，Ethos-U85 正在推動(dòng)從語(yǔ)言模型到高級視覺(jué)任務(wù)等各種新用例的實(shí)現。 Ethos-U85 NPU 提供了創(chuàng )新前沿解決方案所需的卓越性能和出色能效。Arm 的演示顯示了將生成式 AI 引入嵌入式設備的重要進(jìn)展，并凸顯了在 Arm 平臺上部署小語(yǔ)言模型便捷可行。 Arm 正為邊緣側 AI 在廣泛應用領(lǐng)域帶來(lái)新機遇，Ethos-U85 也因此成為推動(dòng)新一代智能、低功耗設備發(fā)展的關(guān)鍵動(dòng)力。 |
