|
通常，人工智能（AI）計算大多是在數據中心、企業(yè)核心設備或電信邊緣處理器上遠程執行的，而不是在本地設備上。其中緣由主要是AI計算需要數百個(gè)不同類(lèi)型的芯片來(lái)執行，硬件的尺寸、成本和功耗都非常高。但是，對于那些對帶寬、時(shí)延敏感的實(shí)時(shí)性應用而言，全部上“云”就不是最好的選擇了。 幸好，嵌入式AI已經(jīng)開(kāi)始改變這一切！ 為什么需要嵌入式AI？ 過(guò)去10年，通用嵌入式計算取得了飛速發(fā)展，其應用觸角已延伸至航空航天、工業(yè)、電力、消費等各個(gè)領(lǐng)域。不過(guò)，將嵌入式與AI結合起來(lái)是最近幾年才出現的事情。 嵌入式AI，實(shí)際上是一種讓AI算法可以在終端設備上運行的技術(shù)概念。因嵌入式AI的芯片體積更小，價(jià)格相對低廉，產(chǎn)生的熱量和耗電量更是比“云”端設備小得多，因而可以集成到智能手機等手持設備以及機器人等非消費類(lèi)設備中。正是嵌入式AI或者邊緣AI（edge AI）芯片的出現，減少或消除了將大量數據發(fā)送到云端的需要，從而在可用性、速度以及數據安全和隱私方面帶來(lái)了極大的便利和好處。 嵌入式AI的目標是能夠在邊緣使用專(zhuān)門(mén)的硬件進(jìn)行高效的計算。這些設備上的人工智能模型需要是可訓練的，無(wú)論是在設備級別還是在云端，這就需要將訓練好的模型傳輸回邊緣�；仡櫲斯ぶ悄艿陌l(fā)展歷程，我們看到了計算能力從云端到邊緣的緩慢卸載（圖1）。 
圖1:嵌入式人工智能從云端到邊緣的研究進(jìn)展（圖源：網(wǎng)絡(luò )） 歸納起來(lái)，嵌入式AI的出現主要源自下面三個(gè)方面的影響。 一是來(lái)自硬件支持。這一點(diǎn)非常關(guān)鍵。在過(guò)去的幾年里，微控制器和應用處理器的技術(shù)演進(jìn)實(shí)在是太驚人了。微控制器現在能支持兆字節的閃存和RAM，系統時(shí)鐘頻率能達到甚至超過(guò)1 GHz，有些控制器還能支持DSP指令，這意味著(zhù)它們可以有效地執行AI中的推理任務(wù)。隨著(zhù)處理器計算能力的大幅提升，在邊緣支持機器學(xué)習不再需要太多額外的成本。 二是大幅簡(jiǎn)化的軟件開(kāi)發(fā)過(guò)程。機器學(xué)習已經(jīng)成為物聯(lián)網(wǎng)和云計算不可或缺的工具，它可以極大地簡(jiǎn)化軟件開(kāi)發(fā)。尤其是在語(yǔ)音識別、圖像分類(lèi)和預測維護等領(lǐng)域，機器學(xué)習可以大大簡(jiǎn)化開(kāi)發(fā)過(guò)程，加快開(kāi)發(fā)速度。以物聯(lián)網(wǎng)為例，每天都會(huì )產(chǎn)生海量數據，數據分析是一項龐大的任務(wù)，通過(guò)機器學(xué)習訓練出一個(gè)模型，然后在嵌入式系統上部署推理，這些數據的分析將不再困難。 三是市場(chǎng)的推動(dòng)。嵌入式AI正在變成市場(chǎng)的一個(gè)營(yíng)銷(xiāo)熱點(diǎn)。一個(gè)產(chǎn)品能否熱銷(xiāo)，除了功能和性能出眾，尋找賣(mài)點(diǎn)也很重要。機器學(xué)習現在就是市場(chǎng)的熱門(mén)話(huà)題，將其用于你的產(chǎn)品設計中，它很可能就會(huì )成為撬動(dòng)市場(chǎng)的一個(gè)支點(diǎn)。 嵌入式AI還有瓶頸 邊緣嵌入式AI芯片的應用給消費者和企業(yè)帶來(lái)了重大變化。對于消費者來(lái)說(shuō)，邊緣AI芯片可以提供很多功能——從解鎖手機，到與語(yǔ)音助手進(jìn)行對話(huà)，到在極其困難的條件下拍攝照片，而且不需要互聯(lián)網(wǎng)連接。但從長(cháng)遠來(lái)看，邊緣AI芯片的更大影響可能來(lái)自于其在企業(yè)中的應用。在企業(yè)中，邊緣AI芯片可以使公司的物聯(lián)網(wǎng)應用達到一個(gè)全新的水平。 在這些利好的背后，問(wèn)題也隨之出現：現有的標準芯片不太符合邊緣側智能化的需求。目前，機器學(xué)習主要由CPU、GPU、FPGA和ASIC的混合體來(lái)進(jìn)行所有的訓練和推理。從早期A(yíng)I直至今天，CPU、GPU和FPGA的應用非常廣泛，它們很好地契合了深度學(xué)習的內存密集型需求。不過(guò)，開(kāi)發(fā)人員和系統設計人員逐漸發(fā)現，要在嵌入式設計中添加某種形式的神經(jīng)網(wǎng)絡(luò )或深度學(xué)習能力，將現有的CPU、GPU、FPGA等標準芯片降級為通用嵌入式AI，會(huì )出現水土不服的現象。其主要原因是這些通常放在數據中心的芯片普遍尺寸大、價(jià)格昂貴、耗電量大。 換句話(huà)說(shuō)，在實(shí)際應用中，現在的嵌入式AI還有瓶頸。這個(gè)瓶頸不是在算力方面，而是芯片的尺寸、價(jià)格、耗電及散熱等方面。因此，面向邊緣智能的嵌入式AI離不開(kāi)專(zhuān)用芯片支持。 半導體廠(chǎng)商的新商機 嵌入式AI在未來(lái)的經(jīng)濟增長(cháng)中正在扮演關(guān)鍵的角色，它們不可避免地將會(huì )出現在汽車(chē)、智能家居、機器人以及各種電子設備上。根據德勤公司對人工智能芯片行業(yè)的預測，到2020年，全球將售出超過(guò)7.5億個(gè)邊緣AI芯片，收入達26億美元。與2017年相比，年復合年增長(cháng)率達到36%。此外，邊緣AI芯片市場(chǎng)的增長(cháng)速度還將遠遠超過(guò)整個(gè)芯片市場(chǎng)。到2024年，預計邊緣AI芯片的銷(xiāo)量將超過(guò)15億，年銷(xiāo)售額增長(cháng)至少為20%，這個(gè)增速是整個(gè)半導體行業(yè)預測的9%復合年增長(cháng)率的兩倍多。按行業(yè)看，目前消費端的邊緣AI芯片市場(chǎng)比企業(yè)市場(chǎng)大得多，但增速不及后者。預計在2020年至2024年間，消費端的邊緣AI芯片市場(chǎng)復合年增長(cháng)率將達到18%，企業(yè)級為50%。 那么，誰(shuí)將從嵌入式AI芯片這一新興市場(chǎng)中獲益呢？答案很明顯，他們就是制造嵌入式AI芯片的公司�，F在，進(jìn)入這一行業(yè)的半導體公司很多，最具代表性的企業(yè)有NXP（恩智浦）、STMicroelectronics、Maxim、arm、Xilinx（賽靈思）、Renesas、Lattice等。他們已經(jīng)推出硬件、軟件、開(kāi)發(fā)工具等一系列解決方案，相關(guān)的生態(tài)系統也已逐步建立。 以下是過(guò)去一年中我們看到的嵌入式AI芯片領(lǐng)域的“新物種”，從中我們可以看到眾多廠(chǎng)商在這個(gè)領(lǐng)域的技術(shù)路線(xiàn)圖。 NXP i.MX 8M Plus：將高性能機器學(xué)習推向邊緣端 對于許多應用而言，邊緣端是進(jìn)行機器學(xué)習處理的理想位置。NXP i.MX 8M Plus是一款配備了專(zhuān)用高性能機器學(xué)習加速器的i.MX應用處理器。因使用了14nm FinFET工藝技術(shù)，故i.MX 8M Plus擁有很高的性能且保持低功耗。該處理器還采用了同時(shí)支持兩個(gè)低成本高清圖像傳感器或一個(gè)4K分辨率圖像傳感器的雙攝像頭ISP，足以應對人臉、物體對象和手勢識別等機器學(xué)習任務(wù)。 此外，它還集成了獨立的800MHz Cortex-M7，用來(lái)處理實(shí)時(shí)任務(wù)、H.265和H.264的視頻編解碼、800MHz HiFi4 DSP以及用于語(yǔ)音識別的8通道PDM麥克風(fēng)輸入。借助i.MX 8M Plus，語(yǔ)音識別、對象檢測、人臉識別、對象分割、增強現實(shí)、手勢識別等應用均可在邊緣運行機器學(xué)習。
圖2:恩智浦i.MX 8M Plus支持在邊緣運行機器學(xué)習的部分應用（圖源：NXP） Xilinx Versal ACAP：將智能引入到邊緣設備 Xilinx Versal ACAP是一款自適應計算加速平臺，它融合了用于嵌入式計算的新一代標量引擎、用于FPGA芯片編程的自適應引擎，以及用于A(yíng)I推斷與高級信號處理的智能引擎，擁有卓越的計算性能和單位功耗。 為了讓更多的開(kāi)發(fā)者受益于賽靈思所提供的從邊緣到云的人工智能和深度學(xué)習推斷加速度，賽靈思緊接著(zhù)又推出了另一款軟件平臺產(chǎn)品——Vitis AI。Vitis AI開(kāi)發(fā)環(huán)境是賽靈思在其硬件平臺上進(jìn)行AI推理的開(kāi)發(fā)平臺，可加速基于賽靈思平臺部署深度學(xué)習推斷的進(jìn)程，其中的模型涵蓋不同的應用，包括ADAS/AD、視頻監控、機器人和數據中心等。
圖3:Xilinx的Versal ACAP功能框圖（圖源：Xilinx） Maxim神經(jīng)網(wǎng)絡(luò )加速器芯片：在邊緣實(shí)現復雜的嵌入式?jīng)Q策 Maxim神經(jīng)網(wǎng)絡(luò )加速器MAX78000是一款低功耗微控制器，它支持電池供電的嵌入式IoT設備在邊緣通過(guò)快速、低功耗AI推理來(lái)制定復雜決策。MAX78000將高能效AI處理與超低功耗微控制器結合在一起，內建的基于硬件的卷積神經(jīng)網(wǎng)絡(luò ) (CNN) 加速器可在電池供電應用執行AI推理，而僅消耗微焦耳級別的能量。 與軟件方案相比，這種快速、低功耗的決策實(shí)施使得復雜的AI推理能耗降低到前期方案的百分之一以?xún)�，采用AI技術(shù)的電池供電系統的運行時(shí)間可得到大幅延長(cháng)。更重要的是，MAX78000的成本只有FPGA或GPU方案的零頭，而執行推理的速度比低功耗微控制器上實(shí)施的軟件方案快100倍。
圖4:Maxim具有神經(jīng)網(wǎng)絡(luò )加速器的低功耗微控制器MAX78000（圖源：Maxim Integrated） 總之，嵌入式AI的興起，使得傳統的嵌入式廠(chǎng)商也有機會(huì )參與到AI的盛宴之中。不過(guò)要想在分食未來(lái)AI應用市場(chǎng)的蛋糕時(shí)分得更多的份額，那現在就應該開(kāi)始行動(dòng)了！ 來(lái)源：貿澤電子 作者：M博士 |
