|
Microchip Technology Inc. 觸摸和手勢業(yè)務(wù)部 副總監 Yann LeFaou 探討了人工智能（AI）的普及給嵌入式設計人員帶來(lái)的新挑戰。在創(chuàng )建“邊緣機器學(xué)習（ML）”應用時(shí)，設計人員必須確保其能有效運行，同時(shí)最大限度地降低處理器和存儲開(kāi)銷(xiāo)，以及物聯(lián)網(wǎng)（IoT）設備的功耗。 從監控和訪(fǎng)問(wèn)控制到智能工廠(chǎng)和預測性維護，基于機器學(xué)習（ML）模型構建的人工智能（AI）在工業(yè)物聯(lián)網(wǎng)邊緣處理應用中已變得無(wú)處不在。隨著(zhù)這種普及，支持AI的解決方案的構建已經(jīng)變得“大眾化”——從數據科學(xué)家的專(zhuān)業(yè)領(lǐng)域轉為嵌入式系統設計人員也需要了解的領(lǐng)域。這種大眾化帶來(lái)的挑戰在于，設計人員并不一定具備定義要解決的問(wèn)題以及以最恰當方式捕獲和組織數據的能力。此外，與消費類(lèi)解決方案不同，工業(yè)AI實(shí)現的現有數據集很少，通常需要用戶(hù)從頭開(kāi)始創(chuàng )建自己的數據集。 融入主流 AI已經(jīng)融入主流，深度學(xué)習和機器學(xué)習（DL和ML）是我們現在習以為常的許多應用的背后力量，這些應用包括自然語(yǔ)言處理、計算機視覺(jué)、預測性維護和數據挖掘。早期的AI實(shí)現是基于云或服務(wù)器的，需要大量的處理能力和存儲空間，以及AI/ML應用與邊緣（終端）之間的高帶寬連接。盡管生成式AI應用（如ChatGPT、DALL-E和Bard）仍然需要此類(lèi)設置，但近年來(lái)已經(jīng)出現了邊緣處理的AI，即在數據捕獲點(diǎn)實(shí)時(shí)處理數據。邊緣處理極大減少了對云的依賴(lài)，使整體系統/應用更快、需要更少的功耗并且成本更低。許多人認為安全性得到了提高，但更準確地說(shuō)，主要的安全重點(diǎn)從保護云與終端之間的通信轉移到了使邊緣設備更安全。 邊緣的AI/ML可以在傳統的嵌入式系統上實(shí)現，這些系統的設計人員可以使用強大的微處理器、圖形處理單元和豐富的存儲器器件，即類(lèi)似于PC的資源。然而，越來(lái)越多的商業(yè)和工業(yè)物聯(lián)網(wǎng)設備需要在邊緣具備AI/ML功能，這些設備通常硬件資源有限，而且在許多情況下由電池供電。 在資源和功耗受限的硬件上運行的邊緣AI/ML的潛力催生了“TinyML”這一術(shù)語(yǔ)。實(shí)際用例涵蓋工業(yè)（如預測性維護）、樓宇自動(dòng)化（環(huán)境監控）、建筑施工（監督人員安全）和安防等領(lǐng)域。 數據流 AI（及其子集ML）需要從數據捕獲/收集到模型部署的工作流程（見(jiàn)圖1）。對于TinyML而言，由于嵌入式系統資源有限，因此每個(gè)工作流程階段的優(yōu)化至關(guān)重要。 例如，TinyML的資源需求被認為是1 MHz到400 MHz的處理速度、2 KB到512 KB的RAM和32 KB到2 MB的存儲空間（閃存）。此外，150 μW至23.5 mW的小功耗預算也常常帶來(lái)挑戰。 
圖1——上圖為簡(jiǎn)化的AI工作流程。雖然圖中未顯示，但模型部署本身必須將數據反饋回流程中，甚至可能影響數據的收集。 此外，在將AI嵌入資源有限的嵌入式系統時(shí)，還有更重要的考慮因素或權衡。模型是系統行為的關(guān)鍵，但設計人員經(jīng)常發(fā)現自己在模型質(zhì)量/精度（影響系統可靠性/依賴(lài)性和性能，主要是運行速度和功耗）之間做出妥協(xié)。 另一個(gè)關(guān)鍵因素是決定使用哪種類(lèi)型的AI/ML。通常有三種算法可供使用：監督學(xué)習、無(wú)監督學(xué)習和強化學(xué)習。 解決方案 即使是對AI和ML有良好理解的設計人員，可能也會(huì )在優(yōu)化AI/ML工作流程的每個(gè)階段并在模型精度與系統性能之間找到完美平衡方面遇到困難——那么缺乏以往經(jīng)驗的嵌入式設計人員如何應對這些挑戰呢？ 首先，重要的是不要忽視一個(gè)事實(shí)：如果模型小且AI任務(wù)僅限于解決簡(jiǎn)單問(wèn)題，那么部署在資源有限的物聯(lián)網(wǎng)設備上的模型將會(huì )更有效。 幸運的是，ML（特別是TinyML）進(jìn)入嵌入式系統領(lǐng)域，帶來(lái)了新的（或增強的）集成開(kāi)發(fā)環(huán)境（IDE）、軟件工具、架構和模型——其中許多都是開(kāi)源的。例如，TensorFlow™ Lite for Microcontrollers（TF Lite Micro）是一個(gè)面向ML和AI的免費開(kāi)源軟件庫，它專(zhuān)為在只有幾KB存儲器的器件上實(shí)現ML而設計。此外，程序可以用開(kāi)源和免費的Python語(yǔ)言編寫(xiě)。 關(guān)于IDE，Microchip的MPLAB® X就是此類(lèi)環(huán)境的一個(gè)示例。該IDE可與公司的MPLAB ML一起使用，MPLAB ML是專(zhuān)門(mén)開(kāi)發(fā)的MPLAB X插件，用于構建優(yōu)化的AI物聯(lián)網(wǎng)傳感器識別代碼。MPLAB ML由AutoML提供支持，可將AI ML工作流程的每一步完全自動(dòng)化，無(wú)需重復、繁瑣和耗時(shí)的模型構建。特征提取、訓練、驗證和測試確保滿(mǎn)足單片機和微處理器存儲器限制的優(yōu)化模型，使開(kāi)發(fā)人員能夠快速在基于Microchip Arm® Cortex®的32位MCU或MPU上創(chuàng )建和部署ML解決方案。 流程優(yōu)化 工作流程優(yōu)化任務(wù)可以通過(guò)使用現成的數據集和模型來(lái)簡(jiǎn)化。例如，如果一個(gè)支持ML的物聯(lián)網(wǎng)設備需要圖像識別，從現有的標記靜態(tài)圖像和視頻片段數據集開(kāi)始進(jìn)行模型訓練（測試和評估）是合理的；需要注意的是，監督學(xué)習算法需要標記數據。 許多圖像數據集已經(jīng)存在于計算機視覺(jué)應用中。然而，由于它們是為基于PC、服務(wù)器或云的應用設計的，通常都很大。例如，ImageNet包含超過(guò)1400萬(wàn)張標注圖像。 根據ML應用的不同，可能只需要少量子集；例如，有很多人但只有少量靜物的圖像。例如，如果在建筑工地使用支持ML的攝像頭，當有不戴安全帽的人進(jìn)入其視野時(shí)，它們可以立即發(fā)出報警。ML模型需要訓練，但可能只需要少量戴或不戴安全帽的人的圖像。然而，對于帽子類(lèi)型，可能需要更大的數據集和足夠的數據集范圍，以考慮不同的光照條件等各種因素。 圖1中第1步到第3步的內容分別是獲得正確的實(shí)時(shí)（數據）輸入和數據集、準備數據和訓練模型。模型優(yōu)化（第4步）通常是壓縮，這有助于減少存儲器需求（處理期間的RAM和用于存儲的NVM）和處理延遲。 在處理方面，許多AI算法（如卷積神經(jīng)網(wǎng)絡(luò )（CNN））在處理復雜模型時(shí)會(huì )遇到困難。一種流行的壓縮技術(shù)是剪枝（見(jiàn)圖2），剪枝有四種類(lèi)型：權重剪枝、單元/神經(jīng)元剪枝和迭代剪枝。
圖2——剪枝減少了神經(jīng)網(wǎng)絡(luò )的密度。上圖中，某些神經(jīng)元之間的連接權重被設為零。但有時(shí)神經(jīng)元也可以被剪掉（圖中未顯示）。 量化是另一種流行的壓縮技術(shù)。量化是將高精度格式（如32位浮點(diǎn)（FP32））的數據轉換為低精度格式（如8位整數（INT8））的過(guò)程。量化模型（見(jiàn)圖3）的使用可以通過(guò)以下兩種方式之一納入機器訓練。 • 訓練后量化涉及使用FP32格式的模型，當訓練完成后，再進(jìn)行量化以便部署。例如，可以使用標準TensorFlow在PC上進(jìn)行初始模型訓練和優(yōu)化。然后模型可以進(jìn)行量化，并通過(guò)TensorFlow Lite嵌入到物聯(lián)網(wǎng)設備中。 • 量化感知訓練可仿真推斷時(shí)量化，創(chuàng )建一個(gè)模型供下游工具用于生成量化模型。
圖3——量化模型使用低精度，從而減少存儲器和存儲需求并提高能源效率，同時(shí)仍保留相同的形狀。 雖然量化很有用，但不應過(guò)度使用，因為它類(lèi)似于通過(guò)使用較少的位表示顏色和/或使用較少的像素來(lái)壓縮數字圖像——即，會(huì )存在一個(gè)圖像變得難以解釋的點(diǎn)。 總結 正如我們在開(kāi)頭所提到的，AI現在已經(jīng)深深融入嵌入式系統領(lǐng)域。然而，這種大眾化意味著(zhù)以前不需要了解AI和ML的設計工程師正面臨將AI解決方案實(shí)現到其設計中的挑戰。 盡管創(chuàng )建ML應用并充分利用有限硬件資源的挑戰可能令人望而卻步，但這對經(jīng)驗豐富的嵌入式系統設計人員來(lái)說(shuō)并不是一個(gè)新挑戰。好消息是，工程社區內有豐富的信息（和培訓），以及像MPLAB X這樣的IDE、MPLAB ML這樣的模型構建工具以及各種開(kāi)源數據集和模型。這種生態(tài)系統可幫助不同理解水平的工程師快速完成現在可以在16位甚至8位單片機上實(shí)現的AL和ML解決方案。 關(guān)于作者： Yann LeFaou是Microchip觸摸和手勢業(yè)務(wù)部的副總監。在這個(gè)職位中，LeFaou領(lǐng)導一個(gè)團隊開(kāi)發(fā)電容式觸摸技術(shù)，并推動(dòng)公司在單片機和微處理器上的機器學(xué)習（ML）計劃。他在Microchip擔任過(guò)一系列連續的技術(shù)和市場(chǎng)職位，包括領(lǐng)導公司在電容式觸摸、人機界面和家用電器技術(shù)方面的全球市場(chǎng)活動(dòng)。LeFaou擁有法國電力機械專(zhuān)業(yè)學(xué)院（ESME Sudria）的學(xué)位。 |
