|
作者：Silicon Labs 人工智能（AI）和機器學(xué)習（ML）技術(shù)不僅正在快速發(fā)展，還逐漸被創(chuàng )新性地應用于低功耗的微控制器（MCU）中，從而實(shí)現邊緣AI/ML解決方案。這些MCU是許多嵌入式系統不可或缺的一部分，憑借其成本效益、高能效以及可靠的性能，現在能夠支持AI/ML應用。這種集成化在可穿戴電子產(chǎn)品、智能家居設備和工業(yè)自動(dòng)化等應用領(lǐng)域中，從AI/ML功能中獲得的效益尤為顯著(zhù)。具備AI優(yōu)化功能的MCU和TinyML的興起（專(zhuān)注于在小型、低功耗設備上運行ML模型），體現了這一領(lǐng)域的進(jìn)步。TinyML對于直接在設備上實(shí)現智能決策、促進(jìn)實(shí)時(shí)處理和減少延遲至關(guān)重要，特別是在連接有限或無(wú)連接的環(huán)境中。 TinyML是指在小型、低功耗設備上應用機器學(xué)習模型，尤其是在微控制器（MCU）平臺上，這些MCU經(jīng)過(guò)優(yōu)化，可以在設備有限的資源體系內運行。這使得邊緣設備能夠實(shí)現智能決策，支持實(shí)時(shí)處理并減少延遲。量化（Quantization）和剪枝（Pruning）等技術(shù)用于減小模型大小并提高推理速度。量化通過(guò)降低模型權重的精度，顯著(zhù)減少內存使用而幾乎不影響準確性；剪枝則通過(guò)去除不太重要的神經(jīng)元，進(jìn)一步減小模型規模并提升延遲性能。這些方法對于在資源有限的設備上部署ML模型至關(guān)重要。 PyTorch和TensorFlow Lite都是實(shí)現機器學(xué)習模型的主流框架。PyTorch是一個(gè)開(kāi)源機器學(xué)習庫，被廣泛用于人工智能應用的開(kāi)發(fā)，包括可以部署在微控制器上的應用程序。PyTorch提供了用于機器學(xué)習的工具和庫，包括計算機視覺(jué)和自然語(yǔ)言處理，可用于低功耗和小尺寸設備。 TensorFlow Lite for Microcontroller（TFLM）能夠在非常受限的MCU類(lèi)設備上運行具有Flatbuffer轉換功能的TF Lite模型。這減少了模型的大小，并優(yōu)化了它在MCU上的推理。 另一個(gè)重要的工具是來(lái)自ARM的CMSIS-NN庫，它為Cortex-M處理器提供了優(yōu)化的神經(jīng)網(wǎng)絡(luò )內核來(lái)運行TFLM模型。CMSIS-NN庫提高了性能并減少了內存占用，使其更容易在基于A(yíng)RM的MCU上運行ML模型。 此外，一些MCU還配備了專(zhuān)用的AI/ML硬件加速器，如Silicon Labs（芯科科技）的EFM32無(wú)線(xiàn)SoC和MCU，可以顯著(zhù)提高M(jìn)L模型的性能，使更復雜的應用程序能夠在這些設備上更快、更高效地運行。人工智能加速器擅長(cháng)并行化任務(wù)，如矩陣乘法、卷積和圖形處理。通過(guò)利用多樣化的并行性，它們可以一次執行大量的計算。這使得人工智能工作負載的速度大大提高，同時(shí)保持低功耗。這些加速器還增強了內存訪(fǎng)問(wèn)模式，減少了數據傳輸開(kāi)銷(xiāo)，主CPU—CortexM可以進(jìn)入低功耗睡眠模式，以節省更多的能量或管理額外的任務(wù)。通過(guò)使數據更接近計算單元，它們減少了等待時(shí)間。其結果是增強了性能、降低了功耗和延遲。 實(shí)際應用 TinyML的實(shí)際應用是多種多樣且有影響力的。一個(gè)值得注意的示例是音頻和視覺(jué)喚醒詞，當說(shuō)出特定的關(guān)鍵字或在圖像中檢測到某人時(shí)，設備會(huì )觸發(fā)動(dòng)作。這項技術(shù)被用于智能揚聲器和安全攝像頭，支持它們在識別到喚醒詞或檢測運動(dòng)時(shí)激活。另一種應用是工業(yè)環(huán)境中的預測性維護。工廠(chǎng)設備上的傳感器持續監測振動(dòng)和溫度等參數，可使用TinyML模型檢測來(lái)異常并在故障發(fā)生之前預測維護需求，這有助于減少停機時(shí)間和維護成本。 手勢和活動(dòng)識別是TinyML的另一種令人興奮的應用。配備加速度計和陀螺儀的可穿戴設備可以監測身體活動(dòng)，如走路、跑步或特定手勢。這些設備使用TinyML模型實(shí)時(shí)分析傳感器數據，為健身追蹤或醫療診斷提供有價(jià)值的見(jiàn)解。在農業(yè)領(lǐng)域，TinyML被用于環(huán)境監測。智能農業(yè)系統分析土壤濕度和天氣條件，以?xún)?yōu)化灌溉，提高作物產(chǎn)量和資源效率。 TinyML還增強了健康監測功能。諸如連續血糖監測儀（CGM）這樣需要長(cháng)時(shí)間電池壽命和實(shí)時(shí)數據處理的設備，都能夠極大地受益于這項技術(shù)。此外，智能床傳感器可以在沒(méi)有直接接觸的情況下評估病人的呼吸模式，為遠程觀(guān)察提供不間斷的健康數據。這一創(chuàng )新在管理老年人護理和慢性疾病方面特別有價(jià)值，因為持續監測有助于及早發(fā)現潛在的健康問(wèn)題。 啟動(dòng)開(kāi)發(fā) 要開(kāi)始構建自己的TinyML應用，您需要了解TinyML的基礎知識并選擇合適的硬件。根據您的應用，您可能需要傳感器來(lái)收集數據，例如加速度計、麥克風(fēng)或攝像頭。設置開(kāi)發(fā)環(huán)境包括安裝Simplicity Studio集成開(kāi)發(fā)環(huán)境（IDE）、SDK和TinyML所需的資源庫。 下一步是收集和準備與應用相關(guān)的數據。例如，如果您正在構建一個(gè)手勢識別系統，您需要收集不同手勢的加速度計數據。收集數據后，您需要對其進(jìn)行預處理，使其適合訓練您的模型。訓練模型需要在功能強大的機器上使用高級框架，如TensorFlow或PyTorch。一旦訓練完畢，模型需要使用量化和剪枝等技術(shù)進(jìn)行優(yōu)化。 在完成優(yōu)化后，即可將模型轉換為適合MCU的格式，如TensorFlow Lite格式。最后一步是將優(yōu)化后的模型部署到MCU，將其與應用程序代碼集成，并對其進(jìn)行全面測試，以確保其滿(mǎn)足性能和精度要求�；趯�(shí)際性能的不斷迭代和改進(jìn)對于完善TinyML應用至關(guān)重要。 利用芯科科技的解決方案在微控制器上實(shí)現人工智能和機器學(xué)習 芯科科技提供了一系列解決方案，有助于在MCU上實(shí)現AI/ML。EFR32/EFM32（xG24、xG26、xG28）和SiWx917系列微控制器由于其低功耗和強大的性能而非常適合TinyML應用。以下是在芯科科技MCU上實(shí)現AI/ML的詳細技術(shù)指南： 數據采集與預處理 數據采集：使用連接到MCU的傳感器采集原始數據，例如加速度計、陀螺儀和溫度傳感器等傳感器都可用于各種應用。 預處理：對數據進(jìn)行清理和預處理，使其適合訓練。這可能包括過(guò)濾噪聲、對數值進(jìn)行歸一化處理以及將數據分割到窗口中。為此，芯科科技提供了數據采集和預處理工具。 數據采集工具則由合作伙伴SensiML提供：https://github.com/sensiml/sensiml_xG24_dual_audio_imu_capture 模型訓練 模型選擇：根據應用選擇合適的ML模型。常用的模型包括決策樹(shù)（decision tree）和支持向量機（vector machine）。 訓練：在高性能云服務(wù)器或帶有GPU的本地PC上使用TensorFlow訓練模型。這包括將預處理數據輸入模型并調整參數以最小化誤差。 模型轉換：使用TensorFlow Lite轉換器將訓練模型轉換為與TF Lite Micro兼容的格式。TensorFlow Lite for Microcontrollers (TFLM)中的FlatBuffer轉換包括將TensorFlow Lite模型轉換為FlatBuffer格式，這是一種緊湊的二進(jìn)制格式，可以高效地存儲和快速地訪(fǎng)問(wèn)。這個(gè)過(guò)程對于在內存和處理能力有限的微控制器上運行機器學(xué)習模型至關(guān)重要。FlatBuffers支持直接訪(fǎng)問(wèn)模型而無(wú)需解壓。一旦采用FlatBuffer格式，該模型可以由微控制器執行，使其能夠執行推理任務(wù)。這種轉換減小了模型大小，使其適用于內存非常有限的設備，并且可以快速訪(fǎng)問(wèn)和執行模型，而無(wú)需進(jìn)行大量解析。此外，它還確保該模型可以在運行速率低于1GHz、代碼空間有限（通常低于3MB）、SRAM有限（約256KB）的MCU上被無(wú)縫集成和執行。 模型部署 與Simplicity SDK集成：使用芯科科技的Simplicity SDK將TF Lite Micro與MCU集成。 閃存模型（Flashing the Model）：將轉換后的模型移植到MCU的Flash上。這可以使用Simplicity Studio完成，它為芯科科技MCU的編程提供了一個(gè)用戶(hù)友好的界面。 推理和優(yōu)化：應用量化和剪枝等優(yōu)化技術(shù)，以減小模型大小并提高性能。 運行推理：一旦模型部署完成，它可以在MCU上運行推理。這包括向模型中輸入新數據并獲得預測結果。 軟件工具鏈：新的軟件工具包旨在支持開(kāi)發(fā)人員使用一些最流行的工具套件（如TinyML和TensorFlow）快速構建和部署人工智能和機器學(xué)習算法。AI/ML軟件幫助設計人員創(chuàng )建新的應用程序。除了原生支持TensorFlow來(lái)為高效推理提供優(yōu)化內核之外，芯科科技還與一些領(lǐng)先的AI/ML工具提供商（如SensiML和Edge Impulse）合作，以確保開(kāi)發(fā)人員擁有端到端的工具鏈來(lái)簡(jiǎn)化機器學(xué)習模型的開(kāi)發(fā)，這些模型針對無(wú)線(xiàn)應用的嵌入式部署進(jìn)行了優(yōu)化。通過(guò)將這一全新的AI/ML工具鏈與芯科科技的Simplicity Studio開(kāi)發(fā)平臺以及xG24、xG28和xG26系列SoC結合使用，開(kāi)發(fā)人員可以創(chuàng )建能夠從各種互聯(lián)設備獲取信息的應用，這些設備都可以相互通信，從而做出智能的、由機器學(xué)習驅動(dòng)的決策。 芯科科技提供各種工具和資源來(lái)支持ML應用。以下是其中一些例子： 機器學(xué)習應用：芯科科技提供集成化的硬件、軟件和開(kāi)發(fā)工具，幫助客戶(hù)快速創(chuàng )建適用于工業(yè)和商業(yè)應用場(chǎng)景的、安全的智能設備。開(kāi)發(fā)平臺支持嵌入式機器學(xué)習（TinyML）模型推理，由Tensorflow Lite for Microcontrollers（TFLM）框架支持。該存儲庫包含一組利用ML的嵌入式應用程序：https://github.com/SiliconLabs/machine_learning_applications 機器學(xué)習工具包（MLTK）：這是一個(gè)帶有命令行實(shí)用程序和腳本的Python軟件包，可支持基于芯科科技的嵌入式平臺開(kāi)發(fā)的機器學(xué)習模型。它包括從命令行界面或Python腳本執行ML操作的各項功能，并可確定ML模型在嵌入式平臺上的執行效率，以及使用谷歌Tensorflow訓練ML模型。 參考數據集：MLTK附帶參考模型使用的數據集。這些數據集可以在Github上找到： https://github.com/SiliconLabs/m ... i/datasets/index.md 音頻特征生成器（Audio Feature Generator）：芯科科技提供了與TensorFlow Lite模型一起使用的音頻特征生成器。它根據sl_ml_audio_feature_generation_config.h中的配置去進(jìn)行前端的初始化來(lái)生成功能，并以流模式來(lái)初始化和啟動(dòng)麥克風(fēng)。https://docs.silabs.com/machine- ... -feature-generation MLPerf Tiny Benchmark：MLPerf Tiny Benchmark是由一家開(kāi)放工程聯(lián)盟MLCommons設計的性能評估套件。它旨在衡量ML系統在推理方面的性能和能效，將訓練好的ML模型應用于新數據。該基準是專(zhuān)門(mén)為低功耗的最小設備量身定制的，通常用于深度嵌入式應用，如物聯(lián)網(wǎng)（IoT）或智能傳感。 芯科科技參與了MLPerf Tiny基準測試，提交了展示機器學(xué)習工具包（MLTK）功能的解決方案。該工具包包括TinyML基準測試使用的幾個(gè)模型，可在GitHub上獲得，涵蓋異常檢測、圖像分類(lèi)、關(guān)鍵字識別和視覺(jué)喚醒詞等應用程序。 與以前的版本相比，使用MLPerf Tiny v1.0的結果顯示出了推理速度提高，以及代碼規模和內存使用量的減少。例如，Plumerai的推理引擎表現出了顯著(zhù)的增強，包括支持時(shí)間序列神經(jīng)網(wǎng)絡(luò )，如基于LSTM的循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN），這在運動(dòng)傳感器、健康傳感器、語(yǔ)音和音頻應用中很常見(jiàn)。 AI/ML合作伙伴 芯科科技與業(yè)界領(lǐng)先的供應商合作，包括Edge Impulse、SensiML、NeutonAI和Eta Compute等AutoML工具鏈和SaaS云伙伴建立了合作關(guān)系。此外，諸如Sensory和MicroAI等解決方案提供商，以及包括Capgemini和Jabil在內的設計合作伙伴都是該網(wǎng)絡(luò )的一部分。這些聯(lián)盟提供了可簡(jiǎn)化綜合解決方案開(kāi)發(fā)的平臺，使初學(xué)者更容易接觸到邊緣的AI/ML。 TinyML在MCU上的優(yōu)勢： • 成本低－MCU價(jià)格合理 • 綠色環(huán)保－能耗低 • 易于集成－可輕松將MCU集成到現有環(huán)境中 • 隱私與安全－在本地處理數據，無(wú)需聯(lián)網(wǎng)傳輸 • 快速原型開(kāi)發(fā)－快速開(kāi)發(fā)概念驗證解決方案 • 自主可靠－微型設備在任何環(huán)境下都能穩定運行 • 實(shí)時(shí)處理－將延遲降至最低 嵌入式開(kāi)發(fā)應用流程 開(kāi)發(fā)具有機器學(xué)習功能的應用需要兩個(gè)不同的工作流程： • 使用Simplicity Studio來(lái)創(chuàng )建無(wú)線(xiàn)應用的嵌入式應用開(kāi)發(fā)工作流程。 • 創(chuàng )建將添加到嵌入式應用的機器學(xué)習功能的機器學(xué)習工作流程。 
目標應用 運動(dòng)檢測：在商業(yè)辦公大樓里，許多燈都是由運動(dòng)探測器控制的，該探測器監測占用情況，以確定燈是否應該打開(kāi)或關(guān)閉。然而，當員工在辦公桌前打字時(shí)，由于動(dòng)作僅限于手和手指，因為運動(dòng)傳感器本身無(wú)法識別他們的存在，所以可能會(huì )出現自動(dòng)關(guān)燈而無(wú)法為員工可提供照明。通過(guò)將音頻傳感器與運動(dòng)探測器連接起來(lái)，額外的音頻數據（如打字的聲音）可以通過(guò)機器學(xué)習算法進(jìn)行處理，從而使照明系統能夠更明智地決定燈是應該打開(kāi)還是關(guān)閉。 預測性維護：可使用芯科科技的EFR32 MCU來(lái)開(kāi)發(fā)一個(gè)預測性維護系統。這需要使用連接的傳感器來(lái)收集機器的振動(dòng)和溫度數據，同時(shí)訓練一個(gè)模型來(lái)根據這些數據預測潛在的故障，然后將該模型部署在MCU上，實(shí)現對機器的實(shí)時(shí)監控和維護計劃。 健康監測：使用EFM32 MCU構建可穿戴健康監測設備。使用傳感器收集心率和體溫等生命體征的數據。訓練一個(gè)模型來(lái)檢測數據中的異常。在MCU上部署該模型，幫助用戶(hù)對健康情況提供實(shí)時(shí)分析了解。 智能農業(yè)：使用芯科科技的MCU開(kāi)發(fā)智能灌溉系統。使用連接的傳感器收集土壤濕度和天氣數據。訓練一個(gè)模型，以便根據這些數據來(lái)優(yōu)化水的使用。將該模型部署在MCU上，控制灌溉系統，提高作物產(chǎn)量。 結論 MCU不再局限于簡(jiǎn)單任務(wù)，而是正成為實(shí)現AI的強大平臺。通過(guò)探索面向AI優(yōu)化的MCU，我們可以為電池供電的智能設備開(kāi)辟新的潛在應用。無(wú)論是智能家居設備還是工業(yè)傳感器，AI驅動(dòng)的MCU正在重塑嵌入式系統的未來(lái)。 |
