|
網(wǎng)絡(luò )邊緣設備的爆發(fā)式增長(cháng)推動(dòng)著(zhù)新應用的開(kāi)發(fā)，這些應用可以將大量原始數據轉化為有用的、可操作的信息，便于實(shí)時(shí)決策。萊迪思sensAI 4.1解決方案集合提供即用的AI/ML工具、IP核、硬件平臺、參考設計和演示以及定制設計服務(wù)，將網(wǎng)絡(luò )邊緣設備和應用快速推向市場(chǎng)。 本文由萊迪思贊助 引言 毫無(wú)疑問(wèn)，你已經(jīng)讀過(guò)或聽(tīng)說(shuō)過(guò)，由于網(wǎng)絡(luò )邊緣設備數量激增，產(chǎn)生了不斷增長(cháng)的巨量數據流，這些設備包括自動(dòng)駕駛汽車(chē)、物聯(lián)網(wǎng)設備、消費電子產(chǎn)品，甚至是筆記本電腦和個(gè)人電腦。根據多項估算，截至2025年，運行的物聯(lián)網(wǎng)設備將達到數百億個(gè)。這些設備以連續數據流的形式向云端發(fā)送各種形式的數據，數據速率也千差萬(wàn)別�？傮w來(lái)說(shuō)，這些設備將生成大量原始數據，且數據量隨著(zhù)時(shí)間的推移不斷增加。 安全攝像頭、自動(dòng)駕駛汽車(chē)和PC中的視頻錄像機會(huì )生成高碼率、高分辨率的視頻流。物聯(lián)網(wǎng)設備則生成中等碼率的數據，匯聚到大數據流中。多種其他類(lèi)型的物聯(lián)網(wǎng)傳感器（測量溫度、壓力、位置、光照水平等）會(huì )生成低碼率數據流，但很快此類(lèi)傳感器的數量將會(huì )達到數十億。因此，即使是這些低碼率數據流也可以在進(jìn)入云端之前匯聚成更大的、高碼率的數據流。 5G無(wú)線(xiàn)網(wǎng)絡(luò )和其他高速網(wǎng)絡(luò )技術(shù)的興起，包括微微基站（Picocell）、長(cháng)距離物聯(lián)網(wǎng)網(wǎng)絡(luò )（如LoRaWAN）以及全球聯(lián)網(wǎng)衛星網(wǎng)絡(luò )（如SpaceX不斷擴展的星鏈寬帶網(wǎng)絡(luò )和Swarm Technologies基于衛星的物聯(lián)網(wǎng)網(wǎng)絡(luò )），提供了廣泛而快速的云端訪(fǎng)問(wèn)（注：星鏈于2021年8月收購了Swarm Technologies）。這些通信和網(wǎng)絡(luò )技術(shù)加速了新興的網(wǎng)絡(luò )邊緣計算設備和應用的發(fā)展。 新興的網(wǎng)絡(luò )邊緣設備和應用包括自動(dòng)駕駛汽車(chē)、機器人、自動(dòng)化生產(chǎn)、遠程監控、供應鏈和物流系統，以及保障公共和私人安全的視頻監控。市場(chǎng)對這些網(wǎng)絡(luò )邊緣系統的需求極速增長(cháng)，因為它們可以提高效率、降低運營(yíng)成本并改善用戶(hù)體驗。但無(wú)論我們建設多少無(wú)線(xiàn)和有線(xiàn)通信基礎設施，超量數據的駭浪都可能壓垮或者堵塞這些通向云端的數據管道。 網(wǎng)絡(luò )邊緣本地化處理有助于疏通數據管道 這些趨勢表明如今需要盡量在網(wǎng)絡(luò )邊緣數據產(chǎn)生的地方進(jìn)行更多的處理，減少傳輸到云端的數據量。物聯(lián)網(wǎng)和其他網(wǎng)絡(luò )連接設備的爆發(fā)式增長(cháng)是推動(dòng)新的網(wǎng)絡(luò )邊緣設備開(kāi)發(fā)的主要動(dòng)力，這也進(jìn)一步刺激了新應用的開(kāi)發(fā)，從而將原始數據轉換為有用的、可操作的信息，支持快速決策，實(shí)時(shí)應對不斷變化的情形。 在網(wǎng)絡(luò )邊緣計算發(fā)展的早期階段，公司主要關(guān)注將數據遠距離傳輸到數據中心的成本問(wèn)題。最初，網(wǎng)絡(luò )邊緣應用的一大特征是需要訪(fǎng)問(wèn)存儲在云端和連接到云的其他計算機中的數據。這些早期應用通常不是實(shí)時(shí)應用；數百毫秒甚至數秒的響應時(shí)間都是可以接受的。然而，物聯(lián)網(wǎng)設備的發(fā)展以及對網(wǎng)絡(luò )邊緣實(shí)時(shí)處理、分析和響應的需求不斷增長(cháng)，推動(dòng)了網(wǎng)絡(luò )邊緣技術(shù)強有力的發(fā)展，同時(shí)也伴隨著(zhù)更大的設計挑戰。 網(wǎng)絡(luò )邊緣處理使得計算和數據存儲越來(lái)越靠近收集數據的設備端，而不是在數千里之外的數據中心進(jìn)行分析和決策。網(wǎng)絡(luò )邊緣的實(shí)時(shí)應用通常不容許高延遲，因此處理、分析和決策必須轉移到設備本身。這些網(wǎng)絡(luò )邊緣設備包括自動(dòng)駕駛汽車(chē)、物聯(lián)網(wǎng)傳感器、安全攝像頭、智能手機、筆記本電腦和個(gè)人電腦等。因此網(wǎng)絡(luò )邊緣計算的潛力巨大。 數據重壓之下，云端無(wú)法包攬一切 智能手機和物聯(lián)網(wǎng)設備的指數級增長(cháng)推動(dòng)了網(wǎng)絡(luò )邊緣計算的發(fā)展，這些設備無(wú)處不在，必須連接到互聯(lián)網(wǎng)才能向云端發(fā)送信息或從云端接收信息。一些物聯(lián)網(wǎng)設備（例如攝像機）在運行過(guò)程中會(huì )生成大量數據。 其他物聯(lián)網(wǎng)設備，如溫度傳感器，會(huì )生成少量數據，但由于這樣的傳感器數量可達數十億，為云端處理帶來(lái)了極大的負擔。因此，基于網(wǎng)絡(luò )邊緣的處理十分必要，不僅可以降低云端的網(wǎng)絡(luò )通信成本和云存儲成本，還能避免云端數據通道過(guò)載。 網(wǎng)絡(luò )邊緣產(chǎn)品和應用的開(kāi)發(fā)人員越來(lái)越多地采用人工智能和機器學(xué)習（AI/ML）算法來(lái)匹配和識別復雜的模式，以幫助分析數據并據此做出決策。事實(shí)上，AI/ML技術(shù)的使用增長(cháng)極其迅猛。 如今AI/ML算法被視為高效處理原始數據的必要手段，因為它們可以識別出傳統的算法程序難以解析和識別的復雜、多維度的數據模式。一些特定的AI/ML應用包括檢測、識別、辨認和計數人員或物體；資產(chǎn)和存貨追蹤、環(huán)境感知、聲音和語(yǔ)音檢測和識別、系統健康監測以及系統維護調度等。 
圖1. 網(wǎng)絡(luò )邊緣計算的趨勢（圖片來(lái)源：萊迪思） 許多可以利用AI/ML功能的網(wǎng)絡(luò )邊緣應用需要在極具嚴苛的功耗限制下運行。這些廣泛分布的設備通常依靠電池供電。此類(lèi)應用在各種網(wǎng)絡(luò )邊緣環(huán)境中比比皆是，包括工廠(chǎng)、農場(chǎng)、辦公樓、零售店、醫院、倉庫、街道和住宅。隨著(zhù)它們數量的增加，這些設備需要在僅充一次電或者僅依靠收集和存儲能量的情況下運行較長(cháng)時(shí)間，甚至可能是幾個(gè)月或幾年。 因此，許多設備需要在大部分時(shí)間里處于睡眠或休眠狀態(tài)，在設備處于非活動(dòng)狀態(tài)時(shí)大部分電路應處于低功耗待機模式。然后激活事件會(huì )在需要時(shí)啟動(dòng)設備。在此類(lèi)應用中，以超低功耗運行的基礎電路系統必須保持待命，等待激活事件，然后根據需要為設備的其余部分供電。 FPGA以低功耗實(shí)現AL/ML 對低運行功耗和AI/ML算法實(shí)現的需求似乎與低功耗網(wǎng)絡(luò )邊緣設備設計的要求相互沖突。然而，這兩種復雜的設計要求其實(shí)并不矛盾。萊迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——專(zhuān)為滿(mǎn)足低功耗網(wǎng)絡(luò )邊緣設備的諸多設計要求而定制。這些FPGA可以支持多個(gè)傳感器、顯示器，支持高分辨率視頻、網(wǎng)絡(luò )連接和網(wǎng)絡(luò )邊緣AI/ML處理。 與此同時(shí)，萊迪思最新發(fā)布的sensAI解決方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平臺、參考設計和演示以及定制化設計服務(wù)，有助于設計團隊開(kāi)發(fā)新的網(wǎng)絡(luò )邊緣設備，并將其快速推向市場(chǎng)。最新版本的sensAI支持CertusPro-NX FPGA。 萊迪思sensAI解決方案集合可加速端到端的AI/ML模型訓練、驗證和編譯。萊迪思在2021年初發(fā)布的sensAI 4.0中新增了sensAI Studio設計環(huán)境，這是一種基于圖形用戶(hù)界面（GUI）的工具，可幫助開(kāi)發(fā)人員快速構建機器學(xué)習應用。在使用萊迪思sensAI 4.1中的工具設置網(wǎng)絡(luò )邊緣計算設計，并且采用萊迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA時(shí)，可以在超低功耗下實(shí)現實(shí)時(shí)的AI/ML功能——功耗低至1mW到1W。
圖 2. 萊迪思sensAI Studio設計環(huán)境加速端到端的AI/ML模型訓練、驗證和編譯。（圖片來(lái)源：萊迪思） 隨著(zhù)sensAI 4.1支持萊迪思CertusPro-NX FPGA系列產(chǎn)品，sensAI的性能也有了較大提升，除了已有的對象檢測和追蹤應用之外，還新增了對多個(gè)對象實(shí)時(shí)分類(lèi)等應用。sensAI 4.1解決方案集合包括更新的神經(jīng)網(wǎng)絡(luò )編譯器，還兼容其他廣泛使用的機器學(xué)習平臺，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。 萊迪思sensAI 4.1解決方案集合中的IP核包括三種類(lèi)型的卷積神經(jīng)網(wǎng)絡(luò )（CNN）加速器——CNN、CNN Plus和CNN Compact——以及一個(gè)CNN協(xié)處理器引擎。CNN IP核能讓開(kāi)發(fā)人員使用其他人發(fā)布的廣泛使用的各類(lèi)CNN，例如Mobilenet v1/v2、Resent、SSD和VGG，或者根據需要自定義CNN模型。sensAI 4.1 CNN加速器利用萊迪思FPGA的并行處理能力、分布式存儲器和DSP資源，極大簡(jiǎn)化了超低功耗AI設計的實(shí)現。加速器核利用FPGA的可編程邏輯來(lái)實(shí)現低功耗神經(jīng)網(wǎng)絡(luò )，包括極其高效的二值神經(jīng)網(wǎng)絡(luò )（BNN），能夠以毫瓦級超低功耗實(shí)現CNN。
圖3. 萊迪思sensAI解決方案集合可開(kāi)發(fā)基于萊迪思FPGA的AI/ML設備。（圖片來(lái)源：萊迪思） 萊迪思sensAI 4.1參考設計 萊迪思FPGA提供可編程I/O，經(jīng)配置可支持傳感器接口常用的多種電氣接口標準。公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議。由于FPGA長(cháng)期以來(lái)在傳感器融合方面具有顯著(zhù)優(yōu)勢，因此萊迪思sensAI 4.1的設計旨在簡(jiǎn)化網(wǎng)絡(luò )邊緣設備中基于多個(gè)傳感器的AI/ML推理功能的開(kāi)發(fā)，實(shí)現智能的傳感器融合。sensAI 4.1解決方案集合包括許多參考設計示例，演示了多種智能傳感器融合的應用案例，它們可以同時(shí)運行，實(shí)現深入的情景感知。這些參考設計包括： • 手勢檢測 該參考設計使用IR圖像傳感器，實(shí)現了一個(gè)基于A(yíng)I的低功耗手勢檢測系統。該參考設計提供了一個(gè)訓練數據集、可使用常用神經(jīng)網(wǎng)絡(luò )訓練工具訓練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò )模型，方便用戶(hù)進(jìn)行修改。 • 關(guān)鍵詞檢測 該參考設計使用數字MEMS麥克風(fēng)持續檢測關(guān)鍵詞話(huà)語(yǔ)。設計人員可以使用深度學(xué)習框架（例如Caffe、Tensorflow或Keras）更新提供的訓練數據集，為系統添加喚醒詞功能。參考設計包括一個(gè)訓練數據集、可使用常用神經(jīng)網(wǎng)絡(luò )訓練工具訓練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò )模型，方便用戶(hù)進(jìn)行修改。 • 人臉檢測 該參考設計使用圖像傳感器實(shí)現基于CNN的人臉識別，并且可以通過(guò)修改訓練數據庫來(lái)識別其他類(lèi)型的目標。 • 人員偵測 該參考設計使用CMOS圖像傳感器持續檢測人員的存在�；诖嗽O計的AI系統可以使用深度學(xué)習框架（例如Caffe或Tensorflow）更新所提供的訓練模型來(lái)檢測和定位任何感興趣的目標。該參考設計包括一個(gè)神經(jīng)網(wǎng)絡(luò )模型、一個(gè)訓練數據集和可使用常用訓練工具訓練的腳本。 • 目標檢測、分類(lèi)、追蹤和計數 該參考設計提供了目標檢測、分類(lèi)、追蹤和計數的示例，擁有完整的設計，包括用于萊迪思開(kāi)發(fā)板的FPGA RTL、神經(jīng)網(wǎng)絡(luò )模型、示例訓練數據集以及用于重新創(chuàng )建和更新設計的腳本。 可以使用AI的常見(jiàn)和潛在的網(wǎng)絡(luò )邊緣應用 使用AI/ML算法提高眾多網(wǎng)絡(luò )邊緣設備（例如自主機器人、環(huán)境控制和視頻安全攝像頭）的性能具有明顯優(yōu)勢，而其他類(lèi)型的網(wǎng)絡(luò )邊緣設備也可以從中受益，例如PC和筆記本電腦。萊迪思正與合作伙伴和客戶(hù)合作，利用多模式、智能傳感器融合和AI/ML技術(shù)，不斷提升PC/筆記本電腦用戶(hù)的體驗，并顯著(zhù)降低筆記本電腦的運行功耗，在某些應用中，電池使用時(shí)間最多提高了28%。 哪些設備特性能發(fā)揮出潛在的價(jià)值呢？ PC和筆記本電腦在24小時(shí)內的使用情況差異很大，一般在白天工作時(shí)間集中使用。然而，即使是在工作時(shí)間，它們也會(huì )有休息狀態(tài)。人們會(huì )偶爾休息，中午也會(huì )用餐，這些時(shí)間他們通常會(huì )讓計算機保持運行狀態(tài)，確保他們打開(kāi)的各種應用不被關(guān)閉。 將AI/ML分析和決策與計算機現有的傳感器（攝像頭和麥克風(fēng)）相結合，實(shí)現智能傳感器融合，能讓PC或筆記本電腦感知周?chē)h(huán)境，從而決定何時(shí)關(guān)閉顯示器和CPU，以及何時(shí)應該給它們重新供電。 存在檢測最簡(jiǎn)單的用途是在周?chē)鸁o(wú)人時(shí)關(guān)閉計算機。當用戶(hù)長(cháng)時(shí)間遠離屏幕時(shí)，注意力追蹤功能可以調暗計算機屏幕并激活低功耗模式。充當智能傳感器中心的低功耗、小尺寸FPGA可以接收來(lái)自計算機傳感器的輸入，然后根據情況決定為哪些組件供電。 解決隱私和安全問(wèn)題 同樣，這些功能也可以增強計算機的隱私和安全性。計算機的內置會(huì )議攝像頭可用于監控用戶(hù)身后的背景，檢測是否有人從用戶(hù)的肩膀后面窺視。如果計算機被配置為保護隱私，當授權用戶(hù)背后有人疑似在偷窺計算機屏幕時(shí)，它可以彈出警告提醒用戶(hù)甚至自動(dòng)調暗屏幕。需要注意的是，使用這些解決方案，所有推理數據都保存在FPGA本地。僅將元數據傳遞給SoC，這進(jìn)一步增強了隱私并提高了安全性。 優(yōu)化用戶(hù)體驗 AI/ML功能還可以增強計算機用戶(hù)的總體體驗。例如，基于A(yíng)I/ML的面部取景功能可以利用內置視頻會(huì )議攝像頭的較高分辨率來(lái)裁剪和居中用戶(hù)的頭像，為視頻會(huì )議提供較好的畫(huà)面。與會(huì )者還可以在會(huì )議期間移動(dòng)的同時(shí)，他們的圖像依然保持居中。同樣，手勢識別可以為筆記本電腦或PC或任何其他支持視頻的物聯(lián)網(wǎng)設備添加非接觸式操作功能。 健康方面的益處 許多公司現在明確表示要保障員工的健康，基于A(yíng)I/ML的感知功能可以通過(guò)彈出提醒和其他措施幫助避免重復性壓力損傷，并利用計算機的視頻傳感器確保員工實(shí)際上采納了給出的休息建議。 AI/ML應用還可用于檢測用戶(hù)的姿勢，這可能是造成重復性壓力損傷的另一個(gè)因素。這些利用傳感器主動(dòng)反饋的特性可以用來(lái)開(kāi)發(fā)健康應用，這明顯優(yōu)于目前企業(yè)中所使用的簡(jiǎn)單的定時(shí)提醒，能夠有效應對壓力相關(guān)的工傷。 所有這些通過(guò)AI/ML實(shí)現的功能都可以幫助供應商打造出對企業(yè)買(mǎi)家更具吸引力的PC和筆記本電腦，并且所有這些功能都可以通過(guò)sensAI 4.1解決方案集合和萊迪思低功耗FPGA的特性來(lái)實(shí)現。 這種FPGA的使用方式超越了長(cháng)期以來(lái)FPGA開(kāi)發(fā)的標志性功能——傳感器連接和融合，并且基于成熟的AI/ML算法，新增了傳感器信號分析和決策制定功能。AI/ML的加入使得FPGA成為低功耗系統控制器，可管理系統功能、增強用戶(hù)體驗并通過(guò)降低整體系統運行功耗大幅延長(cháng)電池壽命。 結論：數十億網(wǎng)絡(luò )邊緣設備的龐大市場(chǎng)有待開(kāi)發(fā) 憑借其多個(gè)低功耗FPGA系列產(chǎn)品和支持這些產(chǎn)品系列的sensAI 4.1解決方案集合，萊迪思致力于為數十億計的網(wǎng)絡(luò )邊緣設備帶來(lái)AI/ML 技術(shù)。因此，網(wǎng)絡(luò )邊緣應用是一個(gè)極具潛力的目標市場(chǎng)。 根據多方面的估算，全球廣泛的地域需要數百億個(gè)網(wǎng)絡(luò )邊緣設備來(lái)滿(mǎn)足大量網(wǎng)絡(luò )邊緣市場(chǎng)的需求，這對于FPGA 業(yè)務(wù)來(lái)說(shuō)非常具有吸引力——當然這種規模對于任何行業(yè)來(lái)說(shuō)都是如此。萊迪思發(fā)布sensAI 4.1解決方案集合及其低功耗、小尺寸FPGA系列，則是直接瞄準了網(wǎng)絡(luò )邊緣應用和市場(chǎng)。萊迪思的sensAI 4.1解決方案集合是一種網(wǎng)絡(luò )邊緣應用的創(chuàng )新開(kāi)發(fā)工具，系統開(kāi)發(fā)人員可以借此為各種市場(chǎng)開(kāi)發(fā)靈活、針對特定應用、基于FPGA的AI/ML推理解決方案。 |
