CEVA推出用于人工智能和機器學(xué)習 (AI/ML) 推理工作的最新一代處理器架構NeuPro-M。NeuPro-M由多個(gè)專(zhuān)用協(xié)處理器和可配置硬件加速器組成，是瞄準廣闊的邊緣 AI 和邊緣計算市場(chǎng)的異構處理器架構，能夠同時(shí)無(wú)縫處理深度神經(jīng)網(wǎng)絡(luò )的各種工作，性能較上一代產(chǎn)品提升 5到15 倍。NeuPro-M支持系統級芯片(SoC)和異構SoC (HSoC)可擴展性，最高性能可達 1,200 TOPS，并提供可選的穩健安全啟動(dòng)和端至端數據隱私功能，開(kāi)創(chuàng )了業(yè)界先河。
NeuPro–M系列處理器初始包含以下預配置內核： • NPM11 – 單個(gè) NeuPro-M 引擎，在 1.25GHz 下算力高達 20 TOPS • NPM18 – 8 個(gè) NeuPro-M 引擎，在 1.25GHz 下算力高達 160 TOPS 在處理 ResNet50卷積神經(jīng)網(wǎng)絡(luò )時(shí)，單個(gè) NPM11內核可將性能提升至上一代產(chǎn)品的五倍，并將內存帶寬消耗減少六倍，從而實(shí)現高達 24 TOPS/W的出色功效，完美體現其業(yè)界領(lǐng)先的性能水平。 以成功的上一代產(chǎn)品為基礎，NeuPro-M能夠處理所有已知的神經(jīng)網(wǎng)絡(luò )架構，并集成了下一代網(wǎng)絡(luò )，如transformer、3D convolution、self-attention和全部類(lèi)型的循環(huán)神經(jīng)網(wǎng)絡(luò )的原生支持。經(jīng)優(yōu)化的NeuPro-M可處理 250 多種神經(jīng)網(wǎng)絡(luò )、450 多種AI 內核和 50 多種算法。嵌入式矢量處理單元(VPU)確保對未來(lái)新的神經(jīng)網(wǎng)絡(luò )拓撲和AI處理工作提供基于軟件的驗證和支持。而且，對于常見(jiàn)基準測試，CDNN離線(xiàn)壓縮工具可以將NeuPro-M的FPS/Watt性能提高 5到10 倍，并且對精度僅有極小的影響。 CEVA副總裁兼視覺(jué)業(yè)務(wù)部門(mén)總經(jīng)理 Ran Snir評論道：“隨著(zhù)生成的數據越來(lái)越多，以及傳感器相關(guān)軟件工作負載不斷遷移到神經(jīng)網(wǎng)絡(luò )以獲得更好的性能和效率，對邊緣 AI和邊緣計算的人工智能和機器學(xué)習處理需求的增速驚人。由于這些設備的功率預算保持不變，我們必需找到創(chuàng )新方法，在這些日益復雜的系統邊緣使用人工智能。我們利用在數百萬(wàn)臺無(wú)人機、安全攝像頭、智能手機和汽車(chē)系統應用等設備中部署 AI 處理器和加速器的豐富經(jīng)驗來(lái)設計NeuPro-M架構。NeuPro-M創(chuàng )新的分布式架構和共享內存系統控制器將帶寬消耗和延遲降至最低，并提供出色的整體利用率和電源效率。這允許我們的客戶(hù)在 SoC 或 小芯片 (chiplet) 中連接多個(gè)NeuPro-M兼容內核來(lái)應對最嚴苛的 AI 工作，從而將智能邊緣處理器設計提升至全新的水平�！� NeuPro-M異構架構由特定功能協(xié)處理器和負載平衡機制組成，相比上一代產(chǎn)品，這是實(shí)現巨大的性能和效率飛躍的重要因素。通過(guò)將控制功能分配給本地控制器并以分層方式實(shí)現本地內存資源，NeuPro-M 實(shí)現了處理數據流的靈活性，從而實(shí)現超過(guò)90%的利用率，并且在任意給定時(shí)間內防止不同協(xié)處理器和加速器出現數據不足現象。它使CDNN 框架根據特定網(wǎng)絡(luò )、所需帶寬、可用內存和目標性能來(lái)實(shí)施各種數據流方案，從而獲得最佳的負載平衡。 NeuPro-M 架構亮點(diǎn)包括： • 由 4K MACs(乘累加單元)組成的主網(wǎng)格陣列，混合精度為 2到16 位 • 用于權重和激活操作的Winograd transform引擎，可將卷積時(shí)間減少兩倍，并允許在精度降低到少于0.5% 的情況下進(jìn)行 8 位卷積處理 • 用于避免每層具有零值權重或激活操作的Sparsity引擎，最多可將性能提升四倍，同時(shí)減少耗用內存帶寬和降低功耗 • 具有完全可編程的矢量處理單元，用于處理未獲支持的全新神經(jīng)網(wǎng)絡(luò )架構(具有全部數據類(lèi)型)，從 32 位浮點(diǎn)到 2 位二進(jìn)制神經(jīng)網(wǎng)絡(luò ) (BNN) • 將可配置的權重數據壓縮至兩位，同時(shí)讀取內存時(shí)進(jìn)行實(shí)時(shí)解壓縮以減少耗用內存帶寬 • 使用動(dòng)態(tài)配置兩級內存架構，最大限度地減少與外部 SDRAM 之間的數據傳輸功耗 使用NeuPro-M 架構中創(chuàng )新功能，同時(shí)使用 Winograd 變換正交機制、Sparsity引擎和低分辨率 4x4 位激活，可將網(wǎng)絡(luò )(如 Resnet50 和 Yolo V3)的循環(huán)次數減少三倍以上。 由于神經(jīng)網(wǎng)絡(luò )權重和偏差以及數據集和網(wǎng)絡(luò )拓撲成為所有者的重要知識產(chǎn)權，因而業(yè)界迫切需要保護這些信息免遭未經(jīng)授權的使用。NeuPro-M架構可選用信任根、身份驗證和加密加速器來(lái)支持安全接入。 針對汽車(chē)市場(chǎng)，CEVA提供NeuPro-M 內核及其 CEVA 深度神經(jīng)網(wǎng)絡(luò ) (CDNN)深度學(xué)習編譯器和軟件工具包，不僅符合汽車(chē) ISO26262 ASIL-B 功能安全標準，并滿(mǎn)足嚴格的質(zhì)量保證標準 IATF16949 和 A-Spice要求。 結合CEVA 屢獲殊榮的神經(jīng)網(wǎng)絡(luò )編譯器 CDNN 及其功能強大的軟件開(kāi)發(fā)環(huán)境，NeuPro-M架構可為客戶(hù)提供一個(gè)完全可編程的硬件/軟件 AI開(kāi)發(fā)環(huán)境，最大限度地提升 AI操作性能。CDNN 包含創(chuàng )新的軟件，能夠充分利用客戶(hù)的 NeuPro-M定制硬件來(lái)優(yōu)化功耗、性能和帶寬。CDNN 軟件還包含了用于減少耗用內存和優(yōu)化負載平衡算法的內存管理器，并廣泛支持各種網(wǎng)絡(luò )格式(包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等)。CDNN 與常見(jiàn)的開(kāi)源框架 (包括 Glow、tvm、Halide 和 TensorFlow) 兼容，并包含模型優(yōu)化功能，例如“層融合(layer fusion)”和“訓練后量化(post training quantization)”，同時(shí)使用精確的守恒方法。 目前CEVA向主要客戶(hù)提供NeuPro-M授權許可，并于今年第二季提供全面授權許可。CEVA 還為客戶(hù)提供異構 SoC 設計服務(wù)，幫助其進(jìn)行系統集成并支持系統設計和小芯片開(kāi)發(fā)，從而為NeuPro-M客戶(hù)帶來(lái)裨益。如需了解更多的信息，請訪(fǎng)問(wèn)公司網(wǎng)頁(yè) https://www.ceva-dsp.com/product/ceva-neupro-m/。 |
