|
在上篇“端側AI應用興起，安謀周易NPU加速算力升級”中，我們介紹了芯片IP供應商安謀中國的周易NPU，及其在智能汽車(chē)領(lǐng)域的應用。本篇我們介紹一家中國汽車(chē)芯片公司飛凌微，以及他們研發(fā)的幾款AI智能視覺(jué)處理芯片。本篇總結自飛凌微首席執行官邵科先生在E維智庫第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng )新趨勢峰會(huì )暨百家媒體論壇上的演講，標題是“新一代端側SoC與感知融合方案，助力車(chē)載智能視覺(jué)升級“。 思特威是一家國內上市公司，專(zhuān)注于圖像傳感器的研發(fā)與銷(xiāo)售。飛凌微是思特威全新子品牌，同時(shí)也是一家全新的子公司，旨在利用思特威在圖像傳感器技術(shù)和市場(chǎng)上的優(yōu)勢，在端側應用上結合數字SoC，實(shí)現更好的方案融合。邵科于2016年加入思特威，歷任算法總監與資深應用總監、汽車(chē)芯片部副總裁，現任飛凌微首席執行官兼思特威副總裁，負責公司汽車(chē)電子產(chǎn)品規劃、方案設計研發(fā)和市場(chǎng)銷(xiāo)售。 在此次論壇上，邵科主要介紹了端側AI處理優(yōu)勢及主要應用場(chǎng)景，飛凌微現在已經(jīng)發(fā)布的M1智能視覺(jué)處理芯片系列，以及M1系列芯片在車(chē)載視覺(jué)中的應用。 一， 端側AI處理優(yōu)勢及主要應用場(chǎng)景 近十幾年，圖像傳感器和AI算法技術(shù)進(jìn)展迅猛。首先，圖像傳感器和攝像頭成就了安防監控、手機照相、家用網(wǎng)絡(luò )攝像頭、掃地器和人臉支付等各種應用。然后，卷積神經(jīng)網(wǎng)絡(luò )（CNN）的發(fā)展讓視覺(jué)系統更加智能，促進(jìn)了越來(lái)越多的智能化應用落地。 智能化系統離不開(kāi)數據采集和處理。數據的采集和處理有三種方式。一是在端側采集數據，在云端處理。此方式的缺點(diǎn)是實(shí)效性較低。二是在端側采集數據，在本地中央計算機處理AI數據，此方式目前被普遍采用。三是在端側采集數據，同時(shí)在端側直接處理。此方式挑戰性較強，但好處也很明顯。首先，因為省略了大數據傳輸過(guò)程，所以它的延時(shí)較低，同時(shí)可靠性也會(huì )更強。另外，本地數據處理能夠保障數據安全和個(gè)人隱私，如車(chē)內人員的圖像信息不會(huì )被泄露。 端側AI處理的潛在應用場(chǎng)景很多，如智能車(chē)載設備、智能家居、物聯(lián)網(wǎng)、機器視覺(jué)等。目前，業(yè)界試圖在端側完成感知處理，或者與中央計算機配合進(jìn)行預處理，然后將結果發(fā)送到云端形成更加有效的處理。 二， 飛凌微已發(fā)布的M1智能視覺(jué)處理芯片系列 邵科說(shuō)，基于市場(chǎng)需求及應用方案上的思考，飛凌微今年推出了M1系列三款產(chǎn)品。一顆是車(chē)載高性能圖像信號處理器（ISP），兩顆是車(chē)載帶有端側視覺(jué)感知預處理能力的輕量級SoC。這三顆芯片都具有業(yè)內最小的BGA 7mm*7mm封裝。 高性能ISP M1芯片能夠處理一顆800萬(wàn)像素攝像頭的圖像數據，或者同時(shí)處理兩顆300萬(wàn)像素攝像頭的圖像數據。它可用于A(yíng)DAS、影像處理和電子后視鏡等。ISP是飛凌微多年自研的技術(shù)，具有高動(dòng)態(tài)范圍（HDR）和優(yōu)秀的暗光性能，不懼陽(yáng)光和車(chē)燈照射，可應付地下車(chē)庫等幽暗環(huán)境。 M1Pro是在高性能ISP之外加入了輕量級的CPU和NPU的算力，在處理圖像的同時(shí)能夠去實(shí)現一定輕量級的AI應用，如人臉識別和姿態(tài)識別等。其中的NPU是飛凌微自研的0.8TOPS算力神經(jīng)網(wǎng)絡(luò )處理器。 M1Max的算力是M1Pro的兩倍，能夠在端側處理更多的數據。M1Pro可以實(shí)現駕駛員監測（DMS）功能，或者乘員監測（OMS）的功能，而M1Max可以同時(shí)實(shí)現兩種功能。 
三， M1系列芯片在車(chē)載視覺(jué)中的應用 邵科介紹說(shuō)，M1系列芯片在車(chē)載視覺(jué)中的應用包括DMS、OMS、電子后視鏡和人員/物體檢測等。 目前，L2或L3級別的輔助駕駛都需要駕駛員能夠在特定情況下接管車(chē)輛。駕駛員的狀態(tài)關(guān)乎駕駛安全，所以需要對駕駛員的疲勞狀態(tài)進(jìn)行監測。裝配DMS已經(jīng)是歐洲強制性法規，國內法規預計很快跟進(jìn)。飛凌微能夠在端側實(shí)現該功能，也就是在模組端完成視覺(jué)數據處理，然后輸出已經(jīng)處理過(guò)的有效數據。這樣做的一個(gè)好處是，新上市的車(chē)輛很容易通過(guò)替換原來(lái)的模組來(lái)集成新的功能。DMS在端側處理非常簡(jiǎn)單，一顆思特威圖像傳感器加上飛凌微的M1Pro就可以實(shí)現大部分的功能。 駕駛艙內的另一個(gè)應用是OMS。前些年，一些商用和運營(yíng)車(chē)輛采用OMS來(lái)監測乘客狀態(tài)，現在則更多用來(lái)拍照或錄制視頻，同時(shí)也可實(shí)現以手勢識別等感知應用。思特威的500萬(wàn)像素圖像傳感器結合M1 ISP形成一套模組，可以提供艙內娛樂(lè )、拍照等等應用，同時(shí)也可以輸出IR圖像給后面的算法去做識別。OMS可檢測是否有兒童遺落在車(chē)內，很可能成為法規強制性配置。 電子后視鏡是一種頗具前景的應用，它可以克服傳統后視鏡在夜間的顯示缺陷。從去年開(kāi)始，法規允許電子后視鏡替代物理后視鏡。圖像傳感器配合高性能ISP能夠實(shí)現更好的顯示效果。 第四個(gè)應用是在后視攝像頭上增加識別算法，在倒車(chē)的時(shí)候能夠檢測人員和物體，從而避免事故的發(fā)生。將圖像傳感器與端側SoC進(jìn)行組合，在模組端就能實(shí)現一個(gè)非常輕量化的應用方案。 邵科最后說(shuō)，端側AI不局限于車(chē)載，很多其他行業(yè)也會(huì )有非常多的落地的場(chǎng)景，如工業(yè)自動(dòng)化和智能家居。飛凌微在持續開(kāi)發(fā)一些新系列的SoC產(chǎn)品，與圖像傳感器實(shí)現更緊密的結合，使得端側AI應用于我們生產(chǎn)生活的方方面面。 |
