|
作者: Simon Oudin 全景環(huán)視是泊車(chē)輔助系統的重要組成部分，將會(huì )成為汽車(chē)的一項標配功能。隨著(zhù)人們對駕乘體驗、可擴展性等方面的要求越來(lái)越高，全景環(huán)視原本興起于亞洲汽車(chē)制造商所推動(dòng)的小眾市場(chǎng)的，當下已經(jīng)成為主流汽車(chē)廠(chǎng)商提供的選配功能。瑞薩作為汽車(chē)信息娛樂(lè )系統和先進(jìn)駕駛輔助系統(ADAS)領(lǐng)域的SoC供應商，在早期階段就已成為支持全景環(huán)視技術(shù)的主要廠(chǎng)商。如今，瑞薩提供基于新一代SoC的高擴展性、創(chuàng )新的解決方案來(lái)應對全球市場(chǎng)需求。 基于R-Car第二代產(chǎn)品的全景環(huán)視系統 全景環(huán)視的作用是實(shí)時(shí)顯示汽車(chē)周?chē)h(huán)境的全貌。這種以二維視角從空中360度成像的方式叫做鳥(niǎo)瞰圖或俯視圖。通過(guò)多個(gè)攝像頭的圖像矯正，可將采集圖像無(wú)縫銜接在一起。同時(shí)通過(guò)對不同攝像頭的亮度和色彩進(jìn)行調節，以使合成的全景視圖看上去更加協(xié)調。 不過(guò)僅僅顯示這一影像并不能在泊車(chē)過(guò)程中為駕駛人員提供幫助。為了更好地進(jìn)行操控，在顯示二維視圖和車(chē)后方視圖時(shí)需要為駕駛人員顯示更多的信息。而另外一種補充方法是通過(guò)車(chē)周?chē)h(huán)境的三維視圖來(lái)加強司機對距離的感知。通過(guò)安裝在汽車(chē)四周的二維相機來(lái)生成當下汽車(chē)周邊的三維全景影像和三維的汽車(chē)影像，為駕駛人員提供參考。影像必須真實(shí)反映出汽車(chē)與附近物體(行人、車(chē)輛和建筑)的距離。三維球面視圖應隨著(zhù)汽車(chē)的運動(dòng)動(dòng)態(tài)地變化。汽車(chē)模型必須融合在周?chē)跋笾�，光照或反射光線(xiàn)都要在汽車(chē)模型上反映出來(lái) 。 此類(lèi)應用推動(dòng)了汽車(chē)嵌入式平臺中的三維圖形和計算機視覺(jué)的性能提升。瑞薩R-Car SoC系列產(chǎn)品可用于此類(lèi)應用。第二代R-Car于2013年3月首次發(fā)布，它支持多種應用，如外部設備連接、娛樂(lè )擴展和先進(jìn)駕駛輔助(ADAS)。該系列產(chǎn)品具有卓越的性能和優(yōu)化的功耗，通用的API可降低客戶(hù)開(kāi)發(fā)工作量。該系列的兩款產(chǎn)品支持全景環(huán)視應用：R-Car H2和R-Car V2H。 R-Car H2帶來(lái)全新三維體驗 R-Car H2是2013年3月份發(fā)布的首款產(chǎn)品，是專(zhuān)為包含三維全景功能的集成式駕駛艙解決方案而定制的。在該應用中，首先需要考慮三維圖形引擎的性能要求，特別要注意兩個(gè)方面：二維攝像頭圖像紋理在三維球面視圖的映射和汽車(chē)三維成像。成像場(chǎng)景中的多邊形計數取決于三維球面視圖的變換和汽車(chē)模型的渲染效果。圖形引擎必須能夠在短時(shí)間內處理大量的多邊形運算，從而使渲染效果更佳。 此外，由于此應用可針對同一個(gè)場(chǎng)景使用不同的著(zhù)色器程序，因此圖形引擎必須具有功能強大的著(zhù)色器引擎。這些性能要求較高GPU頻率以實(shí)現高速數據處理。這些應用方面的性能要求都推動(dòng)了瑞薩將高性能的三維圖形引擎集成在R-Car H2中。事實(shí)上，該產(chǎn)品的三維圖形引擎提供了與iPad Air 的三維圖形引擎相當的性能。 通向增強真實(shí)感之路 感知三維場(chǎng)景是另外一個(gè)重要方面，有兩種實(shí)現技術(shù)。一種是人類(lèi)立體視覺(jué)，不過(guò)它的缺點(diǎn)是使相機成本和集成工作量增加了一倍。另一種是創(chuàng )建車(chē)輛的“運動(dòng)恢復結構(SfM)”，從而提供一段時(shí)間內的立體視覺(jué)。瑞薩的R-Car產(chǎn)品系列采用了視覺(jué)專(zhuān)用硬件加速器，支持四個(gè)攝像頭的實(shí)時(shí)運行算法，從而同時(shí)滿(mǎn)足對高性能和低功耗的要求。 SfM算法生成代表車(chē)輛和周?chē)矬w運動(dòng)的流矢量列表。下一步關(guān)鍵是從流矢量中計算本體運動(dòng)并作匹配以計算出車(chē)輛的自運動(dòng)。從基礎矩陣中，可根據環(huán)境中的動(dòng)態(tài)和靜態(tài)物體將流矢量進(jìn)行分類(lèi)。靜態(tài)物體流矢量可直接提供物體的距離(與移動(dòng)距離成反比）。 
圖1：SfM算法在R-Car H2中的實(shí)現。SfM算法在R-Car H2一個(gè)的攝像頭視頻上的運行結果(上圖)�；赟fM處理結果的環(huán)境三維模型(下圖)。 圖1(上)展示了R-Car H2的一個(gè)運行實(shí)例。圓圈代表靜態(tài)特征點(diǎn)，是結構計算的結果。一個(gè)顏色對應一串物體，這些物體隨后反饋給模型變換。這些數據用來(lái)調整如圖1(下)所示環(huán)境的實(shí)時(shí)三維模型。最后，利用圖形引擎，生成三維球面的映射三維模型來(lái)創(chuàng )建出逼真的汽車(chē)環(huán)境影像。 以太網(wǎng)：基于R-car V2H的便捷之路 R-Car系列產(chǎn)品還包括R-Car V2H，它提供了一種利用以太網(wǎng)的視頻傳輸方法，從攝像頭視頻采集直到顯示接口。這種流水線(xiàn)方法不僅降低了對系統其余部分(如整體延遲、內存帶寬和CPU干預)的要求，而且大大降低了系統制造商軟件開(kāi)發(fā)的復雜度。圖2展示了R-Car V2H的這種視頻路徑。從四個(gè)攝像頭數據的解復用到圖像矯正，不需要訪(fǎng)問(wèn)外部存儲器，并且每一個(gè)攝像頭都對應有專(zhuān)用的硬件加速器。
圖2：R-Car V2H的以太網(wǎng)全景視頻傳輸路徑 系統成本的降低有助于全景環(huán)視的廣泛應用，而布線(xiàn)成本是不可忽視的一個(gè)部分。近年來(lái)出現了2種降低成本的方法，可減小當前基于LVDS的全景環(huán)視系統成本。一種是使用非屏蔽雙絞線(xiàn)上的以太網(wǎng)傳輸，另一種方法是更經(jīng)濟的同軸電纜的升級版LVDS傳輸。兩種方法的系統成本差不多。不過(guò)，以太網(wǎng)解決方案不僅有助于降低系統成本而且為之后的應用提供了更好的靈活性。例如，隨著(zhù)行車(chē)記錄系統的使用越來(lái)越廣泛，只需增加少量成本即可支持新的功能（如多通道同步錄像），因為這只需要帶有SD卡接口即可實(shí)現。相比LVDS，以太網(wǎng)傳輸的另一個(gè)好處在于基于A(yíng)Vnu聯(lián)盟的MAC層和基于開(kāi)放聯(lián)盟的PHY層都是標準化的。 最佳視頻延遲控制路徑 在全景環(huán)視應用里，其中一個(gè)需要精心設計的方面是視頻傳輸(包括壓縮和解壓縮)和視頻處理階段中的延遲。事實(shí)上，從攝像頭采集影像到顯示影像的總體延遲應低于100ms，才能使駕駛人員能夠實(shí)時(shí)地感知環(huán)境。 目前，攝像頭工作的幀率為30幀/秒。使用全局快門(mén)時(shí)，傳感器電池在曝光時(shí)同時(shí)進(jìn)行充電，然后成像器開(kāi)始逐個(gè)輸出像素。因此，影像捕捉后大概一幀(33ms)左右傳輸最后一個(gè)像素。這個(gè)首幀延遲，無(wú)法縮短。另一個(gè)不可縮短的延遲是影像顯示，所有像素都必須在顯示影像之前傳輸完畢，這個(gè)延遲也是33ms左右。最后只剩下33ms來(lái)執行圖3所描述的其他任務(wù)。
圖3：視頻傳輸和圖像矯正的延遲 這個(gè)數據傳輸通路的第一步是數據傳輸。以太網(wǎng)協(xié)議并沒(méi)有提供專(zhuān)用機制來(lái)確保低延遲傳輸和攝像頭同步。這也是瑞薩在R-Car系列產(chǎn)品中首先引入了帶高級AVB硬件支持的千兆以太網(wǎng)MAC的原因。這為降低CPU負載和優(yōu)化整個(gè)壓縮視頻接收提供了必要的硬件支持。一些專(zhuān)門(mén)的機制用于實(shí)現智能數據包解封和攝像頭視頻濾波。AVnu聯(lián)盟AVB協(xié)議的汽車(chē)規范里定義了對錄制視頻的快速啟動(dòng)、低延遲(最大延遲為2ms)等多視圖攝像頭應用的關(guān)鍵技術(shù)的考慮。 最早的以太網(wǎng)的多攝像頭系統采用了低延遲的動(dòng)態(tài)JPEG(MJPEG)壓縮技術(shù)。該技術(shù)基于眾所周知的JPEG標準，已被廣泛應用于消費類(lèi)數碼相機。然而該技術(shù)對視頻質(zhì)量的影響可能會(huì )限制后續視覺(jué)處理性能。因此，瑞薩認為H.264壓縮技術(shù)是最佳的視頻傳輸解決方案。這項技術(shù)提供了更好的壓縮比，可改進(jìn)視覺(jué)處理性能。目前H.264技術(shù)已經(jīng)廣泛應用在各種娛樂(lè )終端設備，它們也可已通過(guò)瑞薩豐富的汽車(chē)娛樂(lè )連接方案連接到汽車(chē)上。在R-Car V2H上，瑞薩實(shí)現了首個(gè)支持高清多通道、符合H.264標準且具有低延遲的視頻解碼的汽車(chē)SoC。 減少延遲的最后一步是縮短處理數據的延遲。事實(shí)上，傳統的基于DSP的系統需要通過(guò)雙緩沖區來(lái)采集視頻。R-Car V2H具有稱(chēng)為IMR的專(zhuān)用引擎，可瞬時(shí)完成圖像矯正。此功能支持從最多5個(gè)低延遲視頻解碼器的直接傳輸圖像。由于R-Car V2H具有視頻直通路徑，以太網(wǎng)傳輸網(wǎng)絡(luò )中的總體延遲比傳統的LVDS大大降低了，如圖3所示。 成像與探測 IMR還可以采用查找表(LUT)即時(shí)進(jìn)行視角轉換的二維或三維全景成像�？舍槍γ總�(gè)輸入幀更改攝像頭視角，以實(shí)現用戶(hù)視角間的動(dòng)態(tài)轉換。其本身支持雙線(xiàn)性過(guò)濾，可提供出色的圖像質(zhì)量。通過(guò)此方法，R-Car V2H自身只需極小的內存即可支持三維全景成像。R-Car V2H 具有與R-Car H2相同的圖像識別硬件。因此，它也可同時(shí)實(shí)現SfM計算，也還可以實(shí)現行人探測。它可以采用梯度直方圖和支持向量機分類(lèi)，對四個(gè)攝像頭的數據同時(shí)進(jìn)行行人探測。去年9月份在日本舉行的Renesas Developer Conference,11月份在德國舉行的慕尼黑電子展和今年3月份上海慕尼黑電子展上就對此功能進(jìn)行了展示(圖4)。
圖4：基于 R-Car V2H的帶行人檢測功能的三維全景演示 結論 本文針對汽車(chē)多攝像頭應用的趨勢尤其是泊車(chē)輔助系統中的三維全景環(huán)視功能進(jìn)行了討論。介紹了具有豐富可擴展性的R-Car汽車(chē)SoC系列產(chǎn)品。R-Car H2能夠實(shí)現汽車(chē)周?chē)h(huán)境即時(shí)的三維全方位成像，使泊車(chē)操作更加方便。在R-Car V2H中，引入了獨到的以太網(wǎng)視頻直通方法和以太網(wǎng)AVB MAC以及多通道H.264低延遲解碼器，從而實(shí)現了超低延遲視頻處理并減小了內存帶寬。瑞薩也引入了功能安全所需的關(guān)鍵特性，以使采用該產(chǎn)品的系統在功能安全上能達到ASIL B級別。 |
