|
作者：Alok Sanghavi，Achronix Semiconductor資深產(chǎn)品營(yíng)銷(xiāo)經(jīng)理 帶有多個(gè)高分辨率攝像頭的嵌入式360°視域視覺(jué)系統已經(jīng)進(jìn)入了各種應用中，如汽車(chē)傳感器融合、視頻監控、目標檢測、運動(dòng)分析等。在此類(lèi)系統中，多個(gè)實(shí)時(shí)攝像機的視頻流（最多6個(gè)） 被匯聚在一起逐幀處理，進(jìn)行失真和其他圖像偽影校正，調整曝光和白平衡，然后動(dòng)態(tài)拼接成一個(gè)360°全景視圖，以4K清晰度和60 fps幀頻輸出，最終投影到一個(gè)球形坐標空間上。 
目前用于此類(lèi)應用的高分辨率魚(yú)眼相機鏡頭通常具有一個(gè)廣角視域（FOV）。環(huán)視相機系統最大的瓶頸之一是: 實(shí)時(shí)到或從外部存儲器存儲/讀取和訪(fǎng)問(wèn)多路攝像機輸入數據，然后將其作為一個(gè)單一幀進(jìn)行處理。硬件需要在一幀延遲內，在輸入攝像機傳入的原始傳感器數據和拼接輸出視頻之間完成處理運行。 高性能計算平臺一直朝著(zhù)與CPU一起協(xié)同使用FPGA的方向發(fā)展，以便為實(shí)時(shí)圖像處理任務(wù)提供專(zhuān)門(mén)的硬件加速。 這種配置使得CPU能專(zhuān)注于特別復雜的算法，其中它們可以快速切換線(xiàn)程和上下文，并將重復性任務(wù)分配給一個(gè)FPGA，以充當可配置的硬件加速器/協(xié)處理器/卸載引擎。 即使將FPGA和CPU作為分立器件使用，系統也可以提高整體效率，因為這些技術(shù)不會(huì )發(fā)生沖突，而是像將手套戴在手上一樣來(lái)配合在一起。 例如，從魚(yú)眼鏡頭獲得的圖像遭受?chē)乐厥д嬷�，因而基于多個(gè)相機視頻生成的拼接操作是高度計算密集型的任務(wù)，其原因為它是點(diǎn)像素操作。這種拼接需要大量的實(shí)時(shí)圖像處理和高度并行化的架構。但是，這種下一代的應用超過(guò)了FPGA可不斷接續實(shí)現的性能，主要是由于芯片吞吐數據的延遲。這反過(guò)來(lái)會(huì )影響整個(gè)系統的整體延遲、吞吐速度和性能。 在一個(gè)SoC中加入可與CPU一起嵌入的eFPGA半導體知識產(chǎn)權（IP）。與一個(gè)獨立的FPGA芯片加CPU解決方案相比，嵌入式FPGA陣列結構具有獨特的優(yōu)勢，主要優(yōu)勢在于性能更強。一個(gè)eFPGA可通過(guò)一個(gè)寬的并行接口直接連接到ASIC（無(wú)I / O緩沖器）上，提供顯著(zhù)提高的吞吐量，以及以個(gè)位數時(shí)鐘周期來(lái)計數的延遲。低延遲是復雜的圖像實(shí)時(shí)處理過(guò)程的關(guān)鍵，例如糾正魚(yú)眼鏡頭的失真這樣的處理。 利用Speedcore eFPGA IP，客戶(hù)可以定義其邏輯、內存和DSP資源需求，然后Achronix可配置其IP以滿(mǎn)足他們的需求。查找表（LUTs）、RAM單元塊和DSP64單元塊可以像積木一樣進(jìn)行組合，為任何給定的應用創(chuàng )建最佳的可編程結構。 除了標準邏輯、嵌入式存儲器和DSP單元模塊之外，客戶(hù)還可以在Speedcore eFPGA結構里面定義他們自己的功能塊。通過(guò)把這些定制功能模塊與傳統構建模塊一起集成到邏輯陣列結構中，可添加優(yōu)化過(guò)的功能來(lái)減少面積和提高目標應用的性能，可使eFPGA的性能得到極大的提高，特別是對嵌入式視覺(jué)和圖像處理算法非常有效。 用自定義單元塊來(lái)成功地解決高性能圖像處理就是一個(gè)很好的例子，在實(shí)現您只看一次（YOLO）這一種使用了神經(jīng)網(wǎng)絡(luò )的、最先進(jìn)的、實(shí)時(shí)對象檢測算法時(shí)，可以?xún)?yōu)于早期的方法大大提高性能。該算法依賴(lài)于大量的矩陣乘法器，而在FPGA中實(shí)現時(shí)，這些矩陣乘法器需要使用DSP和RAM模塊來(lái)構建；YOLO所需要的DSP和RAM模塊之間的最佳配置，與一個(gè)典型的FPGA陣列結構中發(fā)現的不匹配之處就會(huì )出現問(wèn)題。例如，FPGA陣列結構可能提供18×27乘法/累加單元塊和32×128 RAM的DSP單元塊，而此時(shí)的最佳解決方案可能是帶有48×1024 RAM的16×8 DSP單元塊。通過(guò)創(chuàng )建實(shí)現最佳DSP和RAM模塊配置的定制單元塊，所得到的Speedcore陣列結構所使用的芯片面積就會(huì )減少40％，來(lái)實(shí)現相同的功能并且能獲得更高級別的系統性能。 在SoC中嵌入FPGA陣列結構提供了兩個(gè)額外的系統級好處： 更低的功耗 - 可編程I / O電路占獨立FPGA芯片總功耗的一半，而一個(gè)eFPGA可以與主控SoC中的其他模塊直接內部線(xiàn)路連接，完全不需要大型可編程I / O緩沖器。 更低的系統成本 - 由于eFPGA只需實(shí)現特定功能，eFPGA的裸片尺寸遠小于等效的獨立FPGA芯片，這是因為eFPGA不再需要可編程的I / O緩沖器和不必要的接口邏輯。 借助超低延遲和實(shí)時(shí)處理功能，可以有效實(shí)現基于360°視域的視覺(jué)系統，具有定制單元塊的Speedcore eFPGA與同一主控SoC中的一個(gè)CPU配合使用，非常適合去實(shí)現專(zhuān)用功能，如目標檢測和圖像識別、變形和失真校正、以及最后將最終圖像拼接在一起。在SoC中嵌入FPGA陣列結構是超深亞微米時(shí)代系統集成的一個(gè)自然發(fā)展過(guò)程。 |
