|
作者：Rajesh Mahapatra，高級經(jīng)理 Anil Sripadarao，首席工程師 Swastik Mahapatra，高級工程師 ADI公司 摘要 得益于出色的深度計算和紅外(IR)成像能力，飛行時(shí)間(TOF)攝像頭在工業(yè)應用，尤其是機器人領(lǐng)域越來(lái)越受歡迎。盡管具有這些優(yōu)勢，但光學(xué)系統的固有復雜性往往會(huì )約束視場(chǎng)，從而限制獨立功能。本文中討論的3D圖像拼接算法專(zhuān)為支持主機處理器而設計，無(wú)需云計算。該算法將來(lái)自多個(gè)TOF攝像頭的紅外和深度數據實(shí)時(shí)無(wú)縫結合，生成連續的高質(zhì)量3D圖像，該圖像具有超越獨立單元的擴大視場(chǎng)。借助拼接的3D數據，應用先進(jìn)的深度學(xué)習網(wǎng)絡(luò )能夠徹底改變可視化及與3D環(huán)境的交互，深度學(xué)習網(wǎng)絡(luò )在移動(dòng)機器人應用中特別有價(jià)值。 簡(jiǎn)介 飛行時(shí)間(TOF)攝像頭作為出色的測距成像系統脫穎而出，它利用TOF技術(shù)來(lái)確定攝像頭與圖像中每個(gè)點(diǎn)之間的距離。通過(guò)測量激光器或LED發(fā)射的人造光信號的往返時(shí)間，便可計算出距離。TOF攝像頭提供精確的深度信息，因此在準確距離測量和3D可視化至關(guān)重要的應用中，比如在機器人和工業(yè)技術(shù)應用中，該攝像頭是極具價(jià)值的工具，例如能夠在270°的視場(chǎng)(FOV)范圍執行碰撞檢測和人體檢測，從而提高安全性。 ADTF3175 TOF傳感器的校準FOV可達到75°。然而，當應用的FOV超出該區域時(shí)，挑戰出現，此時(shí)就需要多個(gè)傳感器。如果通過(guò)集成各個(gè)傳感器的數據來(lái)為整個(gè)視場(chǎng)提供全面的分析，這可能會(huì )造成困難。一個(gè)潛在解決方案是讓傳感器對部分FOV執行算法，然后將輸出傳輸至主機以進(jìn)行整理。然而，該方法面臨區域重疊、死區和通信延遲等問(wèn)題，導致其成為很難有效解決的復雜問(wèn)題。 另一種方法是將從所有傳感器捕獲的數據拼接成單個(gè)圖像，隨后在拼接的圖像上應用檢測算法。該過(guò)程可卸載至單獨的主機處理器，從而減輕傳感器單元的計算負荷，留出空間執行高級分析和其他處理選項。然而，值得注意的是，傳統圖像拼接算法本身非常復雜，會(huì )消耗主機處理器相當一部分的計算能力。此外，由于隱私原因，在許多應用中，數據無(wú)法發(fā)送到云端進(jìn)行拼接。 ADI公司的算法解決方案可使用深度數據的點(diǎn)云投影，拼接來(lái)自不同傳感器的深度和紅外圖像。這包括使用攝像頭外部位置轉換捕獲到的數據并將其投影回到2D空間，從而生成單張連續顯示的圖像。 該方法能夠大幅減少計算量，有助于在邊緣達到實(shí)時(shí)運行的速度，并確保主機處理器的計算能力仍可用于其他高級分析。 
圖1.深度拼接算法。 解決方案描述 ADI的3D TOF解決方案分4個(gè)階段運行（參見(jiàn)圖1）： 1. 預處理紅外和深度數據：紅外和深度數據的時(shí)間同步及預處理。 2. 將深度數據投影到3D點(diǎn)云：利用攝像頭內參將深度數據投影到3D點(diǎn)云。 3. 轉換和合并點(diǎn)：使用攝像頭的外部位置對點(diǎn)云進(jìn)行坐標轉換，并合并重疊區域。 4. 將點(diǎn)云投影到2D圖像：采用圓柱投影將點(diǎn)云投影回到2D圖像。 系統與算法的挑戰及解決方案 主機接收深度和紅外幀 主機通過(guò)USB等高速連接方式連接到多個(gè)TOF傳感器。主機收集深度和紅外幀，并將其存儲在隊列中。 同步深度和紅外數據 主機接收到的來(lái)自每個(gè)傳感器的深度和紅外幀在不同時(shí)間實(shí)例被捕獲。為了避免因物體移動(dòng)而造成的時(shí)間不匹配，所有傳感器的輸入需要同步到同一時(shí)間實(shí)例。使用時(shí)間同步器模塊，該模塊根據來(lái)自隊列的時(shí)間戳匹配傳入的幀。 投影到點(diǎn)云 通過(guò)使用每個(gè)傳感器的同步深度數據，在主機上生成點(diǎn)云。然后，每個(gè)點(diǎn)云根據其各自在真實(shí)場(chǎng)景中的攝像頭位置（參見(jiàn)圖2）進(jìn)行轉換（平移和旋轉）。接著(zhù)，這些轉換后的點(diǎn)云合并形成單個(gè)連續點(diǎn)云，覆蓋傳感器的組合FOV（參見(jiàn)圖3）。
圖2.相機外參。
圖3.合并的點(diǎn)云。 3D到2D投影 通過(guò)使用圓柱投影算法，也稱(chēng)為前視圖投影，FOV的組合點(diǎn)云投影到2D畫(huà)布上（參見(jiàn)圖4）。換言之，該算法將合并點(diǎn)云的每個(gè)點(diǎn)投影到2D平面的像素上，從而生成單一連續全景圖，覆蓋所有傳感器的組合視場(chǎng)。這會(huì )產(chǎn)生兩個(gè)2D拼接圖像：一個(gè)用于拼接的紅外圖像，另一個(gè)用于投影到2D平面的拼接深度圖像。
圖4.圓柱投影算法。 提高投影質(zhì)量 將3D組合點(diǎn)云投影到2D圖像仍無(wú)法生成高質(zhì)量圖像。圖像存在失真和噪點(diǎn)。這不僅影響視覺(jué)質(zhì)量，對投影上運行的任何算法也會(huì )產(chǎn)生不利影響。以下章節記錄了3個(gè)關(guān)鍵問(wèn)題（參見(jiàn)圖5）及其解決方法。
圖5.2D投影問(wèn)題。 投影無(wú)效深度區域 對于超出傳感器工作范圍(8000 mm)的點(diǎn)，ADTF3175的深度數據的無(wú)效深度值為0 mm。這會(huì )導致深度圖像上出現大片空白區域，并形成不完整的點(diǎn)云。將深度值8000 mm（攝像頭支持的最大深度）分配給深度圖像上的所有無(wú)效點(diǎn)，并利用該值生成點(diǎn)云。這確保了點(diǎn)云沒(méi)有間隙。 填充未映射的像素 將3D點(diǎn)云投影到2D平面時(shí)，2D圖像中存在未映射/未填充的區域。許多點(diǎn)云(3D)像素映射至同一個(gè)2D像素，因此多個(gè)2D像素仍是空白。這就會(huì )產(chǎn)生如圖6所示的拉伸圖案。為解決該問(wèn)題，我們使用3 × 3過(guò)濾器，用其相鄰的8個(gè)具備有效值的像素的平均紅外/深度值來(lái)填充未映射的像素。這樣便可獲得更完整的輸出圖像，并消除偽影（參見(jiàn)圖6）。 重疊點(diǎn)產(chǎn)生的噪點(diǎn) 得益于圓柱投影算法，重疊區域上的許多點(diǎn)最終在2D投影輸出上獲得相同的靜止坐標。由于背景像素與前景像素重疊，因此會(huì )產(chǎn)生噪點(diǎn)。為解決該問(wèn)題，我們將每個(gè)點(diǎn)的徑向距離與現有點(diǎn)進(jìn)行比較，僅當與攝像頭原點(diǎn)的距離小于現有點(diǎn)時(shí)，才會(huì )替換該點(diǎn)。這有助于僅保留前景點(diǎn)，并提高投影質(zhì)量（參見(jiàn)圖7）。
圖6.填充未映射的像素。
圖7.重疊噪點(diǎn)修復。 結論 該算法能夠以小于5°的重疊度拼接來(lái)自不同攝像頭的圖像，相比之下，傳統關(guān)鍵點(diǎn)匹配算法至少需要20°的重疊度。該方法所需的計算量極少，因此非常適用于邊緣系統。由于沒(méi)有圖像失真，深度數據在拼接后仍具有完整性。該解決方案進(jìn)一步支持了ADTF3175傳感器的模塊化實(shí)現，以極小的損失獲得所需FOV。 FOV的擴展不限于水平維度，相同技術(shù)也可用于在垂直方向上擴展視場(chǎng)，從而獲得真正的球形視覺(jué)。該解決方案可以在連接了4個(gè)傳感器的Arm® V8 6核邊緣CPU上以10 fps的速度運行，提供275°的FOV。當僅使用兩個(gè)傳感器時(shí)，幀速率可達30 fps。 該方法的主要優(yōu)勢之一是實(shí)現了巨大的計算效率增益，基本計算效率的增益超過(guò)3倍（參見(jiàn)表1）。 圖8和圖9展示了使用該解決方案獲得的一些結果。 表1.計算復雜性比較：針對512 × 512 QMP輸入，傳統算法與本文所提算法比較
圖8.拼接的紅外數據提供210°的FOV。 參考文獻 “ADI公司的3DToF ADTF31xx”。GitHub, Inc. “ADI公司3DToF地面探測器”。GitHub, Inc. “ ADI公司3DToF圖像拼接”。GitHub, Inc. “ ADI公司3DToF安全氣泡探測器”。GitHub, Inc. “ ADI公司3D ToF軟件套件”。GitHub, Inc. He、Yingshen、Ge Li、Yiting Shao、Jing Wang、Yueru Chen和Shan Liu.“通過(guò)球面投影的點(diǎn)云壓縮框架”。2020年IEEE視覺(jué)通信和圖像處理國際會(huì )議，2020年。 工業(yè)視覺(jué)技術(shù)。ADI公司 Topiwala、Anirudh�！包c(diǎn)云的球面投影”。Towards Data Science，2020年3月。
圖9.具有278° FoV的拼接紅外和深度圖像。 作者簡(jiǎn)介 Rajesh Mahapatra擁有超過(guò)30年的工作經(jīng)驗，目前就職于班加羅爾ADI公司的軟件和安全部門(mén)。他熱衷于使用基于A(yíng)DI硬件解決方案的算法和嵌入式軟件來(lái)幫助客戶(hù)解決問(wèn)題。他與非政府組織密切合作，植樹(shù)造林，并為城市里經(jīng)濟困難的人群提供培訓，幫助他們謀生。他在系統、圖像處理和計算機視覺(jué)領(lǐng)域擁有5項專(zhuān)利。 Anil Sripadarao于2007年加入ADI公司，目前就職于班加羅爾ADI公司的軟件和安全部門(mén)。他感興趣的領(lǐng)域包括音頻/視頻編解碼器、AI/ML、計算機視覺(jué)算法和機器人技術(shù)。他在圖像處理和計算機視覺(jué)領(lǐng)域擁有6項專(zhuān)利。 Swastik Mahapatra是軟件和安全部門(mén)的高級機器學(xué)習工程師。他于2018年加入ADI公司，致力于開(kāi)發(fā)各種計算機視覺(jué)技術(shù)和機器人安全解決方案。他在深度學(xué)習邊緣推理框架開(kāi)發(fā)、機器人應用開(kāi)發(fā)方面擁有豐富的經(jīng)驗，并精通卷積神經(jīng)網(wǎng)絡(luò )。他的專(zhuān)業(yè)領(lǐng)域包括計算機視覺(jué)、3D視覺(jué)、機器學(xué)習和機器人的算法開(kāi)發(fā)。 |
