|
作者：Nick Ni 和 Adam Taylor，賽靈思公司 用單顆芯片實(shí)現出色的處理性能、能效和安全性 研究發(fā)現，我們人類(lèi)擅長(cháng)與外界進(jìn)行可視化互動(dòng)，因為我們處理視覺(jué)圖像的速度遠遠快于其它形式的媒介，如書(shū)面文字。增強現實(shí)（AR）跟虛擬現實(shí)（VR）比較類(lèi)似，能幫助我們更好地體驗周邊環(huán)境，二者的主要區別在于 AR 能通過(guò)文字或其它視覺(jué)信息實(shí)現自然界的增強，從而讓我們更加安全高效地在自然環(huán)境中實(shí)現互動(dòng)，而VR則能讓我們浸入在綜合創(chuàng )建的環(huán)境中。增強現實(shí)和虛擬現實(shí)相結合通常被稱(chēng)為混合現實(shí)（MR）。許多人已經(jīng)在日常生活中接觸過(guò) AR 了，但卻沒(méi)有意識到，比方說(shuō)我們用移動(dòng)設備實(shí)現街道導航或者玩 Pokémon Go 這樣的 AR 游戲。 
圖1 - 虛擬現實(shí)、增強現實(shí)和混合現實(shí)。 抬頭顯示器（HUD）就是 AR 及其應用的一個(gè)很好的例證。就比較簡(jiǎn)單的 AR 應用而言，諸如HUD用于航空和汽車(chē)應用領(lǐng)域，可讓駕駛人員無(wú)需低頭看儀表盤(pán)就能直接了解車(chē)輛信息。有的 AR 應用可提供更高級的功能，比方說(shuō)可穿戴技術(shù)（通常稱(chēng)為智能AR），Tractica預計這樣的高端應用到 2020 年將實(shí)現 23 億美元的市值。 增強現實(shí)有助于改善我們的生活 AR 正全面進(jìn)軍工業(yè)、軍事、制造、醫療和商業(yè)等各個(gè)不同應用領(lǐng)域，顯著(zhù)改善我們的生活。在社會(huì )商業(yè)領(lǐng)域，AR 用于社交媒體應用，可添加生物信息，甚至能識別每個(gè)人。 許多 AR 應用需要操作人員佩戴智能眼鏡。智能眼鏡通過(guò)取代手動(dòng)作業(yè)或者提供零部件組裝信息等，可大幅提高制造業(yè)的工作效率。在醫療領(lǐng)域，智能眼鏡能分享病例以及創(chuàng )傷和損傷細節等，從而讓抵達現場(chǎng)的急救人員獲得必要信息，隨后再提供給急診室。
圖2 - 智能眼鏡用于工業(yè)領(lǐng)域的實(shí)例。 一家大型快遞公司目前正采用AR智能眼鏡讀取包裹條碼。掃描條碼后，智能眼鏡能通過(guò) Wi-Fi 連接與公司服務(wù)器通信，明確包裹的最終目的地。知道目的地后，智能眼鏡能告知包裹應該堆放在什么位置，以便發(fā)運。 除了考慮最終應用之外，AR 解決方案還要考慮性能、安全性、功耗、面向未來(lái)等一系列要求。不同要求之間可能會(huì )存在沖突，因此設計人員必須同時(shí)考慮到所有這些要求，力爭推出最佳 AR 系統解決方案。 利用AR系統贏(yíng)得成功 復雜的 AR 系統要求能夠連接多個(gè)攝像頭傳感器并處理其提供的數據，以便了解周?chē)h(huán)境。這些攝像頭傳感器可能要處理電磁（EM）頻譜的不同頻段信息，包括紅外線(xiàn)或近紅外線(xiàn)等。此外，就像 MEMS 加速計和陀螺儀一樣，傳感器可能提供 EM 頻譜之外的信息，結合全球衛星導航系統 (GNSS) 提供的位置數據，可檢測移動(dòng)和旋轉情況。 對不同類(lèi)型傳感器進(jìn)行傳感器融合的嵌入式視覺(jué)系統統稱(chēng)為異構傳感器融合系統。 AR 系統還需要實(shí)現高幀率，能逐幀進(jìn)行實(shí)時(shí)分析，從而提取和處理每幀所含的信息。能否為系統提供處理功能，滿(mǎn)足上述要求，這就成了組件選擇的一個(gè)決定性因素。
圖3 - 增強現實(shí)系統剖析 設計人員還可將 All Programmable Zynq-7000 SoC 或 Zynq UltraScale+™ MPSoC 用作 AR處理系統的核心。這些 SoC將 ARM 處理器和高性能可編程邏輯完美結合在一起，本身就是異構化處理系統。作為新一代 Zynq-7000 SoC 的 Zynq UltraScale+ MPSoC 還采用了 ARM Mali-400 GPU，該系列產(chǎn)品中有些產(chǎn)品還采用了硬化的視頻編碼器，能支持 H.265 和 HEVC 高效視頻編碼標準。 上述復雜器件有助于設計人員對其系統架構進(jìn)行細分，優(yōu)化利用處理器進(jìn)行實(shí)時(shí)分析，并把傳統處理器任務(wù)轉交給生態(tài)系統來(lái)完成。設計人員可運用可編程邏輯來(lái)支持傳感器接口和處理功能。這樣做的好處包括： • 可根據應用要求，并行實(shí)現 N 個(gè)圖像處理流水線(xiàn)。 • 支持任意連接，能定義和連接任何傳感器、通信協(xié)議或顯示標準，確保靈活性和未來(lái)升級路徑。 支持嵌入式視覺(jué)和機器學(xué)習 為實(shí)現圖像處理流水線(xiàn)和傳感器融合算法，開(kāi)發(fā)人員可采用支持嵌入式視覺(jué)和機器學(xué)習應用的 reVISION™ 加速堆棧。reVISION 主要是在軟件定義的 SoC 或 SDSoC™ 工具集環(huán)境中開(kāi)發(fā)的，能讓設計人員采用 OpenVX 等業(yè)界標準框架實(shí)現視覺(jué)處理、OpenCV 計算機視覺(jué)庫和 Caffe Flow 的跨平臺加速，以滿(mǎn)足處理器系統和可編程邏輯的要求。reVISION 可加速大量 OpenCV函數（包括核心 OpenVX 函數）。 reVISION 還支持在可編程邏輯中直接用 Caffe prototxt 文件實(shí)現機器學(xué)習推斷引擎，這就能采用業(yè)界標準框架，不僅可縮短開(kāi)發(fā)時(shí)間，盡可能減少高級系統模型和設計成品之間的差距，同時(shí)還可打造出響應速度更快、能效更高（單位功耗像素更高）的靈活解決方案，而這一切要歸功于處理系統和可編程邏輯的完美結合。
圖4 – reVISION 堆棧。 設計人員還必須考慮 AR 系統的獨特因素，其不僅要連接攝像頭和傳感器以觀(guān)察周邊環(huán)境并根據應用要求和使用情況執行算法，而且還要跟蹤用戶(hù)的眼部，明確他們看什么東西，往什么方向看。這通常要采用額外的攝像頭來(lái)實(shí)現，既要觀(guān)察用戶(hù)面部，又要實(shí)現眼部跟蹤算法，讓AR 系統能跟蹤用戶(hù)的視線(xiàn)，從而確定向 AR 顯示屏提供什么內容，并高效利用帶寬，確保處理要求得到滿(mǎn)足。執行這種檢測和跟蹤工作可能是一項高計算強度的任務(wù)，可用 reVISION 實(shí)現加速。 高度關(guān)注便攜式設備的功耗問(wèn)題 大多數 AR 系統具有可移植性、不受限制性，而且許多情況下可搭配可穿戴產(chǎn)品，如智能眼鏡。這就帶來(lái)了獨特的挑戰，需要在功耗要求嚴格的環(huán)境中完成處理工作。Zynq-7000 SoC 和 Zynq UltraScale+ MPSoC 系列產(chǎn)品都能提供最佳單位功耗性能，進(jìn)一步降低工作期間的功耗，為此可采用不同選擇，如讓處理器進(jìn)入睡眠狀態(tài)，工作時(shí)候再喚醒，這可讓器件上一半的可編程邏輯斷電。檢測發(fā)現未被使用就進(jìn)入睡眠狀態(tài)，這樣 AR 系統的電池使用壽命會(huì )延長(cháng)。 在 AR 系統工作期間，當前未使用的處理器元件可采用門(mén)控時(shí)鐘來(lái)降低功耗。設計人員可根據簡(jiǎn)單的設計原則實(shí)現可編程邏輯元件的極高效電源解決方案，包括高效利用硬宏、認真規劃控制信號、考慮就當前不需要的器件區采用智能門(mén)控時(shí)鐘等。這樣，相對于采用 CPU 或 GPU 的方法而言，能提供用電效率更高、響應速度更快的單芯片解決方案。單芯片 Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC 解決方案采用 reVISION 來(lái)加速機器學(xué)習和圖像處理元件，這相對于類(lèi)似的 GPU 解決方案而言能將單位功耗每秒幀率提高 6 倍（機器學(xué)習）到 42 倍（圖像處理）之間，而時(shí)延則縮短到原來(lái)的五分之一。 滿(mǎn)足敏感的安全性要求 分享病例和生產(chǎn)數據這樣的 AR 應用需要信息安全（IA）和威脅防護（TP）領(lǐng)域的安全性，而AR系統具有高度移動(dòng)性、可能錯放，這就讓安全問(wèn)題變得尤其重要。信息安全（IA）要求我們能夠信任系統中存儲的信息以及該系統接收和發(fā)送的信息。 就綜合而全面的信息安全而言，設計人員需要采用 Zynq 器件的安全啟動(dòng)功能，該功能支持加密。設計人員還應通過(guò)高級加密標準（AES）、HMAC 和 RSA 公共密鑰加密等算法來(lái)進(jìn)行確認。器件正確配置并運行后，開(kāi)發(fā)人員可用 ARM Trustzone 和系統管理程序實(shí)現正交世界，也就是說(shuō)能確保自身安全性，別人無(wú)法訪(fǎng)問(wèn)。 就威脅防護而言，設計人員可用系統中內置的賽靈思 ADC（XADC）宏來(lái)監控供電電壓、電流和溫度，并檢測有沒(méi)有修改 AR 系統的企圖。如果出現威脅性事件，Zynq 器件提供保護選項，包括記錄威脅企圖、擦除安全數據、避免 AR 系統再次連接支持基礎設施等。 結論 AR 系統會(huì )在商業(yè)、工業(yè)和軍事領(lǐng)域變得無(wú)所不在。這種系統的高性能、系統級安全性和能效要求之間往往是相互沖突的。設計人員可將 Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC 用作處理系統的核心，并結合 reVISION 加速堆棧來(lái)支持嵌入式視覺(jué)和機器學(xué)習應用，從而應對有關(guān)挑戰。 如需了解更多信息，敬請訪(fǎng)問(wèn)以下網(wǎng)址：http://china.xilinx.com/products ... ed-vision-zone.html。 |
