作者:Aaron Behman 和 Adam Taylor 研究顯示人類(lèi)通過(guò)視覺(jué)與世界互動(dòng)時(shí),處理圖像的速度比處理書(shū)面文本等其他不同形式的信息要快許多倍。增強現實(shí) (AR) 類(lèi)似于其近親虛擬現實(shí)(VR),能讓用戶(hù)增強對周邊環(huán)境的洞察。它們之間的主要的區別是,AR 借助文本或其他可視對象等虛擬對象可豐富或增強自然界。這樣能讓 AR 系統的用戶(hù)安全、更高效地與他們的環(huán)境互動(dòng)。這與用戶(hù)沉浸在人工創(chuàng )建的環(huán)境中的虛擬現實(shí)不同。增強現實(shí)和虛擬的結合常被描述為為用戶(hù)呈現混合現實(shí) (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺(jué)地用上了AR,例如我們的移動(dòng)設備在進(jìn)行道路導航時(shí),或是玩精靈寶可夢(mèng)GO等虛擬游戲時(shí)。 ![]() 虛擬現實(shí)、增強現實(shí)和混合現實(shí) 當提及 AR 及其應用時(shí),首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車(chē)應用中,讓用戶(hù)無(wú)需低頭看儀表盤(pán)就能看到相關(guān)的飛行器/汽車(chē)信息。抬頭顯示器是較簡(jiǎn)單的可用 AR 應用之一。擁有可穿戴技術(shù)等更高級功能的先進(jìn) AR 應用往往被稱(chēng)為智能增強現實(shí),據 Tractica 預測,其市場(chǎng)規模到 2020 年將達到 23 億美元。 增強現實(shí)應用和用例 AR正在進(jìn)軍眾多應用領(lǐng)域,覆蓋工業(yè)、軍事、制造、醫療、社交和商業(yè)等不同行業(yè),其大量的用例推動(dòng)其被廣泛采用。在商業(yè)領(lǐng)域,AR主要側重于社交媒體提供應用,例如能夠識別您交談的對象并添加履歷信息。AR 還能讓消費者看到有時(shí)難以參觀(guān)到的產(chǎn)品,例如汽車(chē)、游艇、建筑物等。 許多 AR 應用都離不開(kāi)使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內的效率,例如便于替換操作手冊,向用戶(hù)展示如何組裝零部件。在醫療領(lǐng)域,智能眼鏡便于分享醫療記錄以及創(chuàng )傷和損傷的詳細狀況,能為現場(chǎng)急救人員和后續急診室人員提供治療信息。 ![]() 智能眼鏡在工業(yè)環(huán)境中的使用實(shí)例 一個(gè)典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運標簽上的條形碼。在條形碼掃描完畢后,智能眼鏡能使用WiFi基礎設施與公司服務(wù)器通信,判定包裹的最終目的地。在已知目的地后,智能眼鏡能向用戶(hù)提示包裹的堆放處,以便繼續發(fā)運。 就算不考慮應用和用例,設計一款 AR 系統也會(huì )面臨多重相互矛盾的要求,包括性能、安全、功耗和未來(lái)兼容性。如果設計人員要為 AR 系統提供理想的解決方案,這些都必須考慮到。 實(shí)現 AR 系統 這些復雜的 AR 系統要求能夠連接多個(gè)攝像機傳感器并處理來(lái)自這些傳感器的數據,從而讓系統了解周?chē)h(huán)境。這些攝像頭傳感器還可能會(huì )工作在電磁頻譜的不同頻段上,例如紅外或近紅外。此外,這些傳感器可能提供來(lái)自電磁頻譜之外的信息,從而為檢測移動(dòng)和轉動(dòng)提供輸入,例如 MEMS 加速計和陀螺儀,以及全球導航衛星系統(GNSS)提供的位置信息。融合來(lái)自多種不同類(lèi)型傳感器的信息的嵌入式視覺(jué)系統一般也稱(chēng)為異構傳感器融合系統。AR 系統也要求高幀率,以及開(kāi)展實(shí)時(shí)分析、逐幀提取和處理每幀所含信息的能力。提供滿(mǎn)足這些要求的處理能力成為組件選擇的決定性因素。 ![]() AR 系統剖析 All Programmable Zynq -7000 SoC 或 Zynq UltraScale+ MPSoC 用于實(shí)現 AR 系統的處理內核。這些器件本身屬于異構處理系統,將 ARM 處理器和高性能可編程邏輯完美結合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC,額外提供了一個(gè) ARM Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標準的硬化視頻編碼器。 這些器件能讓設計人員使用處理器理想地細分系統架構,實(shí)現實(shí)時(shí)分析功能并傳遞給生態(tài)系統中的傳統處理器任務(wù)。該可編程邏輯可用于實(shí)現傳感器接口和處理,從而帶來(lái)多重好處,具體包括: • 根據應用要求,并行實(shí)現 N 個(gè)圖像處理流水線(xiàn)。 • 任意連接,能定義和連接任意傳感器、通信協(xié)議或顯示標準,提供靈活性和未來(lái)升級路徑。 要實(shí)現圖像處理流水線(xiàn)和傳感器融合算法,我們可充分運用 Vivado HLS 和 SDSoC 等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內的各種專(zhuān)家級庫。為縮短 AR 系統的上市時(shí)間,還可以利用廣泛的第三方 IP。這些 IP 專(zhuān)為 AR、嵌入式系統和專(zhuān)門(mén)的賽靈思技術(shù)開(kāi)發(fā)。這些 IP 模塊的供應商中包括 Xylon。Xylon提供能在 Vivado 設計環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核,同時(shí)提供便于系統快速啟動(dòng)和運行的拖放功能。另一 IP 模塊供應商是 Omnitek,其提供一系列針對 AR 要求的關(guān)鍵環(huán)節的 IP 模塊,例如實(shí)時(shí)折疊模塊和 3D 處理模塊。 設計人員還必須考慮 AR 系統的獨特方面。它們不僅需要與觀(guān)察用戶(hù)周邊環(huán)境的攝像頭和傳感器連接,還需要執行應用和用例所需的算法。同時(shí)它們還必須能夠跟蹤用戶(hù)的眼睛,判斷它們的視線(xiàn),從而確定他們所注視的地方。這一般是通過(guò)增加觀(guān)察用戶(hù)面部的攝像頭和實(shí)現眼睛跟蹤算法來(lái)做到的。在實(shí)現后,該算法能讓 AR 系統跟蹤用戶(hù)視線(xiàn)并確定要發(fā)送到 AR 顯示器上的內容,從而高效利用帶寬和滿(mǎn)足處理要求。但是執行檢測和跟蹤本身就是高計算強度的工作。 大多數 AR 系統屬于便攜式無(wú)系留系統,而且很多時(shí)候屬于和智能眼鏡一樣的可穿戴系統。這樣如果在供電受限的環(huán)境中實(shí)現這樣的處理功能,就會(huì )面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能,通過(guò)實(shí)現多重選項之一,進(jìn)一步降低運行功耗。在極端條件下,這些處理器能夠進(jìn)入可被任意一種源喚醒的待機模式,從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統檢測到自己被閑置,這些選項都能實(shí)現,從而延長(cháng)了電池使用壽命。在 AR 系統工作過(guò)程中,當前未被使用的處理器單元可以通過(guò)時(shí)鐘門(mén)控來(lái)降低功耗。在可編程邏輯單元內,通過(guò)遵循簡(jiǎn)單的設計規則如高效使用硬宏、精心規劃控制信號和在目前不需要的器件區域考慮使用智能時(shí)鐘門(mén)控,也能實(shí)現極高的用電效率。 有幾種 AR 應用,例如病患醫療記錄共享或生產(chǎn)數據共享,要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級,尤其是在 AR 系統具有高度移動(dòng)性、可能被放錯地方的情況下。信息保障要求我們能夠信賴(lài)存儲在系統里的信息以及系統發(fā)送和接收的信息。這樣對于綜合人工智能領(lǐng)域而言,我們需要使用 Zynq 的安全引導功能來(lái)實(shí)現加密,并使用 AES 解密、HMAC 和 RSA 驗證來(lái)進(jìn)行驗證。只要設備正確配置和運行,開(kāi)發(fā)人員就能夠使用 ARM Trust Zone 和管理程序實(shí)現安全的、外人無(wú)法訪(fǎng)問(wèn)的正交環(huán)境。 在威脅防范方面,這些器件能使用系統內置的 XADC 來(lái)監測供電電壓、電流和溫度,以發(fā)現任何試圖篡改 AR 系統的企圖。如果發(fā)生這樣的情況,Zynq 器件可提供多種選擇,包括記錄該企圖、擦除安全數據,防止 AR 系統再次連接到支持性基礎設施。 結論 AR 系統在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應用正日趨普及。這些設備也為它們帶來(lái)了高性能、系統級安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統的核心,這些難題將迎刃而解。 如需了解更多詳情,敬請訪(fǎng)問(wèn):http://china.xilinx.com/products ... ed-vision-zone.html |