|
萊迪思半導體白皮書(shū) 2021年3月 全球新冠疫情肆虐以及對提高安全性和效率的需求正促使各行業(yè)企業(yè)在其系統中集成智能嵌入式視覺(jué)技術(shù)，以支持人員偵測、非接觸式人機交互和更強大的AR/VR功能，同時(shí)使用智能機器視覺(jué)技術(shù)來(lái)提高制造水平和產(chǎn)量。Allied Market Research的數據顯示，2019年全球機器視覺(jué)系統市場(chǎng)規模為297億美元，到2027年預計將達到749億美元，2020年到2027年的復合年增長(cháng)率約為11.3％。 作為L(cháng)attice低功耗嵌入式視覺(jué)系統解決方案集合，mVision使用了模塊化硬件平臺、IP構建模塊、易于使用的FPGA設計工具、參考設計和演示以及定制設計服務(wù)網(wǎng)絡(luò )，提供定制化的性能和靈活的接口互連(MIPI CSI-2、LVDS、PCIe、GigE)，并專(zhuān)為智能工廠(chǎng)、機器視覺(jué)、智慧城市和智能家居應用中的低功耗(150mW-1W)、小尺寸封裝(2.5 x2.5mm-10x10mm)設計進(jìn)行了優(yōu)化，能應對傳感器互連、橋接、聚合和圖像信號處理等各類(lèi)設計挑戰。 牛刀小試 2020年3月，mVision 1.0解決方案面世，為需要快速構建原型系統的消費類(lèi)嵌入式視覺(jué)設計人員提供了高度靈活、小型模塊化的解決方案。其核心特點(diǎn)包括： 視頻接口平臺(VIP)—模塊化硬件開(kāi)發(fā)板，支持嵌入式視覺(jué)應用中常用的各種視頻和I/O接口(包括MIPI、LVDS、DisplayPort、HDMI、USB等)。VIP開(kāi)發(fā)板支持包括CrossLink™、ECP5™和基于萊迪思Nexus技術(shù)平臺的CrossLink-NX FPGA。VIP通過(guò)簡(jiǎn)單的插拔即可輕松地實(shí)現輸入和輸出板互連，兩個(gè)60引腳的高速板對板連接器用以減少物理連線(xiàn)，確保設計工程師可以復用現有經(jīng)過(guò)驗證的軟硬件構建模塊。 
完善的IP庫—mVision解決方案集合包括各類(lèi)即時(shí)可用的IP核，可用于連接MIPI和LVDS圖像傳感器、ISP、通用連接標準(例如USB、千兆以太網(wǎng))和HDMI、DisplayPort、GigE Vision等顯示標準。 FPGA設計工具—可使用Lattice Diamond®和Lattice Radiant®這兩款易于使用的FPGA設計工具。這些工具可以自動(dòng)處理許多常見(jiàn)的設計任務(wù)，從而加速和簡(jiǎn)化萊迪思FPGA的編程。 端到端的參考設計—為進(jìn)一步加速系統開(kāi)發(fā)，萊迪思mVision為常見(jiàn)的嵌入式視覺(jué)應用提供了完整的參考設計，包括傳感器橋接、傳感器聚合和圖像處理。 定制化設計服務(wù)—針對需要協(xié)助將其嵌入式視覺(jué)系統推向市場(chǎng)的客戶(hù)，萊迪思建立了設計服務(wù)合作伙伴網(wǎng)絡(luò )，可以滿(mǎn)足從開(kāi)發(fā)單獨的功能設計模塊到提供一站式交鑰匙解決方案等一系列客戶(hù)需求。 mVision 2.0：從消費級到工業(yè)級 一年后的2021年3月，在mVision 1.0版本的基礎上，Lattice推出了mVision 2.0。該方案新增了一些重要更新，包括對工業(yè)和汽車(chē)系統中使用的主流新型圖像傳感器的支持，以及全新圖像信號處理IP核和參考設計，幫助開(kāi)發(fā)人員設計網(wǎng)絡(luò )邊緣智能視覺(jué)應用。該解決方案集合現還支持Lattice Propel設計環(huán)境，可簡(jiǎn)化使用嵌入式RISC-V處理器的視覺(jué)系統的開(kāi)發(fā)。
此外，mVision 2.0 ISP Pieces Library(Drop 1.0)還具備完整的ISP管道功能，支持高達150MHz的像素時(shí)鐘(720p120/1080p60等)和高達96dB(16位)的場(chǎng)景動(dòng)態(tài)范圍，提供定制ISP解決方案的靈活互連，用以平衡性能和成本。調試工具包則具備外部DDR存儲器實(shí)時(shí)圖像捕獲功能，支持Lattice SSP注冊訪(fǎng)問(wèn)工具包，能夠針對特定環(huán)境進(jìn)行調整。
mVision 2.0解決方案集合的主要更新包括： 擴展了對汽車(chē)、工業(yè)和醫療領(lǐng)域嵌入式視覺(jué)應用的支持 與消費級嵌入式視覺(jué)方案不同，應用于工業(yè)、汽車(chē)和醫療領(lǐng)域的嵌入式視覺(jué)方案既要求低功耗、小尺寸，還對幀率準確度要求極為嚴苛，不允許丟幀現象發(fā)生。因此，萊迪思在mVision 2.0增加了全新的開(kāi)發(fā)板，除了原有的CrossLink、CrossLink-NX、ECP5之外，還包括支持工業(yè)和醫療應用的主流圖像傳感器Sony IMX464/IMX568和安森美半導體的AR0234CS，開(kāi)發(fā)人員可通過(guò)I2C、SPI或其他接口對攝像機傳感器進(jìn)行配置和操作。
支持萊迪思Propel設計環(huán)境與RISC-V架構 Propel是一款用于在低功耗、小尺寸萊迪思FPGA上加速基于嵌入式處理器開(kāi)發(fā)的設計環(huán)境。該工具包括一套完整的圖形和命令行工具，可創(chuàng )建、分析、編譯和調試基于FPGA的處理器系統的硬件和軟件設計。 而之所以新增對RISC-V架構的支持，其主要目的，一是希望通過(guò)使用C代碼而非RTL語(yǔ)言的方式簡(jiǎn)便整個(gè)方案的配置；二是RISC-V作為開(kāi)源方案，得到了大多數用戶(hù)的支持。未來(lái)，Lattice將計劃在其他器件上逐步提供RISC-V軟核支持。
全新萊迪思圖像信號處理器(ISP)參考設計 以往的傳感器產(chǎn)品都自帶ISP驅動(dòng)，但隨著(zhù)傳感器復雜度的增加、分辨率的提升，傳感器廠(chǎng)商很難調動(dòng)一款受眾面很廣的驅動(dòng)，因此往往不再提供ISP驅動(dòng)，多數只提供傳感或者原始數據，這部分工作就被漸漸轉移給了方案開(kāi)發(fā)者。Lattice此次增加了專(zhuān)門(mén)的ISP，為客戶(hù)拓展了mVision解決方案的選擇，可以幫助用戶(hù)在產(chǎn)品設計中快速部署嵌入式視覺(jué)等應用提供便利。
新增圖像信號處理與橋接聚合IP mVision 2.0所包含的IP核主要分為四類(lèi)：顯示處理、圖像信號處理、橋接和聚合、互連。其中，圖像信號處理、橋接和聚合IP為新增項目，用戶(hù)可以直接引入這些模塊，減少從零開(kāi)發(fā)的流程投入。同時(shí)，所有這些可用的IP模塊都支持CrossLink-NX。
應用案例 從M2M應用中的工業(yè)顯示系統、工業(yè)4.0解決方案，到高級駕駛輔助系統(ADAS)和車(chē)載信息娛樂(lè )系統，再到數碼單反相機、無(wú)人機、機器人、虛擬現實(shí)(VR)系統和醫療設備，在當今所有行業(yè)中攝像頭應用的數量都在不斷增長(cháng)，目標識別、深度感知、碰撞規避和決策制定等更加智能的應用也正在變?yōu)楝F實(shí)。 為了構建靈活、智能學(xué)習的環(huán)境，將理想變?yōu)楝F實(shí)，萊迪思攜手Softnautlcs、LogicFruit、Bitec、TATA、Helion等合作伙伴開(kāi)發(fā)出了數十種靈活的解決方案以滿(mǎn)足當今嵌入式視覺(jué)設計工程師的需求，如不斷變化的接口、低功耗圖像信號處理和硬件加速。 使用Helion IONOS ISP加速產(chǎn)品上市進(jìn)程 萊迪思與Helion Vision合作提供全面的解決方案，包括一系列圖像信號處理產(chǎn)品系列，從基本的(ECO HD-ISP)到支持高級高動(dòng)態(tài)范圍圖像處理(HDR HD-ISP)的產(chǎn)品。其中，Helion Vision的IONOS IP系列通過(guò)IP庫提供100多款獨立IP，實(shí)現即插即用的處理解決方案，并在此前專(zhuān)為ECP3™和ECP5™架構進(jìn)行了優(yōu)化的基礎上，新增對CrossLink-NX的支持，可顯著(zhù)減少所需的FPGA資源和延遲。 基于流水線(xiàn)架構的mVision ISP參考設計 下圖展示的是一個(gè)基于流水線(xiàn)架構的完整的萊迪思mVision ISP參考設計，支持Sony IMX464/IMX568和安森美半導體的AR0234CS圖像傳感器，2020年11月交付早期客戶(hù)使用。最早使用的硬件平臺為ECP5，預計將于2021年第一季度內支持CrossLink。根據規劃，Lattice最初的ISP參考設計將專(zhuān)注于工業(yè)、醫療和汽車(chē)應用，萊迪思會(huì )提供包含非常適合醫療、工業(yè)、航空航天、汽車(chē)和消費者應用的流行傳感器在內的多種EVDK模塊。
Sony IMX464 VIP傳感器輸入板 全新Sony IMX464 VIP傳感器輸入板包括Sony 1/1.8" 4MP MIPI NIR增強型卷簾快門(mén)傳感器模塊，以及連接EVDK的適配器數據線(xiàn)。與嵌入式視覺(jué)開(kāi)發(fā)套件(EVDK)無(wú)縫連接，支持2688(H) x 1520(V)分辨率、4 M像素、最高90 FPS、HDR等性能指標，適用于監控、工廠(chǎng)自動(dòng)化、工業(yè)攝像頭應用。
左圖：未經(jīng)ISP處理的圖片；右圖：經(jīng)過(guò)ISP處理后的RGB圖像 嵌入式視覺(jué)系統設計工程師面臨著(zhù)許多挑戰，圖像信號處理問(wèn)題只是其中一項，上述案例也只是眾多應用中的代表。圖像傳感器形式和尺寸各異，并且在像素粒度、信噪比、光敏度和色深方面的性能等級也不同。此外，照明和物體的色彩對比度等環(huán)境因素進(jìn)一步讓系統設計變得更加復雜。這些情況往往會(huì )對系統設計工程師帶來(lái)嚴重的問(wèn)題，因為他們要實(shí)時(shí)地進(jìn)行圖像預處理。要解決產(chǎn)品設計周期延長(cháng)和風(fēng)險上升的問(wèn)題，萊迪思在圖像處理領(lǐng)域具備的專(zhuān)業(yè)經(jīng)驗將能夠很好的幫助他們應對上述挑戰。 |
