機器視覺(jué) 從科學(xué)上講,人眼可以感知390到770nm的電磁波長(cháng)范圍。機器視覺(jué)是將圖像轉換成數字信號進(jìn)行分析處理的技術(shù),并讓機器擁有了人眼無(wú)法企及的視覺(jué)功能,非常適用于那些不適合人工作的危險任務(wù)或是人眼難以滿(mǎn)足要求的場(chǎng)合。 什么是機器視覺(jué)? 理解機器視覺(jué)系統最簡(jiǎn)單的方法之一是把它看作機器的眼睛。從專(zhuān)業(yè)角度看,機器視覺(jué)是一種通過(guò)圖像處理實(shí)現自動(dòng)檢測和分析應用的技術(shù)?梢哉f(shuō),機器視覺(jué)是一種技術(shù)能力,它以新的方式與現有技術(shù)集成,并將其應用于解決現實(shí)問(wèn)題。 機器視覺(jué)是一門(mén)系統工程學(xué)科,有時(shí)也會(huì )被人拿來(lái)與計算機視覺(jué)進(jìn)行比較。其實(shí),計算機視覺(jué)和機器視覺(jué)是相互重疊的技術(shù)。機器視覺(jué)系統需要計算機和特定的軟硬件才能工作,而計算機視覺(jué)不需要借助有形的硬件來(lái)完成,比如連接到機器人上的視覺(jué)箱或攝像機等,這是二者最顯著(zhù)的區別。機器視覺(jué)可以看作是計算機視覺(jué)的一個(gè)子類(lèi),計算機視覺(jué)是其大腦,沒(méi)有計算機視覺(jué),機器視覺(jué)就無(wú)法工作。 具體來(lái)看,計算機視覺(jué)可以在線(xiàn)分析圖像或視頻,以及來(lái)自運動(dòng)探測器、紅外傳感器或其他來(lái)源的圖像。隨著(zhù)邊緣AI的發(fā)展,計算機視覺(jué)開(kāi)始從云端移到邊緣,更加靠近收集數據的傳感器。 機器視覺(jué)系統始于20世紀50年代。從1980年到1990年,這項技術(shù)才真正開(kāi)始起步并日益普及。值得注意的是,隨著(zhù)計算機視覺(jué)技術(shù)的發(fā)展,機器視覺(jué)潛在應用的可能性也相應增加,并從主要的應用領(lǐng)域——工業(yè)自動(dòng)化環(huán)境——向著(zhù)安全、自動(dòng)駕駛車(chē)輛、食品生產(chǎn)、包裝和物流,甚至包括機器人和無(wú)人機等行業(yè)擴展,F在,機器視覺(jué)系統可以檢查和分類(lèi)各個(gè)行業(yè)的各種物體和物品,包括汽車(chē)、電子和半導體、食品和飲料、道路和車(chē)輛交通或智能運輸系統(ITS)、醫療成像、包裝、標簽和印刷、制藥等。 ![]() 圖1:機器視覺(jué)市場(chǎng)增長(cháng)情況(圖源:MarketsandMarkets) Markets and Markets報告稱(chēng),機器視覺(jué)的市場(chǎng)規模預計將從2020年的107億美元增長(cháng)到2025年的147億美元,復合年增長(cháng)率為6.5%。對質(zhì)量檢測和自動(dòng)化的需求不斷增長(cháng)、非傳統和新興應用對機器視覺(jué)系統需求的不斷增長(cháng),以及對視覺(jué)引導機器人需求的不斷增長(cháng),這些都是推動(dòng)機器視覺(jué)市場(chǎng)增長(cháng)的關(guān)鍵因素。 哪些行業(yè)從中受益? 機器視覺(jué)應用的優(yōu)勢主要體現在五個(gè)方面: 一是在檢驗、測量、計量和裝配驗證方面具有更高性能和質(zhì)量。 二是能提高重復性任務(wù)的生產(chǎn)率,還能有效減少機器停機時(shí)間并縮短安裝時(shí)間。 三是在測量和計量上有較大的靈活性,還可保證更嚴格的過(guò)程控制。 四是能降低生產(chǎn)成本,及早發(fā)現缺陷,降低廢品率。 五是占地面積小,降低了生產(chǎn)成本。 當前,工業(yè)領(lǐng)域中的機器視覺(jué)應用比重很大,同時(shí)這一領(lǐng)域也從中收益頗多。通過(guò)與深度學(xué)習和機器學(xué)習等技術(shù)的深度結合,機器視覺(jué)能幫助使用該技術(shù)的企業(yè)更好地理解數據,并優(yōu)化業(yè)務(wù)以獲得更高的效率,例如寶馬就將該技術(shù)與人工智能和機器學(xué)習結合使用以提高效率。 隨著(zhù)各類(lèi)技術(shù)的不斷完善,機器視覺(jué)應用領(lǐng)域也不斷拓寬,應用范圍包括對象辨識、產(chǎn)品檢測、外觀(guān)尺寸、甚至3D建模存貨清點(diǎn)。在實(shí)際中,機器視覺(jué)系統還能夠以定制的方式設計和實(shí)現到系統中,來(lái)滿(mǎn)足更多應用需求。 根據最終用途劃分,機器視覺(jué)市場(chǎng)分為汽車(chē)、醫藥和化學(xué)品、電子和半導體、紙漿和紙張、印刷和標簽、食品和飲料(包裝和裝瓶)、玻璃和金屬、郵政和物流等。目前,汽車(chē)行業(yè)是重要的機器視覺(jué)系統采用者。2020年,汽車(chē)行業(yè)的占比達到19.38%,預計從2021年到2028年將有可觀(guān)的增長(cháng)。在汽車(chē)工業(yè)中,機器視覺(jué)被廣泛用于檢查目的,包括有無(wú)檢查、防錯、裝配驗證和最終檢查。此外,機器視覺(jué)系統用于尺寸測量、機器人引導和測試自動(dòng)化,屬于測量和引導應用。因此,整個(gè)汽車(chē)行業(yè)對機械化成像的需求很大,預計未來(lái)幾年將繼續穩步增長(cháng)。 機器視覺(jué)的“眼睛” 所有機器視覺(jué)方法都受到人類(lèi)視覺(jué)系統的啟發(fā),從二維圖像中提取概念信息——它們有基于2D圖像的捕獲系統和模擬人類(lèi)視覺(jué)感知的計算機視覺(jué)算法。 人類(lèi)通過(guò)3D感知周?chē)氖澜。在機器視覺(jué)系統的三個(gè)分類(lèi)中,1D視覺(jué)系統不是一次查看整張圖片,而是一次分析一行信號。它們通常檢測并分類(lèi)連續過(guò)程中制造的產(chǎn)品的缺陷,如金屬、塑料、紙張、無(wú)紡布薄板或卷制品。 在標準照明條件下,機器視覺(jué)系統通常使用常規2D成像。有時(shí)物體需要特定照明來(lái)記錄缺陷——例如,機器視覺(jué)系統可以使用多光譜成像、高光譜成像、紅外波段、線(xiàn)掃描成像、3D成像和X射線(xiàn)成像。與更復雜的照明相比,通常的2D可見(jiàn)光照明圖像是單色的,而更復雜的照明考慮了顏色、幀速率、分辨率等因素,以及成像過(guò)程是否在整個(gè)圖像上同步,從而使其適用于需要技術(shù)跟蹤特定移動(dòng)項目的系統。 目前,尚沒(méi)有典型的機器視覺(jué)系統可以作為其他設計的參考,因為機器視覺(jué)是一種能力,而不是一種產(chǎn)品或特定類(lèi)型的設計。在實(shí)際應用中,它們是將不同的組件集成在一起來(lái)實(shí)現。 機器視覺(jué)系統的主要組成部分包括照明系統、鏡頭、圖像傳感器、視覺(jué)處理和通信系統。燈光照亮要檢查的零件,使其特征突出,以便攝像頭可以看到它們。鏡頭捕捉圖像,以光的形式呈現給傳感器。傳感器將該光線(xiàn)轉換為數字圖像,發(fā)送至視頻處理器進(jìn)行分析。視覺(jué)處理包括檢查圖像和提取必要檢查和決策所需信息的算法。 如果說(shuō)機器視覺(jué)讓機器增加了一雙眼睛,按字面和實(shí)際意義來(lái)理解,圖像傳感器就是機器視覺(jué)系統的那個(gè)“視”,相當于系統的“眼睛”,它的優(yōu)劣直接關(guān)系到整個(gè)系統的“視力”能達到何種水平。隨著(zhù)機器視覺(jué)的應用日益廣泛,圖像傳感器也迎來(lái)了發(fā)展的良機。根據安森美公司提供的數據,2018年至2022年期間,機器視覺(jué)傳感器市場(chǎng)將以14% CAGR的速度增長(cháng)。 ![]() 圖2:機器視覺(jué)傳感器的市場(chǎng)規模,單位:百萬(wàn)美元(圖源:廣發(fā)證券) CMOS圖像傳感器是機器視覺(jué)中應用最普遍的一種傳感器。與CCD傳感器一樣,它可以是單色的,也可以是彩色的。安森美MT9P031I12STC-DR1是用于高分辨率機器視覺(jué)應用的彩色CMOS傳感器,它屬于CMOS數字圖像傳感器MT9P031家族。該產(chǎn)品系列具有2592 H x 1944 V的有源成像像素陣列,為可編程的、高集成度產(chǎn)品,具有低功耗特性,既有CCD的圖像質(zhì)量,同時(shí)還保持了CMOS圖像傳感器在尺寸和成本上的優(yōu)勢。MT9P031傳感器既能在默認模式下工作,也可以由用戶(hù)針對幀大小、曝光、增益設置和其他參數進(jìn)行編程。默認模式是以每秒14幀(fps)的速度輸出全分辨率圖像。 ![]() 圖3:MT9P031傳感器方框圖(圖源:貿澤官網(wǎng)) 當然,一些機器視覺(jué)應用也有特定的分辨率需求。與傳統的由顯示標準(16:9或4:3)驅動(dòng)的RGB觀(guān)看應用程序不同,許多機器人和機器視覺(jué)方案可通過(guò)使用不同的分辨率進(jìn)行優(yōu)化。如安森美的200萬(wàn)像素AR0234在X方向給出了更優(yōu)的條形碼方案的額外像素。在XGS系列圖像傳感器中,800萬(wàn)像素、900萬(wàn)像素、1200萬(wàn)像素產(chǎn)品分別提供了2:1、1:1、4:3的圖像比例,XGS的3000萬(wàn)像素、32000萬(wàn)像素產(chǎn)品分別提供了1:1和4:3的圖像比例——1:1可用在半導體檢測,而4:3可用在屏檢。 3D機器視覺(jué)解決方案 3D機器視覺(jué)的圖像檢測更接近于人類(lèi)的眼睛。借助數字化3D掃描數據,可以提取一個(gè)物體的尺寸,包括表面積、體積和形體尺寸。3D視覺(jué)傳感技術(shù)是一種深度傳感技術(shù),它增強了攝像機進(jìn)行面部和目標識別的能力。目前市場(chǎng)上主流的3D光學(xué)視覺(jué)方案有三種,即:雙目立體視覺(jué)法(Stereo Vision)、結構光法(Structured Light)以及飛行時(shí)間法(Time of Flight, ToF)。 在這些方法中,結構光技術(shù)最成熟,已經(jīng)在工業(yè)3D機器視覺(jué)中大規模應用。在結構光方法中,一系列圖形被投射到一個(gè)物體上,然后攝像頭或傳感器檢測這些圖形的扭曲與變形。接下來(lái),圖像處理和三角剖分算法將這些扭曲與變形轉換為3D點(diǎn)云數據,這些點(diǎn)云數據可直接用來(lái)進(jìn)行分析或導出為多種CAD建模格式。比如,Texas Instruments (TI) DLP系統可以實(shí)時(shí)產(chǎn)生非接觸、高精度的3D數據,使3D機器視覺(jué)更加容易實(shí)現。在這個(gè)方案中,DLP芯片組可提供不同的DMD(數字微鏡器件)尺寸、像素間距、分辨率以及波長(cháng)范圍。 ![]() 表1:針對3D機器視覺(jué)的DLP芯片組(圖源:TI官網(wǎng)) 隨著(zhù)技術(shù)的發(fā)展,采用飛行時(shí)間技術(shù)重建3D信息已成為機器視覺(jué)最重要的方法。飛行時(shí)間技術(shù)使用激光掃描儀根據光線(xiàn)到達目標并返回所需的時(shí)間來(lái)估計光源和目標之間的距離。Analog Devices (ADI) 的ADSD3100是一款基于CMOS 3D飛行時(shí)間的3D深度和2D可視光成像器,可集成到3D傳感器系統中。其所需的功能模塊包括模數轉換器(ADC)、像素偏置電路和傳感器控制邏輯,這些都內置在芯片中以便在系統中實(shí)現簡(jiǎn)單、經(jīng)濟高效的方案。ADSD3100通過(guò)MIPI、攝像頭串行接口2(CSI-2)接口與主機系統進(jìn)行電氣接口。 ![]() 圖4:CMOS 3D ToF傳感器ADSD3100框圖(圖源:ADI官網(wǎng)) 結語(yǔ) 與自動(dòng)化、機器學(xué)習、深度學(xué)習和神經(jīng)網(wǎng)絡(luò )等其他能力一樣,機器視覺(jué)也是一種能力,而不是一個(gè)行業(yè)。它是一種可以集成到其他技術(shù)和流程中的能力,可以使行業(yè)受益并提高業(yè)務(wù)效率。邊緣智能或邊緣人工智能是機器視覺(jué)技術(shù)發(fā)展的下一個(gè)大趨勢,它們將機器學(xué)習從云端移到物理設備的邊緣。這一切與機器視覺(jué)的未來(lái)密切相關(guān),邊緣計算的進(jìn)步使得在傳統機器視覺(jué)任務(wù)中應用深度學(xué)習能力成為可能。 從研究機構的預測中可以看出,機器視覺(jué)市場(chǎng)正在快速增長(cháng),企業(yè)越來(lái)越希望通過(guò)引入機器視覺(jué)和機器人等自動(dòng)化功能來(lái)實(shí)現業(yè)務(wù)流程的自動(dòng)化,這個(gè)趨勢不會(huì )很快放緩。 來(lái)源:貿澤電子 作者:Doctor M |