Global Shutter為AI 點(diǎn)睛

發(fā)布時(shí)間:2018-10-23 14:40    發(fā)布者:eechina
關(guān)鍵詞: SmartSens , CMOS傳感器 , 快門(mén)
來(lái)源:思特威SmartSens Technology

前言:

AI(人工智能),是目前科技行業(yè)最火的話(huà)題。從Alpha Go戰勝?lài)迨澜绻谲娍聺,到德勤與Kira Systems 聯(lián)手,將AI引入會(huì )計、稅務(wù)、審計等財務(wù)工作領(lǐng)域,可以看出,AI離我們的生活越來(lái)越近了。

AI到底能做什么,每個(gè)人都有自己的看法,大家對AI有著(zhù)非常多的期待,期待AI能夠解放人類(lèi)雙手,提高人類(lèi)的工作效率。但不管怎么樣,大家都希望AI可以讓機器像人一樣思考學(xué)習,像人一樣聽(tīng)懂語(yǔ)音識別,像人一樣控制運動(dòng),像人一樣進(jìn)行視覺(jué)識別,用機器實(shí)現目前所有必須借助人類(lèi)智慧才能實(shí)現的任務(wù)。

在A(yíng)I技術(shù)里,人工神經(jīng)網(wǎng)絡(luò )非常關(guān)鍵。在人工神經(jīng)網(wǎng)絡(luò )模型中,其結構分為輸入層,隱藏層和輸出層。(如下圖)



而做為AI的輸入,目前主要是通過(guò)視覺(jué)輸入和語(yǔ)音輸入。為了讓機器像人一樣進(jìn)行視覺(jué)識別,目前最重要的器件就是Camera sensor。Camera sensor就像機器的眼睛,為機器感知周?chē)氖澜。Camera sensor的拍照效果,跟很多參數有關(guān),曝光時(shí)間是圖像傳感器其中一個(gè)重要的參數,而快門(mén)速度則會(huì )影響到Camera sensor的曝光時(shí)間。

那什么是快門(mén)呢?

快門(mén)主要用來(lái)控制攝像頭傳感器的有效曝光時(shí)間。一般而言快門(mén)的時(shí)間范圍越大越好。若想抓到急速移動(dòng)的物體,就需要快門(mén)速度越快越好。而若需要看到夜晚的車(chē)水馬龍,就需要快門(mén)時(shí)間越長(cháng)越好。

目前主要由兩種曝光Shutter技術(shù): Rolling Shutter 和 Global Shutter

Rolling Shutter:

Rolling Shutter的sensor 的曝光是按照逐行曝光的方式實(shí)現。在曝光開(kāi)始的時(shí)候,Sensor逐行掃描逐行進(jìn)行曝光,直至所有像素點(diǎn)都被曝光。當然,所有的動(dòng)作在極短的時(shí)間內完成。不同行像元的曝光時(shí)間不同。


(圖片來(lái)源于網(wǎng)絡(luò ))

Global Shutter:

與RollingShutter不同,是整幅畫(huà)面同一時(shí)間曝光實(shí)現。攝像頭傳感器sensor的所有像素點(diǎn)同一時(shí)間感應光線(xiàn),同時(shí)曝光。Sensor讀出的是同一時(shí)間的同一畫(huà)面。


(圖片來(lái)源于網(wǎng)絡(luò ))

下面有兩張圖可以介紹這兩種技術(shù):





(圖片來(lái)源于網(wǎng)絡(luò ))

左邊的圖是Rolling shutter的曝光方式,逐行掃描。而右面的圖則是Global Shutter的曝光方式,所有像素點(diǎn)一起曝光。
在拍照的時(shí)候,Rolling Shutter成像過(guò)程如下圖:

左邊,是一個(gè)常見(jiàn)的場(chǎng)景(上面風(fēng)扇,下面小汽車(chē)),Rolling Shutter對它進(jìn)行逐行掃描,成像結果如右圖。面對一個(gè)運動(dòng)中的物體,Rolling Shutter是一行一行曝光,采集畫(huà)面,所以形變非常嚴重。而Global Shutter是所有像素同時(shí)曝光,所以不會(huì )產(chǎn)生此形變。


(圖片來(lái)源于網(wǎng)絡(luò ))

之所以Global Shutter 能夠做到全局曝光,跟Rolling Shutter相比,主要是Global Shutter在每一個(gè)像素上都增加了一個(gè)存儲單元,才使得所有的像素能夠同時(shí)曝光。




同Rolling shutter相比,Global shutter的sensor可以很好的解決以下問(wèn)題:

1. 高速物體變形 (左圖是采用Global shutter技術(shù)的 SmartSens SC132GS拍攝的圖片,右圖是 Rolling shutter sensor拍攝的圖片)。

可以明顯看出用Rolling shutter sensor拍攝高速運動(dòng)的風(fēng)扇,物體會(huì )變形。


(圖片來(lái)源于SmartSens)

2. 明暗現象 (左圖是采用Global shutter技術(shù)的 SC132GS拍攝的圖片,右圖是沒(méi)有采用HDR技術(shù)拍攝的圖片)

在光線(xiàn)有明暗變化的時(shí)候,左圖Global shutter sensor 不會(huì )有明暗瑕疵,可以做到單幀HDR。


(圖片來(lái)源于SmartSens)

成像技術(shù)不停的演進(jìn),促進(jìn)了AI的發(fā)展。通過(guò)AI,大數據和互聯(lián)網(wǎng)技術(shù),帶動(dòng)了智慧城市的建設。智能安防,智慧交通,智慧工廠(chǎng),智慧商業(yè),智能家居,都能看到Camera的身影。一般情況下,Rolling shutter技術(shù)就足夠了,但若要捕捉高速運動(dòng)物體,或在環(huán)境光條件不理想的情況下獲取清晰圖像的時(shí)候,使用Global Shutter技術(shù),無(wú)疑會(huì )帶來(lái)更好的效果。

1. 智慧安防

目前來(lái)看,AI最容易落地的就是安防領(lǐng)域。通過(guò)AI技術(shù),將監控中的人準確無(wú)誤的抓拍下來(lái),可以最大化的實(shí)現監控目的。一般情況下,安防Camera主要抓拍的都是行人,都是慢速運動(dòng)的物體,Rolling shutter sensor就可以勝任。但若通過(guò)Global shutter sensor,則可以在高速移動(dòng)的拍攝場(chǎng)景中有效降低圖像畸變,避免了抓拍時(shí),人物或物體運動(dòng)帶來(lái)的斜坡晃動(dòng)現象,以及人臉模糊的問(wèn)題,從而提供更清晰的圖像。因此在高速違章查處,卡口ETC等需要道路監控的地方,Global Shutter比Rolling Shutter更加勝任。

2. 智慧交通

為了讓城市交通更加便利,疏導公共交通,智慧交通系統是解決交通發(fā)展瓶頸的有效手段之一。高速違章查處,卡口ETC,十字路口的道路監控,停車(chē)場(chǎng)的智能管理,道路流量監測,電子警察等都離不開(kāi)成像技術(shù)。只有準確的成像信息,才能更加準確地判斷當前的路況以及車(chē)輛的情況,才能更好地實(shí)現智慧交通。這個(gè)時(shí)候,Global shutter可以更好的助力智慧交通。

為了實(shí)現智慧交通,從汽車(chē)角度來(lái)看,新型汽車(chē)都在從ADAS輔助駕駛向自動(dòng)駕駛的方向演進(jìn)。無(wú)論是輔助駕駛還是自動(dòng)駕駛,汽車(chē)的中控芯片對sensor接收下來(lái)的圖像信息要求越來(lái)越高。中控芯片需要sensor在車(chē)輛高速運動(dòng)中,不僅提供沒(méi)有變形的清晰圖片,還需要提供周邊物體與車(chē)輛的距離。而Global shutter sensor一方面可以避免車(chē)輛高速運動(dòng)時(shí),Rolling shutter sensor 拍攝變形的問(wèn)題,另外一方面,結合結構光技術(shù)(接收sensor是Global shutter的)或者雙目攝像頭(兩個(gè)攝像頭若都是Global shutter最好)技術(shù),就可以提供更清晰的圖像,以便于中控更加精準的計算出周邊物體與車(chē)體的距離,判斷當前的路況,判斷交通燈的狀況,才能使車(chē)輛行駛更加安全。


(圖片來(lái)源于網(wǎng)絡(luò ))

3. 智慧工廠(chǎng)

由于Global shutter sensor可以清楚的還原高速運動(dòng)中的物體的形態(tài),有效避免Rolling shutter sensor 擔心圖像質(zhì)量而降低自動(dòng)流水線(xiàn)的速度問(wèn)題。所以大型工廠(chǎng)在檢測,質(zhì)量管控,機械臂操作,物流,測量等自動(dòng)化生產(chǎn)時(shí),使用Global shutter可以提高生產(chǎn)效率。

4. 智慧商業(yè)

隨著(zhù)支付寶,微信支付的發(fā)展,國內二維碼支付變得非常流行。而對于店家來(lái)講,掃碼設備的需求也在增長(cháng)。對于掃碼設備來(lái)講,若用Global shutter sensor可以使掃碼設備的可識別區域變長(cháng),使用戶(hù)擁有更優(yōu)的體驗感。


(圖片來(lái)源于SmartSens)

5. 智能家居

家用設備若要智能化,也需要Camera的幫忙。比如,掃地機器人。掃地機器人若想將屋內的空間測量出來(lái)或者識別前方是否有障礙物,都離不開(kāi)Camera這只眼睛。同樣,Global shutter則可以幫助掃地機器人更加精準的獲得距離信息,使得掃地機器人更加智能化。

雖然說(shuō)Global Shutter 有很多優(yōu)勢,但是也無(wú)法完全替代Rolling Shutter。Global shutter sensor適用于拍攝高速運動(dòng)物體,或AI應用中基于機器視覺(jué)算法的智能感知技術(shù)(vSLAM/手勢跟蹤識別/光流等算法),Rolling Shutter sensor則適用于拍攝運動(dòng)速度相對較慢的物體或場(chǎng)景,可獲得更高的成像信噪比。而且由于Global shutter 需要對每個(gè)像素都要增加一個(gè)存儲單元,這樣增加了sensor的生產(chǎn)難度以及成本。

考慮到BSI在低照條件下的成像亮度和清晰度都比FSI有更大的優(yōu)勢,可以有效增加Global shutter sensor在應用場(chǎng)景上的拓展,適應性更廣,SmartSens首創(chuàng )將BSI技術(shù)和Global shutter技術(shù)相結合,發(fā)布了多款基于BSI(背照式)的Global Shutter sensor產(chǎn)品。

AI和IoT的發(fā)展,影響著(zhù)人們的生活,甚至在改變人們的生活。而做為AI和IoT的眼睛,Camera sensor的技術(shù)發(fā)展也間接影響著(zhù)AI和IoT的發(fā)展。SmartSens的理念是服務(wù)于應用技術(shù)的發(fā)展趨勢,根據市場(chǎng)和應用技術(shù)的需求,將看清萬(wàn)物的“眼”做到極致。通過(guò)不斷完善提升CMOS成像傳感器的設計和制造能力,為AI和IoT點(diǎn)睛。
本文地址:http://selenalain.com/thread-548795-1-1.html     【打印本頁(yè)】

本站部分文章為轉載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和對其真實(shí)性負責;文章版權歸原作者及原出處所有,如涉及作品內容、版權和其它問(wèn)題,我們將根據著(zhù)作權人的要求,第一時(shí)間更正或刪除。
您需要登錄后才可以發(fā)表評論 登錄 | 立即注冊

相關(guān)視頻

關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權所有   京ICP備16069177號 | 京公網(wǎng)安備11010502021702
快速回復 返回頂部 返回列表
午夜高清国产拍精品福利|亚洲色精品88色婷婷七月丁香|91久久精品无码一区|99久久国语露脸精品|动漫卡通亚洲综合专区48页