多媒體技術(shù)和智能視頻應用的范圍 數字視頻的興起源于多媒體技術(shù)的發(fā)展,然而從核心技術(shù)本質(zhì)而言,則不妨分為三個(gè)階段,即數字顯示視頻、數字壓縮視頻和數字智能視頻。 數字顯示視頻首先解決的是計算機圖像與數字化視頻影響的結合,數字化的視頻主要還是MPEG1的格式,其壓縮比和分辨率還非常有有限,但畢竟解決了有和無(wú)的問(wèn)題。由于當時(shí)PC機的處理能力很差,因此需要插各種圖形圖像和視頻采集壓縮卡,而達到的還是綜合顯示效果。 數字壓縮視頻則以將有效的視頻數字化壓縮并提供實(shí)用性產(chǎn)品為目的,并迅速將數字視頻壓縮格式由MPEG1提升到MPEG2,即所謂的VCD到DVD的過(guò)渡,而產(chǎn)品形態(tài)也開(kāi)始脫離PC機,涌現出自成一體的消費類(lèi)產(chǎn)品。隨著(zhù)所面向應用的不同,數字視頻壓縮格式又有MJPEG、MPEG4和H.264,數字化壓縮的效率得到很大提高,同時(shí)也有WMV9、Real和On2等商業(yè)標準問(wèn)世,當然AVS作為具有自主知識產(chǎn)權的中國音視頻標準而應運而生。數字壓縮視頻階段帶來(lái)了各種類(lèi)型的數字視頻產(chǎn)品的極大豐富,大部分的產(chǎn)品已完全脫離PC而成為嵌入式設備,而數量也大大超過(guò)PC,如電視機頂盒、個(gè)人媒體播放器、網(wǎng)絡(luò )可視電話(huà),還有日新月異的數字視頻監控類(lèi)產(chǎn)品,其中包括數字硬盤(pán)錄像機、數字視頻服務(wù)器、網(wǎng)絡(luò )攝像機等。 數字智能視頻是數字視頻技術(shù)發(fā)展的新階段,雖然它脫胎于數字監控,但將對未來(lái)數字視頻應用具有極其深遠的影響。 因為數字智能視頻是數字監控的發(fā)展方向,行業(yè)內視為新一代視頻監控技術(shù)。前幾代則分別是CCTV閉路電視時(shí)代、VCR模擬視頻錄像時(shí)代、DVR數字視頻錄像時(shí)代、NVR網(wǎng)絡(luò )視頻錄像時(shí)代。數字智能視頻將當之無(wú)愧地引領(lǐng)一個(gè)數字視頻分析時(shí)代,從而確立視頻監控技術(shù)一個(gè)劃里程碑式的創(chuàng )新,這個(gè)技術(shù)是對人們傳統監控理念的根本改變,并將得到更多的最終用戶(hù)的認可而從中獲益,因而全面擴展更廣的新興應用。 智能視頻系統可以解決不少問(wèn)題,其一,就是通過(guò)機器的自動(dòng)分析處理減輕安防操作人員繁雜和枯燥的工作;其二,就是在海量的視頻數據中自動(dòng)快速搜索所需圖象;其三,就是增加自動(dòng)交互的控制、檢測和處理手段。數字智能視頻最突出的優(yōu)勢在于避免事后回放相關(guān)圖象的延誤,而真正有可能的做到在風(fēng)險產(chǎn)生時(shí)的有效預防或干預。數字智能視頻的一個(gè)重要領(lǐng)域是交通監控,其中包含汽車(chē)牌照自動(dòng)識別系統、交通流量自動(dòng)控制系統、道路狀況自動(dòng)監測警示系統,也有包含移動(dòng)式自動(dòng)車(chē)牌實(shí)時(shí)稽查系統的需求。 數字智能視頻還有一個(gè)重要的應用就是汽車(chē)視覺(jué),如圖1所示。一輛汽車(chē)若要真正做到安全可靠,前后左右和內外都需要有很好的觀(guān)察手段,傳統的手段并不夠,且有局限性。因此在行駛中的“盲區檢測”、“行人檢測”、“車(chē)道偏離警告”和“適應性定速系統”將大有幫助,還有停車(chē)的“泊車(chē)助理”功能、夜間的“夜視”功能、“睡意檢測”功能也非常重要。數字智能視頻在很大程度上可以支持這些應用,其中有些技術(shù)已經(jīng)在一些國際知名品牌的車(chē)型中開(kāi)始同入試用階段,并將很快同入實(shí)用。數字智能視頻還可拓展到更多的應用,如在公共場(chǎng)所的人臉識別、商業(yè)場(chǎng)合的人流統計、公共廣告的受眾統計、超級市場(chǎng)的消費分析、綠色環(huán)境的視頻檢測等等。簡(jiǎn)而言之,只要有可能有攝像頭的地方,數字智能視頻就可以有用武之地,這不僅在于觀(guān)察,還將承擔逐步互動(dòng)的任務(wù)。 圖1 數字智能視頻在汽車(chē)視覺(jué)上的應用 嵌入式智能視頻應用技術(shù)的實(shí)現手段 視頻分析技術(shù)是計算機圖像視覺(jué)分析技術(shù)的延伸發(fā)展,其原理就是通過(guò)將場(chǎng)景中背景和目標分離,然后分析并追蹤在場(chǎng)景內出現的目標。采用根據視頻內容分析功能,可以在不同攝像機的場(chǎng)景中預設各種報警規則,如果在場(chǎng)景中目標有違反所定義規則行為,系統在自動(dòng)報警時(shí),監控終端也發(fā)出報警信息和警示音,提示用戶(hù)實(shí)現報警的場(chǎng)景重組并采取相關(guān)措施。 視頻分析技術(shù)有多種處理法方法,其中包括?背景減除方法和時(shí)間差分方法。目前,視頻分析技術(shù)實(shí)施主要采用基于后端PC服務(wù)器處理方式和采用前端DSP的處理方式。由于DSP是高速數字信號處理器,可置于視頻采集的前端進(jìn)行實(shí)時(shí)處理,明顯優(yōu)于后端非實(shí)時(shí)處理方式。緊靠攝像機或編碼器的基于DSP的視頻分析單元可以直接對原始或最接近原始的圖象進(jìn)行分析,而后端服務(wù)器得到的圖象要經(jīng)網(wǎng)絡(luò )編碼傳輸,可能因丟失部分信息而難免降低精確度。 DSP處理方式屬于嵌入式智能視頻應用,需要在巨量的視頻像素數據中識別出感興趣的目標,同時(shí)該系統應該能夠可編程,可以接受不同的內容,并能夠適應不斷演進(jìn)的算法,以滿(mǎn)足各種不同的應用。智能數字視頻系統工作流程可以被概括描述為: 第一,一個(gè)較長(cháng)的序列被分割成可供分析的單獨場(chǎng)景或短片;因為不同的場(chǎng)景具有不同的直方圖,或不同的色彩頻率分布,其直方圖相對于前面有突變的幀時(shí)可以被視為場(chǎng)景改變;第二,改變場(chǎng)景內的前景目標被檢測為與背景分離;第三,單獨的前景目標被提取或者被分割,然后逐幀跟蹤。第四,該目標的特征被提取以進(jìn)行分類(lèi);第五,當該事件某種程度上像關(guān)注的目標則向管理軟件和/或管理人員發(fā)布告警。迄今為止,關(guān)于智能數字視頻分析還沒(méi)有相關(guān)的國際標準,因此只有可編程的高性能的DSP和視頻處理器才使得更復雜的檢測算法的實(shí)現成為可能,例如在實(shí)時(shí)的視頻檢測出前景和背景的變化或者可疑的活動(dòng)。 然而,即使是采用高速DSP處理,智能視頻處理軟件的開(kāi)發(fā)人員都需要兼備扎實(shí)的模式識別基礎技術(shù)和DSP算法開(kāi)發(fā)技能,于是就增加了開(kāi)發(fā)的難度。為更好地支持智能視頻技術(shù)的推廣,TI在業(yè)界廣泛使用的C64+平臺上開(kāi)發(fā)了一套智能視頻庫,名為VLIB。如圖2魏支持數字智能視頻應用的VLIB庫定位,不難看出VLIB處在DSP軟件系統的底層,以之為基礎才是視頻分析應用,即VA。那么,現在的客戶(hù)可以通過(guò)直接調用VLIB中的智能視頻基礎庫函數,進(jìn)行視頻分析軟件的開(kāi)發(fā)。而以往的客戶(hù),包括國際知名的智能視頻廠(chǎng)商都要自主開(kāi)發(fā)這些底層軟件。特別需要說(shuō)明的是,所有VLIB庫都是免費提供,客戶(hù)只需在因特網(wǎng)上www.ti.com/vlibrequest 注冊。 圖2 支持數字智能視頻應用的VLIB庫定位 集成有DSP的SOC器件特色及發(fā)展趨勢 TI的TMS320DM64x數字媒體處理器和達芬奇(DaVinci)系列已經(jīng)成為嵌入式智能視頻分析的流行平臺,并已在許多應用中引人矚目。在國際上Objectvideo、MICE、IoImage和VCA等就是其中的佼佼者,而在國內也有不少后起之秀脫穎而出。在汽車(chē)視覺(jué)方面,歐洲CEL公司已宣布在其新系列單、多攝像頭汽車(chē)視覺(jué)系統中選用DM643x處理器實(shí)現出色的視頻影像與系統控制功能以滿(mǎn)足駕駛輔助系統的嚴格要求。 TI達芬奇產(chǎn)品發(fā)展策略及代碼兼容性將為眾多全新技術(shù)提供全面支持并加速技術(shù)發(fā)展。在智能視頻處理實(shí)現上達芬奇可以采用兩種系統架構來(lái)實(shí)現,其一就是如圖3所示的具有智能視頻分析功能的網(wǎng)絡(luò )攝像機的組合方式,智能視頻分析單元為DM6435模塊插入到以DM355為核心的網(wǎng)絡(luò )視頻壓縮處理系統中。 圖3 具有智能視頻分析功能的網(wǎng)絡(luò )攝像機 圖4 在達芬奇高清處理器上增加智能視頻功能 |