基于TI TM320DM642的仿生眼視覺(jué)圖像處理系統

發(fā)布時(shí)間:2010-4-13 16:43    發(fā)布者:李寬
關(guān)鍵詞: 仿生 , 視覺(jué) , 圖像處理 , 系統
機器人技術(shù)整合了控制論、機械電子、計算機、仿生學(xué)和材料科學(xué)等技術(shù),正在以前所未有的速度走向社會(huì )生活的各個(gè)領(lǐng)域,如:服務(wù)機器人、仿生機器人、水下機器人、飛行機器人等。目前,在世界各國研制的機器人中,行走、手臂運動(dòng)等技術(shù)已經(jīng)取得了非常大的成功,而作為重要感知機能之一的視覺(jué)功能,一直是學(xué)者們競相研究的熱點(diǎn)。特別是目前重點(diǎn)發(fā)展的服務(wù)機器人、危險環(huán)境作業(yè)機器人、助老助殘機器人等。機器人的運動(dòng)環(huán)境和自身姿態(tài)的變化以及機體振動(dòng)等問(wèn)題對機器人視覺(jué)系統提出了更高要求,顛簸環(huán)境中機器人運動(dòng)視覺(jué)問(wèn)題已是亟待解決的問(wèn)題。視覺(jué)專(zhuān)家從圖像處理和運動(dòng)控制的角度對這些視覺(jué)技術(shù)進(jìn)行了長(cháng)期卓有成效的研究,在一定程度上解決了視覺(jué)中的基本問(wèn)題。但機器人視覺(jué)系統在實(shí)際較惡劣環(huán)境中應用時(shí),往往不能平滑穩定地跟蹤目標,會(huì )出現跟蹤視頻圖像的跳動(dòng)、跟蹤目標的丟失以及圖像模糊等現象。面對存在的問(wèn)題,專(zhuān)家們一直在探討本質(zhì)上的解決方法。實(shí)際上,人眼就具有這樣的視覺(jué)功能。眼球的生理神經(jīng)回路能產(chǎn)生如前庭動(dòng)眼反射、視動(dòng)反射、平穩追蹤、急動(dòng)等眼球運動(dòng)[1],可以解決上述問(wèn)題。因此,若能從人眼神經(jīng)回路的生理本質(zhì)出發(fā),研制出具有類(lèi)似人眼機能的仿生眼球系統,機器人的視覺(jué)技術(shù)將會(huì )得到突破性進(jìn)展。而在仿生眼研究中,類(lèi)似于人眼視網(wǎng)膜反饋目標在視野中的位置偏差、速度偏差的嵌入式機載視頻圖像處理系統的成功研究至關(guān)重要[2]。

近年來(lái),國內外開(kāi)展了大量對視頻圖像處理系統的研究,主要是針對一定范圍內的靜、動(dòng)態(tài)場(chǎng)景進(jìn)行監控或跟蹤,并應用于智能車(chē)輛檢測、視頻監控、人臉識別、目標跟蹤等方面。如文獻[3]成功設計了一個(gè)基于視覺(jué)的低空跟蹤系統;文獻[4]成功設計一個(gè)基于視頻圖像處理的車(chē)輛流量實(shí)時(shí)檢測系統。調查研究表明,國內外嵌入式機載視頻圖像處理系統的核心處理器多采用DSP、FPGA或者ARM來(lái)處理海量的圖像數據。其主要采用的結構有單片高性能DSP、 FPGA+DSP結構及ARM+FPGA+DSP結構等。文獻[5]設計了一種單DSP的視頻圖像處理系統。文獻[6]設計了一種FPGA+DSP結構的視頻圖像處理系統。文獻[7]設計了一種基于DSP+FPGA+ARM體系結構的嵌入式實(shí)時(shí)圖像處理系統。這些系統代表了目前嵌入式視頻圖像處理系統的基本類(lèi)型和主要成果。隨著(zhù)數字信號處理器的高速發(fā)展,針對視頻和圖像解決方案而設計的高性能數字多媒體處理器TMS320DM642在實(shí)時(shí)視頻處理領(lǐng)域得到了廣泛應用。因此,根據仿生眼對圖像處理性能的實(shí)際要求,可以采用基于單片高性能DSP結構的系統。

本文設計的仿生眼嵌入式機載視頻圖像處理系統采用TI公司的TMS320DM642高性能數字多媒體處理器作為核心處理器,系統實(shí)現了實(shí)時(shí)采集圖像、實(shí)時(shí)處理圖像、實(shí)時(shí)輸出目標信息、實(shí)時(shí)顯示等功能,具有針對性強、電路簡(jiǎn)單、集成度高、可靠性好等優(yōu)點(diǎn)。此外,本系統實(shí)現了對經(jīng)典Prewitt算法及其改進(jìn)算法的驗證。結果表明,該系統能夠滿(mǎn)足實(shí)時(shí)圖像處理系統運算量大、數據傳輸率高以及實(shí)時(shí)性的要求。

1 系統整體結構與硬件設計

1.1 系統整體框架結構

系統以TM320DM642為核心,由4個(gè)部分組成:視頻采集、圖像處理、視頻輸出、串口通信。系統流程如圖1所示。首先CCD攝像頭采集的視頻圖像,經(jīng)過(guò)視頻解碼芯片轉化為便于DSP處理的視頻碼流;然后在DSP中設計合適的視頻圖像處理算法,分割、識別出運動(dòng)目標,并計算出目標的位置參數;最后將位置參數通過(guò)串口發(fā)送給眼動(dòng)控制模塊。同時(shí)利用視頻編碼芯片編碼DSP輸出的視頻碼流,送到顯示器實(shí)時(shí)顯示,便于人機交互。



1.2 系統硬件設計

系統硬件設計分為6個(gè)模塊:視頻采集模塊、圖像處理模塊、視頻輸出模塊、串口通信模塊、電源時(shí)鐘模塊、存儲模塊。其結構圖如圖2所示。



1.2.1 TMS320DM642圖像處理模塊

TMS320DM642是整個(gè)嵌入式系統的核心,它是TI公司推出的一款專(zhuān)用于數字媒體應用的高性能32 bit定點(diǎn)DSP,具有豐富的外設接口和高速的處理能力,是目前實(shí)時(shí)視頻處理領(lǐng)域性?xún)r(jià)比較高的芯片[8]。DM642最高主頻達600 MHz,并行處理指令最高可達每個(gè)指令周期處理8條32 bit指令,最大指令處理速度為4 800 MIPS。DM642的高性能主要體現在采用了二級緩存結構和64 bit的EDMA控制器,使其在沒(méi)有CPU參與的情況下,進(jìn)行數據搬移,大大提高了程序的運行效率[9]。因此,為提高系統實(shí)時(shí)性[10],采用EDMA 傳輸是必要之舉。此外,DM642具有豐富的外圍接口,其3個(gè)可配置的視頻口可以與視頻編解碼芯片進(jìn)行無(wú)縫連接;片內64 bit的EMIF接口可以與SDRAM、FLASH 等存儲器無(wú)縫連接;利用I2C還可以方便地控制外圍器件等。

該模塊的主要功能是將輸入的BT.656格式的視頻信號進(jìn)行中值濾波、圖像分割等預處理,然后通過(guò)目標識別算法計算目標位置參數,最后將結果通過(guò)串口模塊實(shí)時(shí)地送給眼動(dòng)控制模塊,眼動(dòng)控制模塊再結合仿生控制率對眼球進(jìn)行實(shí)時(shí)控制。由于系統采用EDMA傳輸,大大保證了圖像傳輸的實(shí)時(shí)性。CPU的開(kāi)銷(xiāo)主要用于圖像處理的識別算法上。

1.2.2 視頻圖像采集模塊

視頻圖像采集模塊由CCD攝像頭XL-3130CP4和視頻解碼芯片TVP5150組成,用于實(shí)現視頻數據的A/D轉換。DM642具有3個(gè)視頻口,每個(gè)視頻口包括A、B 2個(gè)通道,每個(gè)通道均可配置為輸入或輸出口。本系統將VP0A配置成視頻輸入,VP1A配置成視頻輸出。CCD采集的視頻信號采用PAL制式,即:分辨率為720×576,幀頻為25幀/s。通過(guò)TVP5150視頻解碼器將其轉換成數字色差信號(YUV4:2:2),輸出格式為ITU-R BT.656,輸入到VP0A口。DM642支持BT.656格式的視頻數據流的輸入格式,能與TVP5150的視頻數據流無(wú)縫連接。視頻編解碼器與 DSP的連接框圖如圖3所示。



TVP5150的配置是通過(guò)標準的I2C總線(xiàn)完成的。I2C標準總線(xiàn)由串行數據輸入/輸出線(xiàn)(SDA)和時(shí)鐘輸入/輸出線(xiàn)(SCL)組成。TVP5150作為從設備,TMS320DM642作為I2C總線(xiàn)的主設備。主設備初始化TVP5150配置的寫(xiě)操作步驟如下: (1)DSP產(chǎn)生一個(gè)起始條件;(2)DSP發(fā)出一個(gè)TVP5150的地址(0xBA或0Xb8),并表明寫(xiě)操作,等待TVP5150響應;(3)接收到 TVP5150的響應后,DSP發(fā)出要配置寄存器地址,等待TVP5150響應;(4)接收TVP5150的響應后,發(fā)送要配置的數據,等待 TVP5150響應;(5)接收到TVP5150響應后,發(fā)送停止位,結束一次配置。

1.2.3 視頻圖像輸出模塊

視頻輸出模塊由視頻編碼器SAA7121和顯示器組成。SAA7121支持PAL/NTSC格式的視頻編碼,輸入支持BT.656格式的數字視頻,輸出為一路復合視頻(CVBS)和一路超級視頻(S-Video)。SAA7121的配置也是通過(guò)標準的I2C總線(xiàn)完成的,并且只能作為從設備。顯示器用于實(shí)時(shí)顯示視頻圖像信息,便于人機交互。

1.2.4 串口通信模塊

串口通信部分包括TL16C752B和MAX3160。采用TL16C752B作為通用異步收發(fā)器(UART),采用MAX3160將UART接口配置成RS232接口電平標準,用于為眼動(dòng)控制器傳遞參數。該模塊是視覺(jué)識別系統與眼動(dòng)控制模塊的接口,所傳遞的參數是目標偏離圖像中心的位置信息,眼動(dòng)控制系統根據這個(gè)參數實(shí)時(shí)調整眼球運動(dòng),確保目標位于圖像中心。因此,該參數是整個(gè)眼球運動(dòng)系統的前提。

1.2.5 外部存儲模塊

外部存儲模塊包括SDRAM和FLASH 2種。TMS320-DM642通過(guò)外部存儲器接口EMIFA訪(fǎng)問(wèn)片外存儲器。EMIFA是一個(gè)64 bit的接口,可以實(shí)現與多種同步和異步存儲器的無(wú)縫連接。系統中,DM642的CE0子空間被作為64 bit的SDRAM接口,SDRAM選用HY57V283220T芯片,用于緩存待處理的圖像數據;CE1子空間被配置為8 bit的FLASH接口,FLASH選用Am29LV033C芯片,用于存儲DSP的固化程序和系統配置數據。

1.2.6 電源和時(shí)鐘模塊

本系統需要3種不同的供電電壓,分別是+3.3 V(外部存儲器、DSP的外部I/O、視頻格式轉換電路、通用異步收發(fā)器、時(shí)鐘芯片)、+1.4 V(DSP的內核)、+1.8 V(視頻格式轉換電路)。采用TPS54310和TPS76718這2款電源芯片。本電源系統中,TPS54310輸入電壓為5 V,一路調節成3.3 V,另一路調節為1.4 V。TPS54310輸出3.3 V電壓經(jīng)TPS76718固定輸出1.8 V。

本系統共需要4種時(shí)鐘頻率:50 MHz送DSP鎖相環(huán)電路(PLL),倍頻到200 MHz作為DSP芯片的工作時(shí)鐘;133 MHz送EMIFA接口,同步擴展外部SDRAM存儲器;30.72 MHz送TL16C752B芯片,為通用異步串行接口通信提供時(shí)鐘;14.318 18 MHz送TVP5150A芯片,作為視頻格式轉換電路的工作時(shí)鐘。

2 系統軟件功能設計

系統的軟件功能設計包括:(1)系統引導;(2)初始化。主要包括DM642的初始化、EDMA數據傳輸、編解碼芯片的初始化等。DM642的初始化包括片內外設的選擇、EMIF初始化、I2C接口的初始化、視頻口初始化;(3)實(shí)現視頻數據的采集、數據搬移、圖像處理、參數輸出、實(shí)時(shí)顯示等功能。系統軟件實(shí)現框圖如圖4所示。



系統上電后,由DSP先從FLASH中加載程序,完成系統初始化及相關(guān)寄存器和外圍器件的配置。由CCD攝像頭采集的視頻圖像傳送到TVP5150解碼器,將視頻模擬信號經(jīng)過(guò)A/D轉換成BT.656視頻數據流,接著(zhù)送入DM642視頻口;然后視頻口解碼該視頻數據流,得到YUV(4:2:2)格式的圖像,并通過(guò)EDMA傳輸到SDRAM中存儲。CPU通過(guò)訪(fǎng)問(wèn)SDRAM中的圖像數據,根據圖像處理算法對圖像數據進(jìn)行實(shí)時(shí)處理和計算。一方面將計算結果通過(guò)串口發(fā)送出去,另一方面將視頻數據送到SAA7121編碼器,實(shí)現D/A轉換并實(shí)時(shí)顯示。

3 圖像處理算法的應用

3.1 經(jīng)典Prewitt邊緣檢測算法

經(jīng)典的Prewitt算子是利用像素點(diǎn)上下、左右鄰點(diǎn)灰度差在邊緣處達到極值檢測邊緣,去掉部分偽邊緣,對噪聲具有平滑作用。其原理是在圖像空間利用2 個(gè)方向模板與圖像進(jìn)行鄰域卷積完成。這2個(gè)方向模板中一個(gè)是垂直梯度方向,檢測水平邊緣;另一個(gè)是水平梯度方向,檢測垂直邊緣,如圖5所示。



Prewitt算法步驟:(1)分別將2個(gè)方向模板沿圖像從一個(gè)像素移到另一個(gè)像素,并將像素的中心與圖像中的某個(gè)像素位置重合;(2)將模板內的系數與其圖像上相對應的像素值相乘,并將所有相乘的值相加;(3)將兩個(gè)卷積的最大值賦給圖像中對應模板中心位置的像素,作為該像素新的灰度值;(4)選取合適的閾值,若新像素灰度值大于等于所設閾值,則判斷該像素點(diǎn)為圖像邊緣點(diǎn)。

3.2 改進(jìn)的Prewitt邊緣檢測算法

經(jīng)典的Prewitt邊緣檢測算法只檢測水平和垂直2個(gè)方向的邊緣,通常圖像的邊緣還有其他的方向。為了能夠在不影響實(shí)時(shí)性的前提下將邊緣提取得更精確,本文將Prewitt算子擴張到8個(gè)方向的邊緣樣板算子。這些樣板算子由理想的邊緣子圖像構成,依次用邊緣樣板去檢測圖像,與被檢測區域最為相似的樣板給出最大值,用這個(gè)最大值作為輸出值,并將此輸出值與所設的閾值進(jìn)行比較,大于閾值即為邊緣點(diǎn),這樣就可以更精確地檢測出邊緣。8個(gè)方向的 Prewitt邊緣檢測算子模板如圖6所示。8算子樣板對應的邊緣方向如圖7所示。





3.3 軟件實(shí)現步驟

本文使用CCS2.2開(kāi)發(fā)環(huán)境進(jìn)行軟件開(kāi)發(fā),采用C語(yǔ)言編程。CCS具有實(shí)時(shí)、多任務(wù)、可視化的軟件開(kāi)發(fā)特點(diǎn)。使用CCS提供的工具,可以方便地對 DSP軟件進(jìn)行設計、編碼、編譯、調試、跟蹤和實(shí)時(shí)性分析。系統程序的具體實(shí)現步驟為:

    (1)初始化并配置資源庫,包括片內外設的選取,DSP的片上支持庫提供了一系列的C語(yǔ)言程序接口,可以設置或者控制外設;
    (2)實(shí)現對EMIFA的初始化,CE0子空間被配置為64 bit的SDRAM空間,具體定位:0x80000000H-0x81FFF-
FFFH。CE1子空間被配置為8 bit Flash空間,具體定位:0x90000000H-0x9007FFFFH。
    (3)對I2C總線(xiàn)進(jìn)行初始化;
    (4)TVP5150和SAA7121的初始化,選擇I2C總線(xiàn),并設置為相應的數據通路;
    (5)初始化視頻口Video Port1,設為視頻輸入;
    (6)利用bt656_capture_start()函數采集一幀圖像,并將其存入顯示緩沖區;
    (7)完成一幀圖像的采集,使用DAT_copy()函數將圖像數據送SDRAM暫存;
    (8)對存儲區數據進(jìn)行算法處理;
    (9)對處理的數據使用DAT_copy()函數,送顯存進(jìn)行顯示。

3.4 實(shí)驗結果

采用系統在線(xiàn)編程技術(shù),對系統的性能進(jìn)行測試。為了減少運算量,算法只對圖像的中心部分進(jìn)行2種算法處理。CCD采集的PAL制式的圖像,對圖像中心的 80×100的區域進(jìn)行計算。其結果表明:改進(jìn)的算法比傳統的算法能提取更多的邊緣細節,對目標識別更有利。在實(shí)時(shí)性上,傳統算法處理時(shí)間為0.02 s,而改進(jìn)算法的處理時(shí)間為0.1 s。因此,該算法具有準實(shí)時(shí)性,基本能夠達到仿生眼球對圖像識別的要求。

系統CPU的開(kāi)銷(xiāo)主要耗費在算法處理上,因此,未來(lái)的工作可以針對算法進(jìn)行不斷改進(jìn),以提高系統的實(shí)時(shí)性。

本文成功設計了一個(gè)以TMS320DM642為核心的嵌入式視覺(jué)圖像處理系統,并創(chuàng )新地將其作為仿生眼球的視覺(jué)部分嵌入到眼球結構中。系統具有處理速度快、接口簡(jiǎn)單、集成度高、電路穩定、體積小等優(yōu)點(diǎn)。在此系統上實(shí)現了對經(jīng)典的2模板Prewitt算法與改進(jìn)的8模板算法的邊緣檢測。結果表明,改進(jìn)的算法具有精確度高、檢測效果好等優(yōu)點(diǎn),為視覺(jué)識別提供了算法基礎。

參考文獻

[1] 鄒海榮,龔振邦,謝少榮.仿生型機器人眼球運動(dòng)控制系統建模[J].機器人,2007,29(4):289-294.
[2] 鄒海榮,龔振邦,羅均.仿生眼的研究現狀與發(fā)展趨勢[J]. 機器人,2005,27(5):469-474.
[3] 丁衛,龔振邦,謝少榮,等.基于視覺(jué)的低空跟蹤系統[J]. 光學(xué)精密工程,2007,15(6):957-965.
[4] 李筱琳,馮燕,何亦征.基于DSP的圖像旋轉算法數據調度策略[J].電子技術(shù)應用,2008(1):36-39.
[5] 劉丹,孫麗云,胡偉.基于DM642的視頻處理系統設計[J]. DSP開(kāi)發(fā)和應用,2007,23(6):157-159.
[6] 朱明,魯劍鋒.基于DSP+FPGA結構圖像處理系統設計與實(shí)現[J].計算機測量與控制,2004,12(9):866-869.
[7] 孫詠.基于A(yíng)RM和DSP的嵌入式實(shí)時(shí)圖像處理系統設計與研究[D].浙江:浙江大學(xué),2005.
[8] TI TMS320DM642 video/imaging fixed-point digital signal processor data manual[Z].Texas Instruments Incorporated,2003.
[9] 李方慧,王飛,何佩琨.TMS320C6000系列DSPs原理與應用[M].北京:電子工業(yè)出版社,2003.
[10] 許廷發(fā),秦慶旺,倪國強.基于DM642融合系統的A Trous小波實(shí)時(shí)圖像融合算法[J].光學(xué)精密工程,2008,16(10).

作者:鄭麗麗 謝少榮 羅 均 山 峰
來(lái)源:電子技術(shù)應用
本文地址:http://selenalain.com/thread-10412-1-1.html     【打印本頁(yè)】

本站部分文章為轉載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和對其真實(shí)性負責;文章版權歸原作者及原出處所有,如涉及作品內容、版權和其它問(wèn)題,我們將根據著(zhù)作權人的要求,第一時(shí)間更正或刪除。
您需要登錄后才可以發(fā)表評論 登錄 | 立即注冊

相關(guān)視頻

關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權所有   京ICP備16069177號 | 京公網(wǎng)安備11010502021702
快速回復 返回頂部 返回列表
午夜高清国产拍精品福利|亚洲色精品88色婷婷七月丁香|91久久精品无码一区|99久久国语露脸精品|动漫卡通亚洲综合专区48页