|
引言
隨著(zhù)人們對生活質(zhì)量要求的提高和全球反恐的大勢所需，以及數字化技術(shù)本身的不斷進(jìn)步，依托指紋識別、虹膜識別、人臉識別等技術(shù)的生物識別方案和視頻監控方案等正逐步成為提高個(gè)人、家庭、企業(yè)和社會(huì )安全性的重要手段。生物識別方案主要包括四個(gè)步驟：圖像采集、圖像預處理，特征取樣，匹配分析；而視頻監控方案則主要包括圖像采集、圖像預處理、圖像處理與傳輸、圖像顯示及圖像管理等。不難看出，無(wú)論是生物識別還是視頻監控，圖像預處理都是必需的。事實(shí)上，圖像預處理算法的靈活度、復雜度、對圖像處理芯片資源的占用度，以及處理時(shí)間的長(cháng)度將直接對整個(gè)系統運行產(chǎn)生舉足輕重的影響。因此，圖像預處理對于整個(gè)安防方案來(lái)說(shuō)都是一項艱巨而又關(guān)鍵的任務(wù)，直接決定了后續圖像處理與分析的準確性和便捷性。
圖像預處理分析
根據目的的不同，圖像預處理可分為對采集圖像進(jìn)行清晰化處理，對圖像進(jìn)行識別前的預處理，以及對圖像進(jìn)行壓縮前的預處理等。其中，對采集圖像進(jìn)行清晰化處理主要包括對CMOS或CCD圖像傳感器感光單元的不一致進(jìn)行后續糾正，對實(shí)際環(huán)境與傳感器采集的圖像進(jìn)行差異補償（如背光），以及對采集到的原始圖像進(jìn)行去噪處理等。雖然這種預處理算法本身的難度不大，但隨著(zhù)實(shí)時(shí)性需求的普及，尤其是在像素較大時(shí)，這種算法還是對DSP的處理能力提出了很高的要求。
而對圖像進(jìn)行識別前的預處理則目的性很強，可能需要破壞原來(lái)的像素和分布，以便后續進(jìn)行特征提取。這種預處理算法的難度視識別場(chǎng)合的不同而不同。要綜合后面的識別算法部分，選擇適當的DSP。圖像壓縮前的預處理主要是指將YUV422變?yōu)閅UV420、將RGB變?yōu)閅UV等。這類(lèi)處理往往有實(shí)時(shí)性要求，如果采用軟件實(shí)現，會(huì )對處理性能有較高的要求；如果采用硬件實(shí)現，則雖然在處理性能上有保證，但硬件成本會(huì )有所上升。
同時(shí)，根據應用不同，圖像預處理又可分為生物識別應用中的圖像預處理和視頻監控應用中的圖像預處理。對于生物識別應用，以指紋識別為例，其預處理主要包括指紋圖像增強、指紋圖像二值化、指紋圖像細化、指紋圖像細化后處理。而視頻監控應用中的圖像預處理主要是指對圖像傳感器輸出的連續圖像進(jìn)行分析，獲取足夠的信息，并通過(guò)自動(dòng)白平衡、伽馬（Gamma）校正、自動(dòng)聚焦、自動(dòng)曝光、背光補償等來(lái)提高圖像的實(shí)際效果。
圖像預處理的挑戰
無(wú)論是生物識別還是視頻監控，其圖像預處理正面臨以下挑戰：其一，用戶(hù)對圖像質(zhì)量的要求越來(lái)越高，圖像預處理的算法越來(lái)越復雜，從而對圖像預處理主芯片處理能力及存儲空間提出了更加苛刻的要求；其二，用戶(hù)對圖像的實(shí)時(shí)性處理和傳輸要求越來(lái)越高，一方面要求圖像預處理算法盡量?jì)?yōu)化、精簡(jiǎn)，另一方面也對圖像預處理主芯片的內核處理能力、內部總線(xiàn)架構、數據傳輸能力、外圍接口，以及硬件整體架構和指令集對預處理算法的支持提出了更高要求；其三，不同于圖像和視頻編解碼算法具有業(yè)界統一的算法標準和清晰的演進(jìn)路線(xiàn)圖，圖像預處理算法不僅沒(méi)有統一的標準和清晰的發(fā)展方向，甚至在很大程度上，方案提供商正是通過(guò)這些“秘密”的個(gè)性化算法來(lái)作為市場(chǎng)競爭的法寶。此外，隨著(zhù)應用領(lǐng)域的不同、需求的提高和技術(shù)本身的演進(jìn)，原有算法會(huì )不斷升級，新的算法會(huì )不斷涌現，這些都要求圖像預處理芯片具有更高的靈活性和適應能力。其四，對于方案提供商來(lái)說(shuō)，不僅其體現競爭力的核心算法需要防止被非法讀取或拷貝，而且無(wú)論是生物識別還是視頻監控，其圖像數據往往都會(huì )涉及隱私，因此也需要提供可以信任的安全保證。以上兩方面，都要求圖像處理芯片必須提供一個(gè)可靠、完全的處理平臺。
基于以上多方面的挑戰，在圖像預處理主芯片的選擇上，以控制能力見(jiàn)長(cháng)的傳統MCU并不適合龐大、復雜的算法處理；ASIC雖然在運算速度和功耗方面具有一定的優(yōu)勢，但其成本高、靈活性差，且不利于升級和修改，因此無(wú)法滿(mǎn)足預處理算法個(gè)性化的靈活性需求；FPGA并行處理的架構雖然具備了強大的數據處理能力，但價(jià)格、功耗，以及開(kāi)發(fā)難度方面的缺點(diǎn)使其很難成為圖像預處理的主流選擇；而DSP則以強大的數據處理能力和軟件可編程能力成為圖像預處理主芯片的主流選擇。
除了以上挑戰，從系統設計的角度來(lái)講，還面臨以下幾方面的需求：其一，雖然圖像預處理和圖像處理工作巨大，但是工程師并不希望采用多個(gè)芯片來(lái)處理這件事情。因為信號處理和控制系統分別運行于不同處理器的傳統DSP架構已經(jīng)讓工程師非常頭疼，如果再把圖像預處理和圖像處理分開(kāi)，則更加大了工程師進(jìn)行系統開(kāi)發(fā)、系統聯(lián)調、系統維護的難度。因此，對于系統設計中的主芯片DSP來(lái)說(shuō)，還面臨集成度的要求——有沒(méi)有可能在單芯片上實(shí)現圖像預處理、圖像處理，甚至包括系統控制等功能。
其二，隨著(zhù)包括預處理在內的整個(gè)圖像處理算法復雜性的不斷增加，作為主處理器的DSP，除了需要提供足夠的硬件處理能力之外，還應該在軟件上提供針對該處理器專(zhuān)門(mén)優(yōu)化的指令集，從而幫助工程師降低對處理器物理架構的熟悉難度，最大限度的駕馭、發(fā)揮處理器的特性，盡快開(kāi)發(fā)出精簡(jiǎn)、優(yōu)化的圖像處理算法。
其三，除了上面提到的專(zhuān)門(mén)優(yōu)化的指令集以外，面對日益復雜的圖像處理和產(chǎn)品上市時(shí)間的壓力，工程師還期望處理器供應商能夠分擔一些他們的工作——比如，提供專(zhuān)門(mén)針對該處理器優(yōu)化、僅占極少量時(shí)鐘周期的底層圖像處理軟件模塊，以幫助他們縮短圖像處理算法開(kāi)發(fā)流程，并加速軟件移植。
另外，功能強大、界面友好、簡(jiǎn)單易學(xué)的開(kāi)發(fā)工具也是系統開(kāi)發(fā)中工程師要求的重點(diǎn)，而且隨著(zhù)系統復雜度和模塊復用性需求的增加，對開(kāi)發(fā)工具的兼容性也提出了更高的要求。 理想的DSP處理器
基于以上分析，針對圖像處理應用的理想DSP處理器必須具備以下幾方面的特點(diǎn)：內核處理能力強；專(zhuān)門(mén)針對圖像處理的指令集；易于大量數據傳輸的低功耗硬件架構；高集成度；豐富的軟件模塊庫；功能強大的開(kāi)發(fā)工具。以下是對該類(lèi)DSP處理器的代表系列——Blackfin匯聚處理器架構的具體分析。
硬件特性
Blackfin DSP處理器基于由ADI 和Intel公司聯(lián)合開(kāi)發(fā)的微信號架構（MSA），通過(guò)將傳統DSP和微控制器的優(yōu)點(diǎn)融為一體，兼顧了事件控制以及純算法運算處理功能。其匯聚的單一內核可提供高達756MHz的處理能力，不僅為處理復雜的預處理算法提供了強大性能保證，而且為整個(gè)系統的圖像處理和事件控制提供了強有力的硬件支持，從而允許工程師在單芯片上實(shí)現圖像預處理、圖像處理、系統控制，大大提高了系統的集成度。
Blackfin系列處理器的硬件架構專(zhuān)門(mén)針對圖像處理進(jìn)行優(yōu)化，多個(gè)DMA通道和可靈活配置的Cache能很好地解決大運算量、高數據吞吐率的圖像處理應用要求。在圖像處理應用中，雖然對圖像數據進(jìn)行的傳輸也可由軟件實(shí)現，但是這樣會(huì )消耗掉大量的CPU時(shí)鐘周期，從而使DSP的高速數據處理能力難以發(fā)揮。如果由DMA獨立負責數據傳輸，那么在系統內核對DMA進(jìn)行初始設置并啟動(dòng)后，DMA控制器就可在無(wú)需內核參與的情況下直接把圖像數據從PPI接口傳輸至SDRAM存儲器進(jìn)行存儲，比如在進(jìn)行MPEG或JPEG處理的計算密集型算法中，一個(gè)靈活的DMA控制器能省去額外的數據通路。此外，通過(guò)二維DMA還能簡(jiǎn)化宏塊進(jìn)出外部存儲器的傳送，從而允許數據控制成為數據實(shí)際傳送的一部分，這對色彩空間元素的交叉和解交叉來(lái)說(shuō)非常方便也非常重要。因此，Blackfin處理器的這種特性在有效地解決了大批量圖像數據傳輸這一速度瓶頸的同時(shí)，又能讓DSP處理器抽出更多的資源從事算法處理工作，大幅提高了系統的處理能力。
而且，針對圖像處理應用，Blackfin系列DSP還在不斷強化硬件功能模塊的支持，比如，ADSP-BF54x系列Blackfin處理器的最新版本中增加了一個(gè)用于處理疊加圖像(Pixel Compositor)的硬件加速器和一個(gè)擴展視頻接口(EPPI)，它使得色彩空間變換、縮放和圖像疊加等任務(wù)可以在無(wú)需處理器參與計算的情況下完成，從而減輕了內核的處理壓力，為進(jìn)行更高性能、更高速度的圖像處理提供了更多空間。
軟件特性
在指令集方面，Blackfin系列DSP針對圖像處理提供了豐富的向量指令和視頻指令。其中向量指令可以實(shí)現對16位數的操作（大多指令可以并行完成兩個(gè)16位數的操作）。由于圖像處理運算中大多是針對16位數的操作，因此，通過(guò)合理使用這些向量指令來(lái)優(yōu)化圖像運算非常重要。不僅Blackfin指令集中的大多數算術(shù)指令和移位指令都有對應的向量指令，而且，向量指令中還有根據符號相加、32位數轉16位數等特殊指令。在對圖像預處理的匯編優(yōu)化中合理的應用這些向量指令，可以提高算法的并行度，并大大加快運算速度。
視頻像素指令主要包括BYTEOP16P (完成兩個(gè)8位數加法操作)、BYTEOP3P （完成16位和8位數的加法操作)、BYTEOPIP（完成兩個(gè)8位數求平均操作)、BYTEOPZP（完成四個(gè)8位數求平均操作)、BYTEOP16M（完成兩個(gè)8位數減法操作)、SAA (完成求SAD操作)、BYTEAPCK （完成16位數轉8位數操作)，以及BYTEUNAPCK（完成8位數轉16位數操作)等。一條視頻像素操作指令可以在一個(gè)周期內完成4對視頻數據分量的加、減、加減混合、取平均值，或者相減并求絕對值等11種視頻像素運算。由于視頻像素值一般都是按照8位存放的，所以使用視頻像素指令可以大大提高包括求SAD、像素插值、8位數和16位數直接轉換等在內的各種視頻圖像運算的速度。
安全特性
在安全性方面，ADI公司的Blackfin Lockbox Secure Technology通過(guò)提供一次可編程(OTP)存儲器與安全處理模式(Blackfin安全模式)，將軟件與硬件保護相結合，為開(kāi)發(fā)人員提供實(shí)現以上安全措施的手段，其中，在OTP存儲器的公共、非安全、用戶(hù)可編程區域開(kāi)發(fā)人員可以用來(lái)存儲公共密鑰，這樣可以通過(guò)可控制與可配置的方式來(lái)鑒別系統。而在OTP存儲器的私有、安全、用戶(hù)可編程區域，開(kāi)發(fā)人員則可以設置私人密鑰等私有器件資產(chǎn)（deviceassets），并保持這些器件資產(chǎn)的機密性與完整性。此外，在Blackfin處理器上使用安全模式后，處理器只能在安全處理環(huán)境內執行授權的信任編碼。包括保護秘密（如原始設備制造商知識產(chǎn)權）、為保護電子商務(wù)與社會(huì )網(wǎng)絡(luò )而驗證器件和用戶(hù)身份、以及數字版權（DRM）內容保護。從而為圖像預處理方案的各個(gè)環(huán)節提供了量身定做的安全保護功能。
軟件模塊庫支持
除了以上Blackfin DSP在硬件架構和指令集方面對圖像處理的支持外，ADI公司還提供多種針對圖像處理的軟件模塊，包括H.264 Baseline Profile Decoder模塊、能夠按比例縮放具有不同輸入及輸出尺寸圖像的增強視頻后處理（eVPP）模塊、JPEG編碼器模塊MPEG-2 Decoder Simple & Main Profile Decoder庫、MPEG-4 Simple Profile & Advanced Simple Profile Decoder庫，以及MPEG-4 Simple Profile & Advanced Simple Profile Video Encoder模塊等，它們都專(zhuān)門(mén)針對Blackfin處理器而優(yōu)化，并經(jīng)過(guò)業(yè)界嚴格驗證。這些軟件模塊能夠大幅降低系統工程師的開(kāi)發(fā)難度，并顯著(zhù)提高系統效率。
此外，ADI公司還專(zhuān)門(mén)針對圖像處理應用推出了“Image Tool Box”軟件包，該軟件包由一系列專(zhuān)用模塊組成，并針對圖像處理算法的一些常用和基本函數進(jìn)行了專(zhuān)門(mén)優(yōu)化，可以進(jìn)行圖像變換、圖像分析與圖像增強、二值圖像操作以及形態(tài)學(xué)處理等圖像處理操作。這款軟件包有利于降低工程師的開(kāi)發(fā)難度，加速上層算法的實(shí)現和優(yōu)化。
開(kāi)發(fā)環(huán)境的支持
用于Blackfin系列DSP處理器開(kāi)發(fā)應用和工程管理的VisualDSP++開(kāi)發(fā)環(huán)境主要包括集成了ViusalDSP++內核的集成編譯和調試環(huán)境(DIDE)；帶實(shí)時(shí)運行庫的CC/++優(yōu)化編譯器；匯編器和鏈接器，以及仿真軟件和程序例程等。其中，編譯器允許程序開(kāi)發(fā)人員用C或C++語(yǔ)言編寫(xiě)信號處理和控制代碼，從而方便了系統的開(kāi)發(fā)和維護。圖形化的友好用戶(hù)信息交換界面使工程師能夠在窗口中進(jìn)行工程管理、編輯、編譯和調試程序，并在其間快速輕松地切換。此外，VisualDSP++開(kāi)發(fā)工具還與Green Hills軟件公司的MULTI環(huán)境、NI公司的LabVIEW軟件，以及MathWorks公司的MATLAB和Simulink軟件相兼容，為系統開(kāi)發(fā)和模塊復用提供了一個(gè)更加便捷、寬松的環(huán)境。 |
