早些年間,由于帶寬和處理能力的限制,人們在談到數字信號處理時(shí),更多的是簡(jiǎn)單的語(yǔ)音信號處理。接下來(lái),隨著(zhù)技術(shù)的發(fā)展,人們可利用的帶寬越來(lái)越大,處理能力越來(lái)越強,簡(jiǎn)單的語(yǔ)音已不滿(mǎn)足人們的需求,人們開(kāi)始關(guān)注動(dòng)態(tài)范圍更廣的音頻處理直至現在的視頻處理, 人們要求越來(lái)越多的視頻應用。比如,希望更遠方親人通電話(huà)世人看到他們的笑容,希望隨時(shí)隨地的看電影,希望拍攝家庭聚會(huì )的場(chǎng)景同親友分享在未來(lái)回憶,希望用視頻監控保護著(zhù)家人,等等。歸納一下,在這個(gè)市場(chǎng)上我們會(huì )看到以下的應用:
無(wú)線(xiàn)視頻網(wǎng)關(guān) 機頂盒 數字視頻播放器/點(diǎn)播機 IP視頻電話(huà) 網(wǎng)絡(luò )相機\監控系統 數字攝錄機 便攜式視頻流裝置(等等) 這些應用的共同點(diǎn)是它們都要求視頻和圖像的處理,這些處理可能是圖像質(zhì)量的優(yōu)化,如銳化、白平衡等;也可能是視頻和圖像的壓縮/解壓縮,如MPEG-4;也可能是不同壓縮制式之間的轉換,如H.263與MPEG - 4等等。這些處理都要求主處理芯片有較強的圖像視頻處理功能,但由于所有這些運算由于針對的最終市場(chǎng)并不不同,它們對處理器的要求也不盡相同。所以在對某種應用進(jìn)行開(kāi)發(fā)之前,必須要理解該應用對處理芯片的要求,從而進(jìn)行成功的選型。本文首先對這些應用進(jìn)行分類(lèi),然后以德州儀器的系列處理芯片為例給出相應的選型建議。 視頻應用及其分類(lèi) 首先我們概括地看一下上文提到的幾個(gè)典型的視頻應用 視頻局端設備 最常見(jiàn)的局端設備是位于有線(xiàn)電視局端的視頻再復用器,它通常提供以下的功能:
插入本地內容(如廣告等) 輸出客戶(hù)定制內容
視頻碼率轉換 音頻碼制轉換 音頻碼率轉換 前期/后期處理 數字程序插入 這些工作一方面由于在局端,通道密度較高,所以要求芯片處理能力較強。另一方面又由于編碼技術(shù)在不斷地發(fā)展,不斷會(huì )有新的標準出現,因而要求處理芯片具有較強的可編程性和可擴展性,產(chǎn)品具有較好的延續性。 芯片外圍接口的主要需求是高吞吐率。 無(wú)線(xiàn)視頻網(wǎng)關(guān) 無(wú)線(xiàn)視頻網(wǎng)關(guān)是位于MSC內的一個(gè)局端交換系統,用于將任何制式的視頻內容轉成手機支持的格式從而將這些內容在無(wú)線(xiàn)網(wǎng)絡(luò )上發(fā)布。它的功能使得對處理芯片的要求與視頻局端設備比較相像,但也有它自己的要求。由于無(wú)線(xiàn)網(wǎng)絡(luò )對環(huán)境的依賴(lài)比較大,不同連接的信道質(zhì)量會(huì )有所不同,這就要求網(wǎng)關(guān)針對信道質(zhì)量將視頻內容轉換到該信道所支持的碼率上。 相應地對芯片要求同局端設備但性能要求更高。由于作為網(wǎng)關(guān)要與其它網(wǎng)絡(luò )例如分組交換網(wǎng)接口,要求芯片的外圍接口支持網(wǎng)絡(luò )總線(xiàn)例如ATM或以太網(wǎng) 機頂盒 這里的機頂盒是指在用戶(hù)端同步解碼,處理和播放幾條視頻,音頻和數據流的媒體集中播放器,有些機頂盒還支持對DVB或DVD其它MPEG數據流的編碼功能。 這里,芯片處理任務(wù)比較簡(jiǎn)單,一般就是接受數據流然后解碼或編碼,但由于是進(jìn)行流處理,并且多半是MPEG 2質(zhì)量的視頻流,所以需要處理能力較強。 IP視頻電話(huà)/視頻會(huì )議 IP視頻電話(huà)是將實(shí)時(shí)的多通道視頻集成到現有的IP語(yǔ)音電話(huà)中,視頻會(huì )議則在多點(diǎn)間實(shí)現視頻電話(huà)會(huì )議。 目前這兩種應用多采用H.263或MPEG-4,芯片要完成這兩種制式的編解碼,同時(shí)完成圖像采集處理的任務(wù),單芯片處理能力要求較強。 由于要進(jìn)行視頻采集,接口要求支持視頻輸入,要實(shí)現TCP/IP協(xié)議,則要求有以太網(wǎng)口的輸出支持。 數字視頻監控系統 數字視頻監控系統相較傳統視頻監控系統來(lái)說(shuō)是一個(gè)顯著(zhù)的飛躍,它增加了更多的智能型,例如可以進(jìn)行移動(dòng)報警,通過(guò)圖像處理方法,在監控區域發(fā)現移動(dòng)物體就報警;數字化的視頻檔案更加便于管理,例如可以通過(guò)自動(dòng)圖像分析方法來(lái)找到目的片斷,通過(guò)網(wǎng)絡(luò ),數字化信息更便于傳輸。 這里最主要的要求是可編程性,這些智能特點(diǎn)沒(méi)有可編程性不可能實(shí)現。當然,處理能力也是實(shí)現這些特點(diǎn)的保證。另外,視頻輸入和網(wǎng)口也是不可或缺的。 數字攝錄機/數碼相機 這兩領(lǐng)域是消費類(lèi)數字圖像的典型應用,一般來(lái)講,前者強調移動(dòng)圖像的攝錄,后者追求靜止圖像的高質(zhì)量。如果處理芯片的可編程性足夠強,這兩者完全可以兼顧。這可以帶來(lái)兩個(gè)好處,第一,可以開(kāi)發(fā)出平衡這兩方面需求的產(chǎn)品,既可以錄像又可以拍出高質(zhì)量的照片;第二,考慮到成本的影響,仍然開(kāi)發(fā)不同的產(chǎn)品,但可以共用一套圖像處理方案,這樣便減少了開(kāi)發(fā)的重復投資。 除了可編程性,這兩應用對芯片的要求就是低功耗,因為它們都是便攜式的。其它的要求就是對移動(dòng)存儲的支持。 個(gè)人數字視頻播放器_隨身看/點(diǎn)播機 這類(lèi)設備都是完成視頻解碼,前者更強調便攜性而后者則強調節目源的豐富。 在這里處理性能并不是第一位要考慮的,整個(gè)系統的能耗顯得更加關(guān)鍵。另一方面,要求芯片的接口比較豐富以支持LCD顯示屏,CFC或其它存儲卡,或者硬盤(pán)接口。 這些視頻應用總體上可以分為兩大類(lèi):一類(lèi)是高性能,要求多通道處理或多編碼制式,或追求高圖像質(zhì)量,同時(shí)由于技術(shù)的不斷發(fā)展,它又需要較強的可編程性支持未來(lái)的技術(shù)發(fā)展;另一類(lèi)是可便攜應用,強調的是小型化,低功耗,支持多種移動(dòng)存儲接口以及USB, 1394或其它高速總線(xiàn)。 針對應用選擇合適的芯片 上文已提到,這些應用大致上可以分為兩類(lèi),高性能和可便攜。TI針對這些市場(chǎng)都有相應的產(chǎn)品。 首先我們看一下高性能的應用。 高性能視頻應用 在這類(lèi)市場(chǎng)里,通常數據運算量極大,比如僅考慮這類(lèi)圖像運算中最基本的運算離散余弦轉換(DCT),對于單通道30幀的VGA視頻,它就需要每秒大約6千萬(wàn)次的乘加運算。這還僅是其中非常一小部分。 要完成這么艱巨的任務(wù),我們就不得不看一看TI的單核性能最強的DSP核C64x,一個(gè)主頻可以達到720MHz,峰值運算能力達到5760MIPS的32位DSP。除了這些無(wú)與倫比的主頻和通用乘加性能,C64的核更增強了對8位和16位操作的支持,而圖像領(lǐng)域絕大多數運算是在8位的基礎上。例如,C64x增加了很多專(zhuān)用指令,如SUBABS4,同一機器周期里可同時(shí)完成四次減法和求絕對值, 還有諸如BITC4,AVGx,MPYHLx,DOTP2等等。這些增強使得運動(dòng)補償平均提升達七倍,而四重8位運算則使得每時(shí)鐘周期運動(dòng)估計的8x8最小絕對差(MAD)的計算能力提高到7.6倍。這些都使以C64x為核心的DSP成為高性能視頻應用的選擇。 我們來(lái)具體看一下,例如上文提到的視頻局端設備,由于它是一局端設備,挑戰在于多路多碼率以及多制式,因而要求片上內存要大已放下足夠的多路數據和各種譯碼器,同時(shí)也需要與控制主機相連。由此TMS320C6415就是一個(gè)不二的選擇。它主頻可以跑到720MHz,有8兆位的片上內存,有PCI接口。圖一就是一個(gè)C6415為核心的局端設備框圖。 圖一,視頻局端設備 相類(lèi)似的應用還有無(wú)線(xiàn)媒體網(wǎng)關(guān)。 對于客戶(hù)端設備,用TMS320C6415就不是那么合適了。例如IP視頻網(wǎng)絡(luò )電話(huà),它通常是單路的,因而不需要太大的片上內存,但它的接口卻要求很多。例如他們一般都是直接視頻輸入輸出,或從有線(xiàn)電視或從攝像頭到LCD,又要求接以太網(wǎng)。這里,我們就需要一個(gè)內存夠用(因而便宜),支持通用視頻標準如BT656,還帶有以太網(wǎng)口的處理芯片TMS320DM642。 TMS320DM642是針對這類(lèi)客戶(hù)端市場(chǎng)的數字信號處理芯片,TI 出了一系列類(lèi)似的處理芯片,成為數字媒體(Digital Media)處理器。DM642帶有三個(gè)視頻口,均可輸入或輸出,支持BT656,百兆以太網(wǎng)口,多路音頻串口,66MHz PCI等等,可支持四路D1圖像30幀的MPEG-2的實(shí)時(shí)壓縮。以它為中心的IP視頻電話(huà)結構非常簡(jiǎn)潔,如圖二 圖二 IP視頻電話(huà)方案 相類(lèi)似的高性能視頻應用還有機頂盒、數字視頻播放器/點(diǎn)播機和網(wǎng)絡(luò )相機/監控系統,它們都可以以DM642為中心將上各自特需的硬件,形成不同的應用。這也最大程度上發(fā)揮了開(kāi)發(fā)投資的價(jià)值,一套方案上的經(jīng)驗可以為其它所有方案利用。 可便攜設備的視頻應用 這類(lèi)設備中最典型的應用就是數字攝錄機/數碼相機,除了共有的視頻圖像處理外,它們最大的考慮就是功耗。這些都是電池驅動(dòng)的,因而能量消耗必須有所限制。這種情況下C64x核的處理芯片就很不合適,如一顆C6415跑在600MHz時(shí)功耗超過(guò)1瓦。 幸好TI在功耗上很有研究,她的C5000是專(zhuān)門(mén)針對低功耗計算市場(chǎng)的,特別是C55x,創(chuàng )造了業(yè)界耗電最低紀錄,0.22mW每MIPS!C55x功耗低,性能也不差,它具有雙MAC雙ALU結構,200MHz的主頻可以達到400MIPS的處理能力!低功耗高性能使得C55x系列DSP成為便攜式消費類(lèi)電子的最佳選擇。 對于我們今天談到的視頻圖像應用更重要的是TI 有系列專(zhuān)門(mén)針對便攜媒體市場(chǎng)的處理芯片。 TMS320DSC21/DSC25/DM270/DM310,這系列芯片的共同特點(diǎn)都是雙核結構RISC的MCU核加上C5000的DSP核。運算主要有DSP完成,同時(shí)針對圖像處理使用了硬件加速。所有這些芯片都有圖像擴展協(xié)處理器iMX 和變長(cháng)編解碼協(xié)處理器VLCD,除了DSC21外都有量化反量化協(xié)處理器QIQ。其中iMX是多個(gè)并行乘加器來(lái)加速那些運算量極大的圖像處理算法,例如DCT運算。VLCD是用來(lái)進(jìn)行Huffman編解碼的,它DSP從不停的跳轉中解脫出來(lái)。QIQ則是進(jìn)行量化和反量化,由于量化是執行除法運算,DSP沒(méi)有專(zhuān)門(mén)的除法指令,只能用移位指令實(shí)現,相當耗資源。 有了這些協(xié)處理器,DM系列芯片的處理能力也向當地強,例如DM310可以實(shí)現D1圖像(720x480)30幀每秒的實(shí)時(shí)MPEG-4編解碼。 圖三,數碼相機 圖三即為一個(gè)DM310為基礎的系統。 芯片之外 看到這里,大家可以看到,這些應用都有一些共同點(diǎn),也會(huì )自然而然地想到,不同的客戶(hù)用同一套芯片開(kāi)發(fā)同一種應用會(huì )不會(huì )造出同樣的東西?這點(diǎn)勿須擔心,DSP充分的可編程性是差異化的保證。同時(shí)為了更好地集中于差異化,那些標準件,如各種碼制的編解碼器,也可以同第三方獲得。TI圍繞DSP完備而成熟的開(kāi)發(fā)環(huán)境也是縮短開(kāi)發(fā)周期迅速占領(lǐng)市場(chǎng)的保證。 |