|
隨著(zhù)MPEG-4應用的普及, 符合MPEG-4標準的視頻在手持設備上的應用越來(lái)越廣泛, SoC技術(shù)可以在完成其它功能的同時(shí), 在手持設備上低成本低功耗的實(shí)現MPEG-4視頻解碼。而基于SoC的解碼方案可以有多種, 例如采用CPU 內核軟件解碼,也可引入DSP核, 或者設計專(zhuān)用的硬件加速電路。但是, 軟件解碼在系統繁忙時(shí)難以滿(mǎn)足實(shí)時(shí)性要求,引入DSP核會(huì )使SoC的芯片成本大為增加, 所以本文將MPEG-4的解碼電路作為SoC芯片中的一個(gè)硬件加速模塊來(lái)實(shí)現。 在手持設備應用中, MPEG-4 視頻簡(jiǎn)單層(Simple Profile) 最為常用, 而其中計算量最大的部分是反離散余弦變換( Inverse Discrete CosineTransform ) , 所以反離散余弦變換的實(shí)現是加速MPEG-4 解碼的關(guān)鍵。有很多優(yōu)秀的設計專(zhuān)門(mén)以處理IDCT為目標.本文描述的MPEG-4解碼加速器基于A(yíng)MBA 總線(xiàn), 作為高速總線(xiàn)(AHB) 上的一個(gè)主設備, 對四個(gè)亮度塊(block) 和兩個(gè)色差塊組成的宏塊(macrob lock) 一起做IDCT 運算, 并根據配置完成IDCT前的反量化和IDCT后運動(dòng)補償的圖像疊加, 最終將結果寫(xiě)回顯存。整個(gè)過(guò)程高度并行處理。 本文第1部分主要介紹IDCT快速算法的選擇和優(yōu)化, 第2部分討論硬件結構和設計技巧, 第3部分介紹仿真驗證和綜合結果。 1 二維DCT?IDCT 算法描述及快速算法的選擇和優(yōu)化 1.1 算法描述 對于輸入矩陣f (x , y ) {0≤i, j2次乘法, 一個(gè)塊有N2 個(gè)象素點(diǎn), 總共需要N4 次乘法計算, 因此計算量相當大�！ � 1.2 快速算法的選擇 二維IDCT 可以寫(xiě)成: 上式括號內是對F (u, v ) 的一行作一維IDCT 變換, 括號外是對行IDCT 的結果做一維列IDCT變換。如不考慮系數2/N , 二維的IDCT 就分解為對矩陣F (u, v ) 先做行IDCT 再做列IDCT 的2N 次一維IDCT 變換。(本文中取N = 8)。 對于一維IDCT 有許多優(yōu)秀的快速算法。其中一種是將IDCT 原始的變換矩陣分解成幾個(gè)利于計算的變換矩陣, 然后逐步計算。還有一種是利用了IDCT的奇偶對稱(chēng)性以及余弦函數的和差化積性質(zhì)最大程度的共用乘法器。雖然后一種的乘法次數為12次, 少于前一種的16次,但由于前一種的乘法集中在輸入附近, 也就是說(shuō)絕大部分乘法的其中一個(gè)乘數是輸入F(k ) , 因而可以通過(guò)提前判斷輸入F(k ) 中是否有較多的0 元素從而直接跳過(guò)一部分的乘加運算, 達到加速的目的。MPEG-4 解碼的IDCT 輸入中, 有大量的0, 所以前一種的算法更有利于MPEG-4 解碼。其算法流程如圖1。 圖1 chen 算法流程Ci= cos( iπ/16) 1.3 算法的優(yōu)化 1.3.1 長(cháng)乘法的處理 在圖1的虛線(xiàn)中, 前一級乘加運算的結果要與C4相乘, 如果輸入數據F(k ) 和系數Ci都是16位數據, 為了保證精度就要使用32 位乘16 位的乘法器,這必然成為整個(gè)電路中的關(guān)鍵路徑, 影響其性能。若用下面的式(4) 對虛線(xiàn)內的條路徑做變換, 雖然增加了乘法數目, 但是不僅去除掉32 位乘16 位的乘法器, 而且有利于下文將要提及的OnlyDC 和Halfzero情況的加速。 變換后的虛線(xiàn)內的算法流程如圖2 所示。 圖2 chen 算法變換Ci= cos( iπ/16) 1.31. OnlyDC 和Halfzero 本文將F(k )分為三種情況: (1) F(k )只有F(0)為非零數據, 我們稱(chēng)這種情況為OnlyDC; (2) F(k )中F(0) , F(1) , F(2) 和F(3) 為非零數據, 其他四個(gè)數據都為零, 這種情況稱(chēng)為Halfzero; (3) 其它情況都歸入普通情況。我們用軟件直接解碼的方法對典型素材作了統計(見(jiàn)表1) , 發(fā)現OnlyDC 和Halfzero的情況占了很大比例, 加速這兩種情況的計算對加速整個(gè)視頻解碼的IDCT 運算有重要意義。 由一維IDCT 式(5) 可以看出, 對于OnlyDC 情況, f ( i) 就是F (0)/1.414 。 其中c (0) =1/1.414 ,c ( i) = 1, i= 1, 2....N - 1。如果我們把每次行和列的一維IDCT 結果放大2 倍得到f ′( i) , 對于 OnlyDC, F(0) 就是f ′( i) , 不需任何計算。這樣兩次一維IDCT 運算后得到的結果f ′(x , y ) 將為f (x , y ) 的2 倍, 故只要將f ′(x , y ) 右移一位就可以得到正確的f (x , y )。由圖1 和圖2 可以看出, 在所有的F (k ) 到f ( i) 的計算路徑上, 都出現了且僅出現一次F (k ) 乘Ci, 這樣我們對常數Ci 取值時(shí)直接取2cos( iπ/16), 就達到了將一維IDCT結果放大1.414倍的目的。 對于Halfzero 的情況, 可簡(jiǎn)化圖1 和圖2 中的F(4)、F (5)、F (6)、F (7) 的相關(guān)路徑, 得到Halfzero 的算法流程(如圖3)。此時(shí)時(shí)乘法總數為10 次。 圖3 Halfzero 的算法流程 其中Ci = 2cos( iπ/16) 對于一般的情況, 根據圖1 和圖2 的流程計算,取C i = 2cos( iπ/16) 。乘法總數22 次。 2 硬件結構和設計技巧 2.1 整體結構的選擇 MPEG-4 加速器的的整體框圖如圖4 所示。其中slave 模塊負責模式配置, 接收數據, 反量化并判斷OnlyDC 和Halfzero。寫(xiě)向slave 的數據經(jīng)過(guò)反量化操作后進(jìn)入Xmem。MPEG-4 加速器的Cont rol模塊控制整個(gè)解碼流程。Idct8x1從Xmem 中讀出原數據做一維IDCT 并寫(xiě)回Xmem。 由于Xmem 的帶寬限制IDCT 8x1只使用兩個(gè)乘法器, 把乘法排列緊湊后, 普通情況一維IDCT 需要20個(gè)周期, Halfzero 需要14個(gè)周期。Master 負責取運動(dòng)補償圖像數據, 并在完成IDCT 變換和疊加后將結果放回顯存。每次數據寫(xiě)回顯存后, Control 模塊會(huì )將Xmem 清零, 這樣下次解碼操作只需將非零數據寫(xiě)入Xmem , 減少了數據的寫(xiě)入時(shí)間。 雙端口片上存儲器Xmem 負責存放IDCT 的中間數據和計算結果, 其中數據通過(guò)A端口進(jìn)行IDCT 變換, IDCT 結果通過(guò)B 端口進(jìn)行疊加, IDCT 計算和運動(dòng)補償疊加可以通過(guò)A、B 兩個(gè)端口并行處理。單端口Ymem 負責存放MA STER取回的運動(dòng)補償數據。Xmem 和Ymem 是零等待的片上存儲器, 而且在外部總線(xiàn)上是可見(jiàn)的, 所以在MPEG-4 加速器不使用時(shí), 它們還可以作為整個(gè)芯片高速的緩沖區使用。 圖4 M PEG-4 加速器的整體框圖 2.2 OnlyDC 情況的處理 在進(jìn)行二維IDCT 的行變換時(shí), 一般情況和Halfzero情況都會(huì )向Xmem 寫(xiě)回8個(gè)計算結果; 如果是OnlyDC 則不對Xm em 做任何讀寫(xiě), 所以在做列IDCT時(shí)必須對idct8x1 發(fā)出的地址進(jìn)行重新映射, 使其指向這一行的第一個(gè)數據。如圖5 所示,IDCT發(fā)出的地址指向當前要進(jìn)行IDCT變換的列中的數據, Control 模塊中的Address Remap 邏輯會(huì )根據On lyDC 狀態(tài)將地址轉換為指向第一列的有效數據。對于列IDCT 我們直接按照一般情況計算。 圖5 地址重映射 3 仿真驗證和性能分析 本文的設計流程是首先確定IDCT算法, 并用其C語(yǔ)言描述作為設計規范。然后根據設計規范用verilog RTL 描述硬件, 用verisity公司(已被Cadence公司收購)的E語(yǔ)言搭建驗證環(huán)境, 并將C語(yǔ)言的設計規范嵌入E驗證環(huán)境中, 通過(guò)E語(yǔ)言產(chǎn)生隨機激勵, 同時(shí)發(fā)給verilogRTL和C設計規范, 并將兩者的結果作比較。這樣既保證了硬件實(shí)現和C設計規范完全一致, 又通過(guò)C設范的重用縮短了驗證周期。 我們使用SYNOPSYS 的Design Compiler 對本設計進(jìn)行了綜合, 綜合采用SMIC的0.8um的標準單元庫。結果顯示本設計的關(guān)鍵路徑在反量化處, 因為此處直接使用了一次乘加操作。表3給出了本設計的特性。本設計完成更多解碼功能, 主頻更高, 乘法器更少, 而且引入了可與系統復用的片上內存。 我們分I幀和非I幀兩種情況分析本設計的處理時(shí)間。在處理I 幀時(shí)要進(jìn)行反量化, 不需要運動(dòng)補償疊加。由于反量化是在數據輸入的同時(shí)進(jìn)行的, 所以處理時(shí)間由非零值的寫(xiě)入時(shí)間Tinput , IDCT 計算間Tidct和寫(xiě)回顯存的時(shí)間Toutput三部分組成。這三部分如圖6 (a) 所示的并行處理。在處理非I 幀時(shí), IDCT的結果需要與運動(dòng)補償的結果疊加, 所以處理時(shí)間時(shí)由非零值的寫(xiě)入時(shí)間Tinput , IDCT 計算時(shí)間Tidct,取運動(dòng)補償數據時(shí)間Tfetch , 疊加并寫(xiě)回顯存的時(shí)間Toutput四部分組成。如圖6 (b) 所示的并行處理。 (a)I 幀處理時(shí)間 (b) 非I 幀處理時(shí)間 圖6 處理時(shí)間 其中取運動(dòng)補償的結果和最后寫(xiě)回現存都要占用總線(xiàn)接口, 所以要依次進(jìn)行。從這兩幅圖可以看出, 并行處理使得這兩種情況總的處理時(shí)間是相同的。以行IDCT一般情況15% ,OnlyDC情況70% , Halfzero情況10% 計算, 一個(gè)block 的IDCT 所需的周期Tidct為： T idct = (0 × 70%+ 14 × 10%+ 20 × 20% ) × 8 + 20 × 8 = 203.2 (個(gè)周期) 如不考慮回寫(xiě)時(shí)由顯存造成的延時(shí),M PEG24加速器處理的處理時(shí)間T 為： T = Tinput + 6 × Tidct + Toutput = 6 × 64 × 15%+ 6 × 203 + 64 = 1340.8 (周期/宏塊) 4 結論 本文給出了一種應用于嵌入式系統芯片的MPEG-4 解碼加速模塊。本設計面向MPEG-4 簡(jiǎn)單層, 將四個(gè)亮度塊和兩個(gè)色差塊一起并行處理, 使流水線(xiàn)更加緊湊; 由于內部存儲器的帶寬有限, 我們只使用兩個(gè)乘法器完成IDCT , 并使用較小面積的代價(jià)將于IDCT密切相關(guān)的反量化和運動(dòng)補償疊加一起實(shí)現, 這樣進(jìn)一步減少了數據在總線(xiàn)上的傳輸, 更有利于提高速度和減小功耗。本設計在以北京大學(xué)微處理器研究中心UN ITY-1為內核的SoC-UN ITY805+ 中, 已經(jīng)得到應用。實(shí)驗表明可以實(shí)現MPEG-4簡(jiǎn)單層CIF格式的視頻解碼。 |
