|
視頻監控子系統是現代智能機器人設計中必不可少的一個(gè)部分，它需要采用DSP并根據某種算法對攝入的圖像進(jìn)行處理和分析，它也需要采用ARM處理器對DSP進(jìn)行協(xié)同管理和控制工作，目前開(kāi)發(fā)工程師碰到的一個(gè)最大設計挑戰是：如何最高效率地實(shí)現ARM和DSP或協(xié)處理器的通信和協(xié)同工作？本文將詳細為您介紹解決這一技術(shù)挑戰的解決方案和實(shí)現指南。 德州儀器（TI）的第一顆達芬奇（DaVinci）芯片（處理器）DM6?46已經(jīng)問(wèn)世快三年了。繼DM6?4x之后，TI又陸續推出了DM6?3x、DM35x、DM6?67、OMAP353x等一系列 ARM＋DSP或ARM＋視頻協(xié)處理器的多媒體處理器平臺。很多有很強DSP開(kāi)發(fā)經(jīng)驗或ARM開(kāi)發(fā)經(jīng)驗的工程師都轉到達芬奇或通用 OMAP（OMAP353x）平臺上開(kāi)發(fā)視頻監控、視頻會(huì )議及便攜式多媒體終端等產(chǎn)品。大家都面臨著(zhù)同一個(gè)問(wèn)題，那就是如何實(shí)現ARM和DSP或協(xié)處理器的通信和協(xié)同工作？TI的數字視頻軟件開(kāi)發(fā)包（DVSDK）提供了Codec Engine這樣一個(gè)軟件模塊來(lái)實(shí)現ARM和DSP或協(xié)處理器的協(xié)同工作。有很多工程師反饋這個(gè)軟件模塊非常好用，節省了很多開(kāi)發(fā)時(shí)間，也有工程師認為 TI提供的資料太多，不知如何快速上手。本文將從一個(gè)第一次接觸Codec Engine的工程師角度出發(fā)，歸納TI提供的相關(guān)資源（文檔，例程和網(wǎng)絡(luò )資源），并介紹相關(guān)開(kāi)發(fā)調試方法幫您快速入門(mén)Codec Engine。 1．Codec Engine概述 如圖1所示，Codec Engine是連接ARM和DSP或協(xié)處理器的橋梁，是介于應用層（ARM側的應用程序）和信號處理層（DSP側的算法）之間的軟件模塊。ARM應用程序調用Codec Engine的VISA （Video, Image, Speech, Audio）API，如圖1中VIDENC_process(a, b, c )。Codec Engine的stub （ARM側）會(huì )把參數a, b, c以及要調用DSP側process這個(gè)信息打包，通過(guò)消息隊列（message queue）傳遞到DSP。Codec Engine的skeleton（DSP側）會(huì )解開(kāi)這個(gè)參數包，把參數a, b, c轉換成DSP側對應的參數x, y, z（比如ARM側傳遞的是虛擬地址，而DSP只能認物理地址），DSP側的server（優(yōu)先級較低，負責和ARM通信的任務(wù)）會(huì )根據process這一信息創(chuàng )建一個(gè)DSP側的process(x, y, x)任務(wù)最終實(shí)現VIDENC_process(a, b, c)的操作。 
圖1 達芬奇軟件結構框圖 2. Codec Engine入門(mén)第一步 有些初學(xué)者認為Codec Engine文件包結構復雜，很難找到自己想找的文檔或例子。其實(shí)在Codec Engine文件包的根目下有一個(gè)發(fā)布說(shuō)明文檔，比如Codec Engine 1.20 根目錄下的release_notes_codec_engine_1_20.html。這個(gè)文檔就是你了解Codec Engine的開(kāi)始，里面有關(guān)于該版本Codec Engine的介紹、相關(guān)文檔資料的鏈接、新的功能、支持哪些芯片、已知的bug、修正了哪些bug及例子等等的具體說(shuō)明。具體如圖2藍色字體所示。瀏覽該文檔后，初學(xué)者至少可以知道哪里可以找到自己想要的文檔或例子。舉例來(lái)說(shuō)，如果想找相關(guān)的文檔，點(diǎn)擊 Documentation就可以看到這個(gè)Codec Engine文件包里的文檔的鏈接。
圖2 Codec Engine 1.20 Release Notes截圖 3．Codec Engine入門(mén)第二步 點(diǎn)擊Codec Engine的發(fā)布說(shuō)明文檔 （如圖2）的Validation Info，我們可以知道Codec Engine 1.20需要和以下軟件模塊和工具配合使用： * Framework Components 1.20.02 * xDAIS 5.21 * XDC Tools 2.93.01 * DSP/BIOS Link 1.40.05, configured for the DM6?46 EVM * C6x Code Generation Tools version 6.0.8 * DSP/BIOS 5.31.05 * MontaVista Linux v4.0 * Red Hat Enterprise Linux 3 (SMP) 因此，我們需要在該Codec Engine安裝的DVSDK文件包下面檢查上面提到的軟件模塊和工具是否安裝，版本是否正確。否則，可能會(huì )編譯不過(guò) Codec Engine的例子。那么，什么是 Framework Components，什么是xDAIS，什么又是XDC Tools呢？你可以分別到它們的根目錄下瀏覽它們各自的發(fā)布說(shuō)明文檔，做一個(gè)總體的了解。 這里我們簡(jiǎn)單介紹一下，可以幫助大家盡快找到和自己相關(guān)的重點(diǎn)及資源。 1）Framework Components是TI提供的一個(gè)軟件模塊，負責DSP側的memory 和DMA資源管理。因此，DSP算法工程師需要了解這個(gè)軟件模塊。http://tiexpressdsp.com/wiki /index.php?title=Framework_Components_FAQ 2）xDAIS 是一個(gè)標準，它定義了TI DSP算法接口的標準。這樣大大提高了DSP算法軟件的通用性。DSP算法工程師要寫(xiě)出能被ARM通過(guò)Codec Engine調用的算法，必須保證自己的算法接口符合這個(gè)標準。因此，DSP算法工程師也必須了解這個(gè)軟件模塊。 http://tiexpressdsp.com/wiki/index.php?title=Category:XDAIS 3）XDC Tools和gmake類(lèi)似，是一個(gè)工具。XDC根據用戶(hù)定義的一套build指令，通過(guò)調用用戶(hù)指定的ARM 工具鏈（Tool Chain）和DSP編譯器（C6x Code Generation Tools ）build出ARM側和DSP側的可執行文件�？梢韵炔槐丶毦窟@個(gè)工具，只需通過(guò)編Codec Engine的例子，知道如何設置build指令就可以了。 4）DSP/BIOS Link是實(shí)現ARM和DSP之間通信的底層軟件，Codec Engine就是建立在這個(gè)底層軟件之上。在修改系統內存分配（缺省是256MB的DDR2）時(shí)，DSP/BIOS Link 1.38版本的用戶(hù)需要修改DSP/BIOS Link的配置文件，并重新build DSP/BIOS Link。而DSP/BIOS Link 1.40版本以后的用戶(hù)就無(wú)需此操作。http://tiexpressdsp.com/wiki /index.php?title=DSPLink_Overview http://wiki.davincidsp.com/index.php?title=Changing_the_DVEVM_memory_map 5）C6x Code Generation Tools是Linux環(huán)境下C6000系列DSP的編譯器。我們用CCS開(kāi)發(fā)DSP時(shí)都是用的Windows環(huán)境下的DSP編譯器。 6）DSP/BIOS 是TI 免費提供的DSP實(shí)時(shí)操作系統。和上面C6x Code Generation Tools一樣，這里的DSP/BIOS也是Linux環(huán)境下的版本。DSP系統工程師需要了解這個(gè)操作系統。http: //tiexpressdsp.com/wiki/index.php?title=Category  SPBIOS 4. Codec Engine入門(mén)第三步 開(kāi)發(fā)ARM＋DSP平臺需要三類(lèi)工程師：ARM應用程序工程師、DSP算法工程師和DSP系統工程師。而開(kāi)發(fā)ARM＋協(xié)處理器平臺只需要ARM應用程序工程師。下面就讓我們針對這三類(lèi)工程師做分別介紹。如果您使用的是TI或TI第三方的編解碼算法，就不需要關(guān)注DSP算法工程師的部分。如果使用ARM＋協(xié)處理器平臺，就只需關(guān)心ARM應用工程師的部分。 4．1 DSP算法工程師應該如何著(zhù)手？ 這里我們不討論如何開(kāi)發(fā)DSP算法，只討論DSP算法工程師怎樣讓自己的算法可以被ARM通過(guò)Codec Engine調用。（參考http://www.ti.com/litv/pdf/sprued6c，這個(gè)文檔會(huì )講到codec package及相關(guān)的.xs和.xdc文件，Codec Engine1.20及以上版本的用戶(hù)可以先不細究這些內容，后面會(huì )介紹工具幫您自動(dòng)生成這些文件。） 1）熟悉xDAIS和xDM標準。 xDM 只是xDAIS的擴展，因此，需要先了解xDAIS。在xDAIS 軟件包根目錄下的發(fā)布說(shuō)明文檔里，可以很快找到關(guān)于xDAIS和xDM的文檔鏈接。http://focus.ti.com/lit/ug /spruec8b/spruec8b.pdf 在xDAIS安裝路徑下的examples/ti/xdais/dm/examples /g711有一個(gè)g711_sun_internal.c，這個(gè)算法不符合x(chóng)DAIS標準。在同一個(gè)路徑下的g711dec_sun_ialg.c (decoder)和g711enc_sun_ialg.c (encoder)是封裝成符合x(chóng)DM標準之后的編解碼算法�？梢酝ㄟ^(guò)這個(gè)例子學(xué)習和了解如何把自己算法封裝成符合x(chóng)DM標準的算法。 xDAIS 6.10及其以后的版本，包含了一個(gè)工具QualiTI，可以檢查您的DSP算法是否滿(mǎn)足xDAIS標準（但不會(huì )檢查是否滿(mǎn)足xDM）。具體請參考：http://tiexpressdsp.com/wiki /index.php?title=QualiTI_XDAIS_Compliance_Tool 2）熟悉 Framework Components。 Framework Components主要包括兩個(gè)模塊DSKT2和DMAN3，它們分別負責DSP側的memory 和EDMA資源管理。DSP算法使用的memory必須是先向DSKT2提出申請并由DSKT2分配得到的。同樣DSP算法使用的EDMA通道也是向 DMAN3申請并由DMAN3分配得到的。而關(guān)于QDMA的操作，是通過(guò)ACPY3這個(gè)模塊實(shí)現的。這樣的好處是很容易對DSP側不同的算法做整合，不同的算法之間不用擔心資源（Memory和EDMA）的沖突問(wèn)題。 在Framework Components 軟件包根目錄下的發(fā)布說(shuō)明文檔里，可以很快找到相關(guān)文檔的鏈接。在Framework Components安裝路徑下packages\ti\sdo\fc\dman3\examples有一個(gè)Fast Copy的例子，可以幫您理解如何基于Framework Components的ACPY3模塊實(shí)現QDMA的操作。 另外，有些用戶(hù) DSP側的算法比較簡(jiǎn)單，在確保不和ARM側EDMA資源沖突的前提下在算法里直接操作EDMA不使用DMAN3也是可以的。這樣做的弊端是和其它算法做整合時(shí)會(huì )遇到資源使用沖突的問(wèn)題。 4．2 DSP系統工程師應該如何著(zhù)手？ 通常DSP算法工程師都會(huì )把自己的符合x(chóng)DM標準算法編成一個(gè).lib文件（或 .a6?P），供DSP系統工程師調用。DSP系統工程師最終build出一個(gè)DSP Server（也就是DSP的可執行程序.x6?P，和CCS下編譯生成的.out類(lèi)似）。（參考http://focus.ti.com/lit/ug /sprued5b/sprued5b.pdf，這個(gè)文檔會(huì )講到.xdc和.bld等文件，Codec Engine1.20及以上版本的用戶(hù)可以先不細究，后面介紹工具幫您自動(dòng)生成這些文件。） 1）如果現在有一個(gè).lib文件（或 .a6?P）（算法必須符合x(chóng)DM標準），如何生成自己的DSP Server呢？下面URL有詳細的關(guān)于RTSC Codec and Server Package Wizard工具介紹，教您如何把一個(gè).lib文件封裝成RTSC Codec 包和RTSC DSP Server包，并最終build出DSP的可執行程序.x6?P。http://wiki.davincidsp.com /index.php?title=RTSC_Codec_And_Server_Package_Wizards http://wiki.davincidsp.com/index ... work_with_the_DVSDK 2）如果您使用的是Codec Engine 1.20以前的版本，請參考Codec Engine安裝路徑下examples/servers/video_copy這個(gè)例子。這時(shí)就需要搞清楚sprued6c.pdf和 sprued5b.pdf中提到的.xdc和.xs等文件的功能，也可以在video_copy中的相關(guān)文件的基礎上修改手動(dòng)創(chuàng )建出自己的RTSC Codec包和RTSC DSP server包。 3）創(chuàng )建好RTSC Codec 和RTSC DSP Server包之后，就是如何build出.x6?P的問(wèn)題了。點(diǎn)擊圖2所示的Examples，就可以找到build Codec Engine例子的說(shuō)明文檔的鏈接。按照這個(gè)文檔做一遍后，就可以對如何build Codec Server有一個(gè)清楚的了解。其中關(guān)鍵是修改user.bld和xdcpaths.mak文件，設置Codec Engine依賴(lài)的其它軟件模塊和工具的正確路徑。 4）如果自己的硬件DDR2大小和例子中的256Mbytes不一致，需要修改DSP的.tcf文件和其他配置。還有些工程師不清楚如何分配memory及如何決定具體段，如：DDRALGHEAP和DDR的大小，以及如何配置./loadmodules里的參數都請參考: http://wiki.davincidsp.com /index.php?title=Changing_the_DVEVM_memory_map。 4．3 ARM應用程序工程師應該如何著(zhù)手？ ARM應用工程師需要調用Codec Engine的VISA API，最終編出ARM側的可執行程序，因此，必須根據自己的應用學(xué)習相關(guān)的VISA API、如何創(chuàng )建應用側Codec Engine的package及配置文件。（參考http://focus.ti.com/lit/ug/sprue67d/sprue67d.pdf，這個(gè)文檔也涉及到如何調試Codec Engine的內容）。 1）了解ARM應用程序調用Codec Engine的流程、VISA API和其他Codec Engine API�？梢詤⒖糃odec Engine安裝路徑下examples/apps/video_copy的例子（較簡(jiǎn)單）或者DVSDK安裝路徑下demos里的encode /decode/encodedecode例子（較復雜）。http://wiki.davincidsp.com /index.php?title=Configuring_Codec_Engine_in_Arm_apps_with_createFromServer 2）了解ceapp.cfg文件。sprue67d.pdf有相關(guān)介紹，可以先讀懂examples/apps /video_copy/ceapp.cfg。 3）用4.2 3)中提到的方法學(xué)習如何build ARM側的可執行程序。 4）如何在多線(xiàn)程中調用codec engine，參考：http://wiki.davincidsp.com /index.php?title=Multiple_Threads_using_Codec_Engine_Handle 5）還可以參考以下三個(gè)文檔了解更多TI demo的ARM應用程序的結構、線(xiàn)程調度等具體的問(wèn)題。 EncodeDecode Demo for the DaVinci DVEVM/DVSDK 1.2 (Rev. A) (spraah0a.htm, 8 KB) 27 Jun 2007 Abstract Encode Demo for the DaVinci DVEVM/DVSDK 1.2 (Rev. A) (spraa96a.htm, 8 KB) 27 Jun 2007 Abstract Decode Demo for the DaVinci DVEVM/DVSDK 1.2 (Rev. A) (spraag9a.htm, 8 KB) 27 Jun 2007 Abstract 5．使用中常碰到的問(wèn)題 1）如果遇到問(wèn)題可以先訪(fǎng)問(wèn)http://wiki.davincidsp.com /index.php?title=Codec_Engine_FAQ。 2）有些工程師沒(méi)有DSP開(kāi)發(fā)經(jīng)驗，或者暫時(shí)沒(méi)有仿真器通過(guò)JTAG調試DSP�？梢詤⒖枷旅婢W(wǎng)頁(yè)的內容，先做一個(gè)“Hello World”的例程對ARM和DSP如何協(xié)同工作有個(gè)感性認識。http://wiki.davincidsp.com /index.php?title=How_to_build_an_ARM/DSP_Hello_World_program_on_the_DaVinci_EVM 3）很多工程師都是參考video_copy的例子，在它的基礎上把自己的算法加進(jìn)去。因為有源代碼，這樣比較容易。但肯定要根據自己算法的需要修改ARM和DSP之間傳遞的buffer和參數，重要的是先保證ARM側的應用程序可以把buffer和參數正確傳遞到DSP，DSP可以把處理之后的buffer正確的傳到ARM側的應用程序。把這個(gè)通路打通之后，就比較容易定位問(wèn)題是出在A(yíng)RM應用程序還是DSP側的算法。另外，參考 video_copy例子時(shí)注意代碼的注釋?zhuān)员闱宄囊痪浯a可以刪掉哪一句必須要修改或保留。如果要擴展xDM的數據結構請參考：http://wiki.davincidsp.com /index.php?title=Extending_data_structures_in_xDM。 4）Codec Engine DSP側會(huì )涉及到Cache一致性的問(wèn)題。請參考：http://wiki.davincidsp.com /index.php?title=Cache_Management 5）關(guān)于Codec Engine系統調試，有以下幾種方法： A.打開(kāi)Codec Engine trace，通過(guò)打印信息看問(wèn)題出在什么地方。比如engine_open失敗，DSP側不能創(chuàng )建codec 等等。 a)Codec Engine 2.0及以上版本，請參考：http://wiki.davincidsp.com/index ... g_Feature_in_CE_2.0 b)Codec Engine 1.x版本，請參考：http://wiki.davincidsp.com/index.php?title=TraceUtil B.ARM 應用程序跑起來(lái)后，用仿真器連上CCS調試DSP側程序，參考：http://wiki.davincidsp.com /index.php?title=Debugging_the_DSP_side_of_a_CE_application_on_DaVinci_using_CCS C.用Soc Analyzer可以做系統調試之外，還可以統計具體函數運行（ARM和DSP側）時(shí)間（benchmark）。請參考：http://tiexpressdsp.com/wiki/index.php?title=SoC_Analyzer 6）因為Codec Engine是介于A(yíng)RM 應用程序和編解碼算法中間的軟件模塊，很多工程師非常想知道它的開(kāi)銷(xiāo)(overhead)，請參考：http://wiki.davincidsp.com/index.php?title=Codec_Engine_Overhead 7）如何在Linux環(huán)境下編DSP的匯編或線(xiàn)性匯編程序？ 在Codec Engine安裝路徑下/packages/config.bld文件里 var C6?P = xdc.useModule(‘ti.targets.C6?P’); 之后添加： C6?P.extensions[“.sa”] = { suf: “.sa”, typ: “asm:-fl” } 或 C6?P.extensions[“.asm”] = { suf: “.asm”, typ: “asm:-fa” } 8）DSP側如何統計具體函數運行時(shí)間？ TI DSPC6?x+內核有一個(gè)6?位的硬件定時(shí)器（Time Stamp Counter），它的頻率和CPU頻率一致。最簡(jiǎn)單的辦法是使用TSC的低32位TSCL。注意在DM6?4x中，TSCH用于A(yíng)RM。 #include void main (){ … TSCL=0; … t1=TSCL; my_code_to_benchmark(); t2=TSCL; printf(“# cycles == %d\n”, (t2-t1)); } 6．結語(yǔ) 以上針對如何上手TI的Codec Engine做了簡(jiǎn)單的歸納，還有很多具體細節的問(wèn)題沒(méi)有涉及到。還請各位工程師從自己要用的軟件模塊發(fā)布說(shuō)明文檔開(kāi)始找到相關(guān)的文檔并研究。經(jīng)常訪(fǎng)問(wèn) TI的網(wǎng)頁(yè)，http://wiki.davincidsp.com和http://tiexpressdsp.com/wiki找到最新的信息和資料。也非常歡迎您在wiki上提問(wèn)。 作者：德州儀器半導體技術(shù)（上海）有限公司 通用DSP 技術(shù)應用工程師 崔晶 |
