|
作者：缐曉林 游向東 潘力 北京郵電大學(xué)信息與通信工程學(xué)院 2009-09-08 來(lái)源:電子產(chǎn)品世界 前言 隨著(zhù)因特網(wǎng)的發(fā)展成熟、用戶(hù)需求的增長(cháng)以及宏觀(guān)環(huán)境變暖等條件的刺激，基于網(wǎng)絡(luò )的音視頻通信行業(yè)迅速發(fā)展起來(lái)。本文介紹基于Freescale公司i.MX27硬件平臺，基于SIP(初始會(huì )話(huà)協(xié)議)協(xié)議的網(wǎng)絡(luò )視傳機的設計與實(shí)現。 視傳機的軟硬件技術(shù)基礎 i.MX27 將視頻編解碼功能嵌入到多媒體應用處理器中已經(jīng)成為一個(gè)趨勢。Freescale DragonBall家族最新成員i.MX27多媒體應用處理器，片內集成H.264/MPEG4全雙工硬件編解碼視頻處理單元，是嵌入式多媒體應用處理器的一顆新星，可廣泛應用于多種產(chǎn)品中。i.MX27處理器內部的硬件編解碼模塊性能強勁,可以達到H.264/MPEG4編解碼D1分辨率：720×576@25fps;720×480@30fps;全雙工編解碼同時(shí)進(jìn)行可以達到VGA分辨率：640×480@30fps。 SIP協(xié)議 SIP是由IETF(國際互聯(lián)網(wǎng)標準制定組織)制定的面向 Internet 會(huì )議和電話(huà)的信令協(xié)議。SIP是一個(gè)應用層的協(xié)議，可以建立，修改或者中止多媒體會(huì )話(huà)或者呼叫。它是一個(gè)基于A(yíng)SCII的端到端的協(xié)議，它實(shí)際上是在因特網(wǎng)上提供“約會(huì )”服務(wù)。用來(lái)實(shí)現VoIP的開(kāi)放協(xié)議，最常用的有三種，SIP、MGCP(Media Gateway Control Protocol)和H.323。 SIP協(xié)議是專(zhuān)門(mén)為IP 電話(huà)，尤其是結合Internet設計的協(xié)議，同傳統的H.323協(xié)議相比，SIP 擁有明顯的優(yōu)越性：優(yōu)異的可擴展性，大大提高了系統的處理能力;與 Internet 緊密結合，使通訊更加輕松便捷的;卓越的開(kāi)放性，不僅能夠對手機、 PDA 等移動(dòng)設備提供良好的支持，對于在線(xiàn)即時(shí)交流、語(yǔ)音和視頻數據傳輸等多媒體應用也能夠很好地完成。 SIP協(xié)議支持5方面的能力：用戶(hù)定位、用戶(hù)可用性、用戶(hù)能力、會(huì )話(huà)建立、會(huì )話(huà)管理。SIP協(xié)議本身不提供業(yè)務(wù)，但是它提供業(yè)務(wù)支持的基礎。SIP協(xié)議本身也不提供會(huì )議控制，但是SIP協(xié)議可以與任何一個(gè)會(huì )議控制的協(xié)議綁定。 Linphone Linphone是基于WEB的IP電話(huà)工具，運行于Linux和Windows Xp下。通過(guò)Linphone可以在互聯(lián)網(wǎng)上和其他人自由地進(jìn)行聲音、視頻通信，也可以進(jìn)行及時(shí)文本信息傳送。Linphone是遵從SIP協(xié)議開(kāi)發(fā)的，它需要和支持SIP協(xié)議的電話(huà)或者代理服務(wù)器進(jìn)行相互操作。如果把基于Linphone開(kāi)發(fā)的VoIP設備通過(guò)PSTN帳號注冊到電信服務(wù)器上，就可以通過(guò)它和普通電話(huà)進(jìn)行通話(huà)了。但是這些通話(huà)不是免費的，因為PSTN是收費服務(wù)。Linphone是開(kāi)源免費軟件，可以自由下載和重新發(fā)布。 MiniGUI MiniGUI是面向實(shí)時(shí)嵌入式系統的輕量級圖形用戶(hù)界面支持系統。目前，MiniGUI已成為跨操作系統的圖形用戶(hù)界面支持系統，可在Linux/uClinux、eCos、uC/OS-II、VxWorks等操作系統上運行。 MiniGUI為實(shí)時(shí)嵌入式操作系統提供了完善的圖形及圖形用戶(hù)界面支持�？梢浦残栽O計使得它不論在哪個(gè)硬件平臺、哪種操作系統上運行，均能為上層應用程序提供一致的應用程序編程接口(API)。MiniGUI的技術(shù)優(yōu)勢：輕型、占用資源少，高性能、高可靠性，可配置，可伸縮性強，跨操作系統支持等。 視傳機的實(shí)現 視傳機的最主要功能包括：通過(guò)IP或者向服務(wù)器注冊的ID號呼叫另一臺接在網(wǎng)絡(luò )上的設備，進(jìn)行視頻流實(shí)時(shí)雙向收發(fā)(1幀-25幀/s)，最高分辨率可達640×480(廣播級圖像質(zhì)量/D1)，可設置音頻流格式，G.711/GSM/SPEEX，此功能適用于高網(wǎng)絡(luò )帶寬的應用環(huán)境。另外視傳機還可以實(shí)現電影播放，音視頻單向傳輸(遠程監控)，音視頻錄制播放，圖片單雙向收發(fā)，音視頻郵件收發(fā)等功能。 視傳機實(shí)現這些功能基本原理就是用MiniGUI制作圖形界面進(jìn)行人機交互[1]，用戶(hù)通過(guò)鍵盤(pán)或者遙控器進(jìn)行指令輸入，MiniGUI接收用戶(hù)指令，并傳給操作系統(這里我們使用Linux 2.6.19)，操作系統根據指令的不同進(jìn)行不同的操作，例如若用戶(hù)想進(jìn)行視頻呼叫，操作系統就將指令發(fā)給Linphone，Linphone就在SIP協(xié)議的基礎上發(fā)起視頻呼叫，根據對方不同的狀態(tài)給出不同的響應，對方不在線(xiàn)、對方忙、對方正常應答等，在正常應答的情況下雙方協(xié)商音頻視頻通信編解碼方式，建立呼叫，進(jìn)行音視頻通信[2]，然后任意一方掛機，退出，完成一次通信，期間還可以進(jìn)行音視頻錄制等操作。再如若用戶(hù)想進(jìn)行電影播放，則操作系統會(huì )調出播放程序，播放用戶(hù)指定的電影文件。 視頻流的流程如下：由攝像頭(支持自帶插針式和TV輸出兩種)采集圖像數據，交給操作系統[3]，操作系統根據用戶(hù)需要，將視頻數據進(jìn)行本地顯示、編碼錄制或者發(fā)送到對端，對端收到視頻數據送入VPU單元進(jìn)行解碼，然后顯示或者錄制等。通話(huà)過(guò)程中音頻流的流程為：通過(guò)mic采集音頻數據，交給操作系統，操作系統將數據送給Linphone，Linphone進(jìn)行一定格式的編碼[4]，然后發(fā)送到對端，對端再進(jìn)行相應的解碼，再將數據輸出到音箱或者耳機。 視傳機主要軟件Linphone的移植 Linphone有很多個(gè)版本，可以通過(guò)www.linphone.org免費下載。我們這里使用帶視頻功能的linphone1.6.0版本，要將這個(gè)Linphone使用在開(kāi)發(fā)板上，需要做3個(gè)方面的工作：添加H264硬件視頻編解碼器(使用i.MX27的VPU單元進(jìn)行視頻編解碼)，修改程序使之與操作系統和其他應用程序進(jìn)行通信，最后交叉編譯Linphone至開(kāi)發(fā)板。 Linphone功能結構 Linphone1.6.0版本的功能結構如圖1。 
console包括了整個(gè)終端界面部分，將界面操作和命令行輸入交由下層處理。 coreapi包含Linphone大部分核心接口函數，如讀配置文件進(jìn)行程序初始化、呼叫的建立和結束、對SDP消息的處理等。 osip2是一個(gè)短小簡(jiǎn)潔的sip協(xié)議棧，專(zhuān)注于sip底層解析。 exosip是osip2的一個(gè)擴展協(xié)議集，它部分封裝了osip2協(xié)議棧，使得它更容易被使用。 mediastreamer模塊負責語(yǔ)音及鈴音等的處理及傳輸，視頻的編解碼(調用ffmpeg的庫)、聲卡的選擇等。 ortp將音視頻打包為rtp包發(fā)送至指定端口。 speex是一種音頻解碼庫。 添加H264硬件視頻編解碼器 Linphone1.6.0 本身具有視頻編解碼功能，默認具有H263 、mpeg4、mjpeg等編解碼器，我們要仿照這些編解碼器的源碼結構添加H264解碼器，重要的是將編解碼器的軟件編解碼部分替換成i.MX27的 VPU(視頻處理單元)來(lái)進(jìn)行硬件編解碼，因為i.MX27的CPU處理速度有限，遠及不上PC的CPU，而i.MX27的VPU則是專(zhuān)門(mén)進(jìn)行視頻編解碼處理的協(xié)處理器，在處理視頻數據的時(shí)候是不需要CPU參與。 代碼的添加過(guò)程如下：在向Linphone注冊編解碼器的地方添加H264編解碼器，使得Linphone具備H264編解碼器的功能選項，注冊的內容包括：編解碼器id，一些名稱(chēng)文本等標識符，編解碼器初始化，視頻數據預處理、處理、后處理，編解碼器銷(xiāo)毀(釋放系統資源)等函數鏈接，編解碼器方法(進(jìn)行基本視頻編解碼處理之外的操作)等。注冊好編解碼器后，就是如何真正實(shí)現編解碼器對視頻流的編解碼處理了，也就是編解碼器的初始化，視頻數據預處理、處理、后處理，編解碼器銷(xiāo)毀等函數的實(shí)現。視頻處理的軟件部分主要包括內核空間的驅動(dòng)和編解碼庫以及用戶(hù)空間的應用程序。內核驅動(dòng)負責系統控制和系統資源的申請和釋放，提供一些IOCTRL接口給用戶(hù)空間的應用程序使用調配系統硬件資源;用戶(hù)空間的應用程序調用適當的IOCTRL和編解碼庫函數來(lái)實(shí)現復雜的編解碼系統。 VPU的內核驅動(dòng)主要包括以下功能：模塊初始化、器件初始化、中斷服務(wù)策略、文件操作策略、器件關(guān)閉、編解碼庫、系統IO操作等。 視頻編解碼的計算和絕大部分視頻流的壓縮/解壓縮都是由i.MX27的硬件VPU單元來(lái)完成的，這樣軟件就不需要過(guò)多的控制或者時(shí)間消耗等來(lái)實(shí)現一個(gè)復雜的編解碼系統。VPU的硬件數據流可以用一個(gè)mpeg4格式數據的解碼實(shí)現過(guò)程展示(見(jiàn)圖2)。
硬件編解碼速度快、效率高、功耗和熱功耗低，節省了CPU的資源，實(shí)現了良好畫(huà)質(zhì)的傳輸，這一點(diǎn)充分體現了i.MX27芯片在視頻處理方面的優(yōu)勢。 結語(yǔ) 本文基于linphone、ffmpeg、speex、minigui、linux等開(kāi)源軟件實(shí)現了嵌入式可視終端軟件系統——視傳機樣機，如圖3所示。樣機充分使用已有的開(kāi)源軟件成果進(jìn)行開(kāi)發(fā)，實(shí)現語(yǔ)音通話(huà)，視頻通話(huà)，視頻監控，媒體文件播放等基本的功能。
參考文獻： [1] MiniGUI Tech White Paper[R/OL]. http://www.minigui.org/docs.shtml [2] RTP payload format for H.264/SVC scalable video coding[J]. 浙江大學(xué)學(xué)報A(英文版) [3] Video for Linux Two API Specification[R/OL]. http://www.linuxtv.org/ [4] The Speex Codec Manual[R/OL]. http://www.speex.org/ [5] i.MX27數據手冊[R/OL]. http://www.freescale.com |
