《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于A(yíng)ndroid平臺(tái)的可視對(duì)講系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
基于A(yíng)ndroid平臺(tái)的可視對(duì)講系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
來(lái)源:微型機(jī)與應(yīng)用2012年第5期
郭利全,謝維波
(1.華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,福建 廈門(mén) 361021;2.華僑大學(xué) 嵌入式技術(shù)開(kāi)放實(shí)驗(yàn)室,
摘要: 將Android手機(jī)操作系統(tǒng)用于嵌入式平臺(tái),提出一種基于A(yíng)ndroid平臺(tái)的可視對(duì)講系統(tǒng)設(shè)計(jì)方案。闡述了音視頻編解碼技術(shù),并結(jié)合JNI、NDK技術(shù)、嵌入式軟硬件平臺(tái)對(duì)可視對(duì)講方案進(jìn)行實(shí)現(xiàn)。該系統(tǒng)可以用于樓宇對(duì)講系統(tǒng)。
Abstract:
Key words :

摘  要:Android手機(jī)操作系統(tǒng)用于嵌入式平臺(tái),提出一種基于A(yíng)ndroid平臺(tái)的可視對(duì)講系統(tǒng)設(shè)計(jì)方案。闡述了音視頻編解碼技術(shù),并結(jié)合JNINDK技術(shù)、嵌入式軟硬件平臺(tái)對(duì)可視對(duì)講方案進(jìn)行實(shí)現(xiàn)。該系統(tǒng)可以用于樓宇對(duì)講系統(tǒng)。
關(guān)鍵詞: 可視對(duì)講;JNI;NDK;音視頻編解碼

 Android是Google公司推出的基于Linux的開(kāi)源手機(jī)操作系統(tǒng),由于代碼開(kāi)源,受到很多手機(jī)廠(chǎng)家的青睞??梢晫?duì)講系統(tǒng)在A(yíng)ndroid操作系統(tǒng)未出現(xiàn)之前,軟件研發(fā)一般采用底層語(yǔ)言,容易出現(xiàn)功能單一、產(chǎn)品升級(jí)困難等情況,要在對(duì)講系統(tǒng)中開(kāi)發(fā)出具有3D圖形效果的界面更是難上加難。鑒于此,本文利用Android平臺(tái)的可移植性、代碼開(kāi)源等優(yōu)勢(shì),結(jié)合JNI、NDK技術(shù),提出了基于A(yíng)ndroid平臺(tái)的可視對(duì)講系統(tǒng)的設(shè)計(jì)方案并加以實(shí)現(xiàn)。
 JNI[1](Java Native Interface)是Java本地調(diào)用接口,它使得運(yùn)行于A(yíng)ndroid平臺(tái)的Java程序可以使用C、C++甚至匯編語(yǔ)言編寫(xiě)的動(dòng)態(tài)鏈接庫(kù)。在需要頻繁訪(fǎng)問(wèn)內(nèi)存或復(fù)雜計(jì)算的情況下,使用C動(dòng)態(tài)鏈接庫(kù)比在A(yíng)ndroid平臺(tái)上使用Java語(yǔ)言實(shí)現(xiàn)相同功能更具有效率[2]。NDK[3](Native Development Kit)提供了一系列的工具,可以生成ARM二進(jìn)制碼的動(dòng)態(tài)庫(kù),并且能自動(dòng)地將生成的動(dòng)態(tài)庫(kù)和Java應(yīng)用程序一起打包成Android系統(tǒng)可以直接安裝的apk安裝包,即NDK可以將包含JNI接口函數(shù)的C源程序文件編譯生成動(dòng)態(tài)庫(kù),供Android應(yīng)用程序調(diào)用,提高了對(duì)現(xiàn)有代碼的重用性,而加快了開(kāi)發(fā)進(jìn)度。
 本文提出一種可視對(duì)講系統(tǒng)設(shè)計(jì)方案,對(duì)講雙方為門(mén)口機(jī)和室內(nèi)機(jī),并將設(shè)計(jì)方案在i.MX51硬件平臺(tái)進(jìn)行實(shí)現(xiàn)。門(mén)口機(jī)進(jìn)行音視頻的采集、編碼、傳輸及音頻解碼、播放;室內(nèi)機(jī)采用Android平臺(tái),但考慮用戶(hù)室內(nèi)信息的保密性,室內(nèi)機(jī)沒(méi)有視頻采集功能,室內(nèi)機(jī)只進(jìn)行音視頻的解碼、播放以及音頻的采集、編碼、傳輸。
1 可視對(duì)講系統(tǒng)設(shè)計(jì)
1.1 通信流程設(shè)計(jì)

 數(shù)據(jù)包傳輸協(xié)議使用面向無(wú)連接、資源消耗小、處理速度快的UDP協(xié)議。尋址完成建立UDP直連后,門(mén)口機(jī)首先對(duì)視頻進(jìn)行編碼傳輸,直到被叫方按下接聽(tīng)鍵后,門(mén)口機(jī)才對(duì)音頻數(shù)據(jù)進(jìn)行傳輸。為了保證通話(huà)一直在線(xiàn),室內(nèi)機(jī)每隔一定的時(shí)間向門(mén)口機(jī)發(fā)送通話(huà)在線(xiàn)詢(xún)問(wèn),如果收到在線(xiàn)確認(rèn)應(yīng)答則保持通話(huà)狀態(tài),否則就結(jié)束通話(huà)。可視對(duì)講系統(tǒng)通信流程如圖1所示。

 表2中:包頭為對(duì)講數(shù)據(jù)包的標(biāo)示符,命令類(lèi)型、操作類(lèi)型說(shuō)明詳見(jiàn)表3,時(shí)間戳主要是用于音視頻的同步,數(shù)據(jù)類(lèi)型分為音頻和視頻兩種,幀序號(hào)為0~65 535。如果沒(méi)有進(jìn)行數(shù)據(jù)包分段,則總包數(shù)與當(dāng)前包數(shù)均為1。音視頻數(shù)據(jù)從第41位開(kāi)始算起,音視頻數(shù)據(jù)長(zhǎng)度由數(shù)據(jù)包格式中的數(shù)據(jù)長(zhǎng)度所指定。
 根據(jù)系統(tǒng)通信流程圖1、結(jié)合數(shù)據(jù)包格式,本對(duì)講系統(tǒng)參數(shù)如表3所示。其中命令類(lèi)型、操作類(lèi)型分別與表2數(shù)據(jù)包格式相對(duì)應(yīng)。

1.5 音視頻編解碼選擇
 系統(tǒng)音頻編碼選用G.711編碼[4]。G.711是一種由國(guó)際電信聯(lián)盟訂定的音頻編解碼方式,擁有一倍的壓縮率,是語(yǔ)音通信中最常用的編解碼方式之一。采樣和量化是音頻編程及聲音數(shù)字化的兩個(gè)關(guān)鍵步驟,本系統(tǒng)使用的音頻采樣頻率為8 kHz、量化位數(shù)為16 bit、單聲道。
 FFmpeg是用于音頻和視頻開(kāi)源方案,由于它的開(kāi)源和免費(fèi)以及跨平臺(tái)的特點(diǎn),受到開(kāi)發(fā)商的青睞。FFmpeg支持包括xvid等在內(nèi)的多達(dá)90種解碼器,由C語(yǔ)言實(shí)現(xiàn),不僅可以應(yīng)用于PC軟件平臺(tái),也可以用于嵌入式設(shè)備。本系統(tǒng)中視頻選用xvid編解碼器,視頻格式為MPEG-4。(xvid是一個(gè)開(kāi)放源代碼的MPEG-4視頻編解碼器)視頻標(biāo)準(zhǔn)采用NTSC制,視頻尺寸為352×240,幀頻為30 F/s;使用NDK提供的交叉編譯工具將包含JNI接口函數(shù)的音視頻編解碼源文件統(tǒng)一編譯成為動(dòng)態(tài)鏈接庫(kù),供Android平臺(tái)調(diào)用。
2 系統(tǒng)實(shí)現(xiàn)
2.1 系統(tǒng)軟硬件平臺(tái)

 系統(tǒng)硬件平臺(tái)為i.MX51 EVK。i.MX51 EVK是由Freescale公司自主研發(fā)的,中央處理器基于A(yíng)RM Cortex A8核心的i.MX51處理器;主頻可擴(kuò)展到1 GHz;處理器內(nèi)部集成了DDR/DDR2內(nèi)存控制器、OpenGL/OpenVG圖形核心、ATA控制器、以太網(wǎng)控制器等,支持720 p高清視頻播放;指令緩存和數(shù)據(jù)緩存為32 KB,二級(jí)緩存為256 KB;其容量指標(biāo)是之前ARM11產(chǎn)品的2倍,可大大提高CPU的處理能力。同時(shí)處理器內(nèi)部還集成了矢量運(yùn)算的浮點(diǎn)運(yùn)算及信號(hào)處理加速器,為多媒體信息娛樂(lè)終端提供了強(qiáng)大的處理核心支持[5]。
 系統(tǒng)軟件平臺(tái)采用Linux操作系統(tǒng)、eclipse集成開(kāi)發(fā)環(huán)境。Android SDK[6]版本為2.2,Android NDK版本為android-ndk-r6。使用串口進(jìn)行調(diào)試。
2.2 Android平臺(tái)在i.MX51 EVK上的移植

 


 系統(tǒng)采用4 GB的SD卡存放引導(dǎo)程序、內(nèi)核、根文件系統(tǒng)等鏡像。引導(dǎo)程序采用U-Boot,Linux內(nèi)核版本為2.6.31。移植流程:Android源碼可以從http://source.android.com獲取到,編譯好U-Boot、Linux內(nèi)核、根文件系統(tǒng)以及Android系統(tǒng)鏡像[7]后,設(shè)置i.MX51板上的S1 Boot Switch模式為1100000001,使用ATK工具進(jìn)行鏡像的下載。下載后系統(tǒng)鏡像在SD卡上分布圖如圖3所示。

 圖3中,MBR主要存儲(chǔ)SD卡的分區(qū)信息表,起始地址為0 KB。引導(dǎo)程序、內(nèi)核、根文件系統(tǒng)的起始地址分別為1 KB、1 MB、4 MB。System和Recovery分別各占一個(gè)分區(qū),System為Android操作系統(tǒng)的鏡像文件所占分區(qū),Recovery分區(qū)主要是用來(lái)備份和還原系統(tǒng)。
2.3 音視頻編解碼實(shí)現(xiàn)
2.3.1 音頻編解碼實(shí)現(xiàn)

 音頻編碼與解碼的區(qū)別僅在于調(diào)用的C庫(kù)函數(shù)不一樣,音頻編解碼調(diào)用的C庫(kù)函數(shù)分別為G711Encoder、G711Decoder(本文以解碼為例)。音頻解碼具體流程如下:
?。?)音頻Java本地調(diào)用函數(shù)
在使用音頻解碼的類(lèi)中編寫(xiě)Java本地調(diào)用函數(shù):
public native void G711Decoder(byte[]pcm,byte[]code,int size,int lawflag);
?。?)生成頭文件
C庫(kù)與Java間需要一個(gè)后綴為“.h”的頭文件來(lái)銜接,這個(gè)頭文件通過(guò)javah命令生成,javah工具包含在JDK中。JDK是Java的核心,包含Java運(yùn)行環(huán)境、Java工具、Java基礎(chǔ)類(lèi)庫(kù)。
 (3)JNI接口函數(shù)
 JNI接口函數(shù)編寫(xiě)在C語(yǔ)言文件中,與音視頻解碼源碼一起打包生成動(dòng)態(tài)鏈接庫(kù)。在接口函數(shù)中聲明4個(gè)無(wú)符號(hào)指針變量:decode指向待解碼的數(shù)據(jù)、depcm指向解碼后的數(shù)據(jù)、enpcm指向待編碼的數(shù)據(jù)、encode指向編碼后的數(shù)據(jù)。解碼代碼如下:
void  Java_com_qsa_play_G711Decoder
(JNIEnv*env,jobject this,jbyteArray pcm,jbyteArray code,jint size,jint lawflag)
{
    depcm=(unsigned char*)(*env)->
GetByteArrayElements(env,pcm,0);
    decode=(unsigned char*)(*env)->
GetByteArrayElements(env,code,0);
    G711Decoder(depcm,decode,size,lawflag);
   (*env)->ReleaseByteArrayElements(env, pcm,
(jbyte)depcm,0);
   (*env)->ReleaseByteArrayElements(env,code,(jbyte)
decode,0);
}
其中,depcm=(unsigned char*)(*env)->GetByteArrayElements(env,pcm,0)用來(lái)獲取Java層傳遞的待解碼字節(jié)數(shù)組的首地址,G711Decoder()函數(shù)實(shí)現(xiàn)音頻解碼,(*env)->ReleaseByteArrayElements(env,pcm, (jbyte)depcm,0)釋放傳遞的數(shù)組成員,進(jìn)行資源回收。
(4)使用NDK中ndk-build命令編譯生成動(dòng)態(tài)鏈接庫(kù)
ndk-build命令是ndk命令工具集中的一個(gè)命令,與Linux下shell編程中的make命令相似,它會(huì)查找文件夾中的后綴為“.mk”的Makefile文件,根據(jù)該文件的依賴(lài)文件,將源文件編譯成動(dòng)態(tài)鏈接庫(kù)。
2.3.2 視頻編解碼實(shí)現(xiàn)
 視頻的編解碼流程與音頻編解碼流程基本相似,視頻編解碼調(diào)用的C庫(kù)函數(shù)分別為avcodec_encode_video、avcodec_decode_video2。限于篇幅,在此重點(diǎn)介紹Android平臺(tái)視頻的解碼及顯示。
 在解碼視頻數(shù)據(jù)前,要先做一系列的準(zhǔn)備工作:
?。?)給出主要的數(shù)據(jù)結(jié)構(gòu)
static AVPacket avpkt;
static AVFrame*picture;
static AVFrame*pFrameRGB;
static AVCodec*codec;
static AVCodecContext*c= NULL;
static struct SwsContext*img_convert_ctx;
AndroidBitmapInfo info;
void*pixels;
?。?)初始化流程
①注冊(cè)解碼器
avcodec_init();
av_register_all();
②初始化AVPacket、AVCodecContext、AVFrame
av_init_packet(&avpkt);
c=avcodec_alloc_context();
picture=avcodec_alloc_frame();
其中,AVFrame是數(shù)據(jù)流在編解碼過(guò)程中用來(lái)保存數(shù)據(jù)緩存的對(duì)象,從數(shù)據(jù)流中讀取到的數(shù)據(jù)首先保存到AVPacket中。一個(gè)AVPacket最多只包含一個(gè)AVFrame,而一個(gè)AVFrame可以包含好幾個(gè)AVPacket。AVCodecContext用于動(dòng)態(tài)記錄一個(gè)解碼器的上下文信息。
③設(shè)置視頻解碼器
codec=avcodec_find_decoder(MPEG-4);
avcodec_open(c,codec);
④視頻解碼流程
 視頻解碼流程如圖4所示。圖4中,AndroidBitmap_getinfo用于獲取Android平臺(tái)Bitmap對(duì)象的大小,AndroidBitmap_ lockpixels函數(shù)是對(duì)Bitmap進(jìn)行加鎖、互斥使用資源。如果AVPacket包中存在未解碼完的數(shù)據(jù),則調(diào)用函數(shù)avcodec_decode_ video2進(jìn)行解碼;若解碼出一幀后需要調(diào)用函數(shù)sws_scale進(jìn)行格式轉(zhuǎn)換。視頻數(shù)據(jù)解碼完后顏色空間為YUV,需轉(zhuǎn)換成RGB顏色空間。最后調(diào)用fill_bitmap函數(shù)進(jìn)行數(shù)據(jù)填充及進(jìn)行Bitmap的解鎖和資源的釋放。

 視頻顯示采用Android平臺(tái)的ImageView控件進(jìn)行顯示。解碼線(xiàn)程接收到視頻數(shù)據(jù)后,通過(guò)JNI調(diào)用,調(diào)用動(dòng)態(tài)庫(kù)中的視頻解碼接口函數(shù)進(jìn)行解碼,每解碼完一幀后通過(guò)消息通知主線(xiàn)程進(jìn)行顯示圖像的更新,這樣就達(dá)到了視頻數(shù)據(jù)動(dòng)態(tài)顯示的效果。
3 實(shí)現(xiàn)效果
 Android平臺(tái)在i.MX51 EVK平臺(tái)上移植成功后,串口中Android 操作系統(tǒng)啟動(dòng)信息如圖5所示。    從圖中的啟動(dòng)信息可以看出,Android平臺(tái)移植成功,啟動(dòng)信息也包含有CPU信息、內(nèi)核版本、大小、加載地址、Android文件系統(tǒng)版本等信息。

 該軟件開(kāi)發(fā)完成后,在A(yíng)ndroid工程的bin下生成apk文件,并復(fù)制apk文件到SD卡中,在A(yíng)ndroid系統(tǒng)中安裝該軟件,使用門(mén)口機(jī)進(jìn)行撥號(hào),編碼后的音視頻數(shù)據(jù)通過(guò)網(wǎng)線(xiàn)進(jìn)行傳輸。
 本文將Android手機(jī)操作系統(tǒng)應(yīng)用于i.MX51 EVK平臺(tái),并在該平臺(tái)上提出了可視對(duì)講的設(shè)計(jì)方案,分別進(jìn)行了通信流程、應(yīng)用協(xié)議、功能模塊等設(shè)計(jì),最后實(shí)現(xiàn)了系統(tǒng)的設(shè)計(jì)方案。但由于視頻是使用軟件解碼,運(yùn)行效率有待提高,且語(yǔ)音對(duì)講部分回聲消除存在問(wèn)題,有待進(jìn)一步研究。
參考文獻(xiàn)
[1] 任俊偉,林東岱.JNI技術(shù)實(shí)現(xiàn)跨平臺(tái)開(kāi)發(fā)的研究[J].計(jì)算機(jī)應(yīng)用研究,2005,22(7):180-184.
[2] LEE S, JEON J W. Evaluating performance of Android platform using native C for embedded systems[C]. Proceeding. IEEE International Conference on Control Automation and Systems,2010.
[3] 楊豐盛.Android應(yīng)用開(kāi)發(fā)揭秘[M].北京:機(jī)械工業(yè)出版社,2010.
[4] Fu Wei, Zhang Jun. Study on G. 711 voice communication of IP video intercom system[C]. Proceedings of the IEEE International Conference on Digital Manufacturing and Automation, 2010.
[5] Freescale 公司.i.MX 51 芯片說(shuō)明書(shū).2010.
[6] Android SDK|Android developers[EB/OL]. http://developer.android.com/sdk/index.html.2010.
[7] 宋杰,王書(shū)菊.基于A(yíng)RM2440平臺(tái)的Android操作系統(tǒng)的移植[J].計(jì)算機(jī)技術(shù)與發(fā)展,2011,21(1):66-68.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。