摘要 為增強Android多媒體系統(tǒng)的功能,在Android智能手機上添加WMA音頻播放功能,使Android平臺支持WMA格式,播放WMA格式文件?;贏ndroid多媒體系統(tǒng)的Stagefright框架,通過創(chuàng)建WMA的文件解析單元和解碼單元,使WMA音頻文件中的編碼數(shù)據(jù)被正確地解碼成原始數(shù)據(jù)并輸出。通過在Android平臺測試機上反復(fù)播放WMA音頻文件,播放聲音清晰、音質(zhì)良好。
關(guān)鍵詞 Android;WMA;多媒體;Stagefright
WMA可用于多種格式的編碼文件中。微軟公司在WMA9中大幅改進了其引擎,實際上幾乎可以在同文件同音質(zhì)下比MP3體積約小1/3,因此適合用于網(wǎng)絡(luò)串流媒體及行動裝置。許多播放器軟件也紛紛開發(fā)出支持WMA格式的插件程序來,但Android手機尚未支持該格式,故在Android手機中添加WMA音頻解碼格式具有一定意義。
1 Andr0Id平臺及其多媒體框架結(jié)構(gòu)
1.1 Android系統(tǒng)
Android是Goosle與OHA(Open Handset Alliance)推出的開源手機操作系統(tǒng)。Android基于Linux平臺,由操作系統(tǒng)、中間件、用戶界面和應(yīng)用軟件組成。Android平臺自底向上由4個層次組成:Linux內(nèi)核層、運行時庫和其他庫層、應(yīng)用框架層、應(yīng)用程序?qū)印?br />
(1)Linux Kernel。Android底層是一個基于Linux2.6內(nèi)核來開發(fā)的獨立操作系統(tǒng),該層主要用于提供系統(tǒng)的底層服務(wù),包括安全機制、內(nèi)存管理、進程管理、網(wǎng)絡(luò)堆棧和驅(qū)動等。
(2)Libraries和Android Runtime。這一層主要與進程運行相關(guān),包含了一套C/C++函數(shù)庫,主要包括Libc、Media、Framework、WebKit、SGL、OpenGLES、FreeType、SQLite等。核心庫提供了Java編程核心庫的大多數(shù)功能,這些功能通過Android應(yīng)用框架展現(xiàn)給開發(fā)人員,另外每一個Android程序都有獨立的Dalvik虛擬機為它提供運行環(huán)境。
(3)Application Framework。該層是Android平臺專為應(yīng)用程序開發(fā)而設(shè)計的。開發(fā)者通過使用核心應(yīng)用程序調(diào)用Android框架提供的API,這個應(yīng)用程序結(jié)構(gòu)被設(shè)計成方便復(fù)用的組件,該層由一系列的服務(wù)和系統(tǒng)構(gòu)成。
(4)Applications。Android本身附帶一些核心的應(yīng)用程序包,例如Email客戶端、瀏覽器、日歷、Google地圖、SMS短消息程序等。
1.2 媒體播放器結(jié)構(gòu)及多媒體實現(xiàn)的核心
Android多媒體系統(tǒng)縱向跨越了Android系統(tǒng)的所有4個層次:Java應(yīng)用程序?qū)?、Java框架層、本地代碼層、Linux驅(qū)動層。多媒體本地代碼層是多媒體系統(tǒng)的重點。Libmedia庫提供多媒體部分的本地框架,Libstagefright提供多媒體核心功能的實現(xiàn)。
Android媒體播放器的模塊結(jié)構(gòu)如圖1所示。
上層的應(yīng)用程序?qū)⒚襟w的URI作為輸入設(shè)置到媒體播放器中,再經(jīng)過應(yīng)用框架、JNI和本地框架,一直到設(shè)置到StagefrightPlayer中。在這個過程中沒有數(shù)據(jù)流的傳遞,只是傳遞了URI路徑。經(jīng)Stagefright-Player中的解析單元進行解析后,讀取音頻流,經(jīng)過解碼器的處理轉(zhuǎn)換成原始數(shù)據(jù)。音頻原始數(shù)據(jù)將被送到音頻輸出環(huán)節(jié)中。
Stagefright是Android多媒體本地實現(xiàn)的核心。Stagefright中包括的內(nèi)容很多,單從播放的角度來看StagefrightPlayer輸入的是文件或網(wǎng)絡(luò)媒體流,輸出的是音視頻輸出設(shè)備,基本功能包括了媒體流控制、文件解析、音視頻文件解碼等方面。所以,要實現(xiàn)Android多媒體對WMA音頻格式媒體文件或流媒體的播放,就需要擴展Stagefright中的文件解析和音頻解碼等方面,添加WMA格式的文件解析單元和WMA音頻文件解碼單元。
2 多媒體系統(tǒng)增加WMA音頻格式的設(shè)計
從多媒體系統(tǒng)具體實現(xiàn)的角度來看,WMA音頻格式播放主要經(jīng)過WMA格式文件解析、WMA編碼流解碼、PCM輸出播放3個階段。WMA音頻播放器的結(jié)構(gòu)如圖2所示。
基于Android多媒體系統(tǒng)音頻播放流程,在WMA音頻格式開發(fā)過程中主要有4項工作:(1)WMA文件的識別;(2)WMA文件的解析;(3)編碼數(shù)據(jù)的讀??;(4)編碼數(shù)據(jù)的解碼和輸出。
2.1 WMA格式音頻播放功能流程設(shè)計
通過調(diào)用AwesomePlayer的setDataSource函數(shù)來設(shè)置數(shù)據(jù)源;AwesomePlayer通過調(diào)用MediaExtractor的Create函數(shù)來識別該文件的格式,MediaPlayer判斷該文件為WMA格式后,會創(chuàng)建一個WMAExtractor,在創(chuàng)建WMAExtraetor的同時,WMAExtractor會解析文件頭,獲取文件中的相關(guān)信息。然后調(diào)用WMAExtractor的getTrack函數(shù)創(chuàng)建一個WMASource;AwesomePlaye嗵過OMXCOdec創(chuàng)建一個WMADecoder;Awesome Player接著創(chuàng)建一個AudioPlayer,并把WMADecoder做為數(shù)據(jù)源傳給AudioPlayer,并調(diào)用AudioPlayer的start函數(shù);AudioPlayer獲取WMA Decoder中的相關(guān)參數(shù):文件類型、采樣率、聲道數(shù),并根據(jù)該數(shù)據(jù)開啟AudioSink,并把AudioSinkCailhaek做為回調(diào)函數(shù)傳給AudioSink。AudioPlayer先調(diào)用WMADecoder解第一幀數(shù)據(jù),并把該數(shù)據(jù)傳給AudioSink去播放,當播放完成后AudioSink會調(diào)用回調(diào)函數(shù)AudioSink Call-hack再取解碼后的數(shù)據(jù),AudioSinkCallbaek又會調(diào)用FillButfer函數(shù)獲取解碼后的原始數(shù)據(jù),解碼后數(shù)據(jù)如果被取完后,AudioPlayer又會調(diào)用WMADecoder解下一幀數(shù)據(jù)給AudioSink,來回反復(fù),直到文件中數(shù)全部被播放,播放流程如圖3所示。在拉動滾動條時,上層會傳來SeekTime,經(jīng)AudioPlayer傳給WMADeeoder再傳給WMAExtractor,WMAExtractor根據(jù)上層傳來的SeekTime判斷出要播放的原始數(shù)據(jù)的起始位置,然后從該位置讀取一個數(shù)據(jù)包傳給WMADecoder解碼。
在整個WMA格式解碼播放過程中,主要設(shè)計有兩個模塊:WMAExtractor和WMADecoder。WMAExtractor主要執(zhí)行WMA格式文件解析和數(shù)據(jù)讀取功能。WMADecoder主要執(zhí)行解碼功能;WMA格式音頻播放功能實現(xiàn)。
(1)WMA文件的識別。
在判斷播放文件格式前,AwesomePlayer會提前把所支持的格式通過DataSource中的RegisterDefaultSniffers函數(shù)注冊進來。判斷播放文件格式時,會逐一按次序把該文件和所支持的格式進行匹配,最匹配的格式就是該文件的格式,所以在Datasource中的RegisterDefauh Sniffers函數(shù)中應(yīng)添加如下代碼:
WMA文件開始有一個16 Byte的標識,表示是WMA:30 26 B2 75 8E 66 CF 11 A6 D9 00 AA 62 CE 6C。如果音頻文件的前16個字符和這16 Byte相符,那么就可以判斷該文件為WMA文件。WMAExtraetor中的SniffWMA函數(shù)就是通過讀取文件前16 Byte來判斷該文件是不是WMA文件。在SniffWMA函數(shù)中,如果判斷前16 Byte和WMA的16個標識字節(jié)相等,就會把MEDIA_MIMETYPE_AUDIO_WMA給mimeType指針,標志著該音頻文件類型為WMA格式。MEDIA_MIMETYPE_AUDIO_WMA是在MediaDefs.h文件中定義,在MediaDefs.cpp文件中賦值:
(2)WMA文件的解析。
WMAExtmetor從WMA文件的第31 Byte開始取16 Byte,然后依次和file_header、stream_header、data_header、comment_header、exten-ded_content_header對比,如果和file_header相等,則從下個Byte開始依次獲取文件大小、創(chuàng)建時間、數(shù)據(jù)包個數(shù)、…數(shù)據(jù)包大小。然后再從下個Byte開始讀取16 Byte再進行對比,如果和extended_content_header相等,則可以從下個Byte中依次獲取名稱、藝術(shù)家、版權(quán)、注釋等非音頻信息。然后再接著讀取16 Byte進行比對,直到和data_eader相等。data_header后就是音頻文件解碼數(shù)據(jù),data_header的結(jié)束位置就是第一個數(shù)據(jù)包在文件中的偏移量。WMAExtractor會創(chuàng)建一個MetaData,并把文件頭中獲取的sample_rate、Byte_rate、channels、dura-tion都存入MetaData中。在WMAExtractor的getMetaData函數(shù)中,把之前獲取的非音頻信息放入MetaData中,最后返回該MetaData。在WMAEx-tractor的getTrack函數(shù)中,創(chuàng)建一個WMASource,并把WMA數(shù)據(jù)和MetaData傳給WMASource。
(3)編碼數(shù)據(jù)的讀取。
獲取未解碼數(shù)據(jù)是通過WmASource的read函數(shù)讀取的。WMA數(shù)據(jù)是以數(shù)據(jù)包為單位的,同文件中的數(shù)據(jù)包大小相同。每個數(shù)據(jù)包中有多幀數(shù)據(jù),每個數(shù)據(jù)包的起始位置減去第—個數(shù)據(jù)包的起始位置再除以包的大小等于一個整數(shù),這個整數(shù)就是該數(shù)據(jù)包之前數(shù)據(jù)包的個數(shù)。每個數(shù)據(jù)包的第一個Byte一般都等于0x82。第二個Byte以后是該數(shù)據(jù)包的相關(guān)信息。根據(jù)包的相關(guān)數(shù)據(jù)就可以獲取該包中的未解碼數(shù)據(jù)。
WMASource的read讀取未解碼數(shù)據(jù)時,首先會判斷從WMADecoder傳來的options是否為空,如果不為空,并可以從options中獲取一個播放時間seekTimeUs,就通過seekTimeUs、總播放時間和總數(shù)據(jù)包的個數(shù)算出要播放數(shù)據(jù)包的起始位置,然后從該起始位置獲取一個數(shù)據(jù)包的數(shù)據(jù),并從該數(shù)據(jù)包中獲取有效數(shù)據(jù)的大小、起始位置、時間等數(shù)據(jù),最后把該有效數(shù)據(jù)和時間放在WMADecoder傳來的Buffer里。
WMASource的Read被調(diào)用時,如果傳來的Options為空或是不能從Options中獲取時間seekTimeUs,就會從WMA文件中讀取一個數(shù)據(jù)包,根據(jù)其中的有效數(shù)據(jù)的大小、起始位置獲取有效數(shù)據(jù),并獲取該數(shù)據(jù)包中的時間,然后把該有效數(shù)據(jù)和時間放在WMADecoder傳來的buffer里。第一個數(shù)據(jù)包的起始位置就是解析頭文件時獲取的第一個數(shù)據(jù)包的偏移量,所以第一次調(diào)用WMASource的read時,就是從這個偏移量的下個位置讀取第一個數(shù)據(jù)包的。在WMASource中有一個專門記錄讀取位置的指針。每次讀取1個數(shù)據(jù)包后,該指針就會指向數(shù)據(jù)包末尾的下一個位置,當下一次WMASource的read讀取未解碼數(shù)據(jù)時,如果不是音樂定點播放,就會從該指針所指的位置開始讀取數(shù)據(jù)包。
(4)編碼數(shù)據(jù)的解碼和輸出。
AwesomePlayer通過OMXCodec中的Create函數(shù)創(chuàng)建WMADecoder,所以在OMXCodec中注冊WMADecoder的相關(guān)信息:
在創(chuàng)建WMADecoder時,把之前創(chuàng)建的WMASource傳給WMADecoder。在WMADecoder構(gòu)造函數(shù)中,WMADecoder從WMASource中獲取Metadata,并從Metadata獲取sampleRate、numChannels、duration等。在WMADecoder的start函數(shù)中,通過調(diào)用avcodec_open函數(shù),來分配解碼所需的空間、創(chuàng)建并初始化解碼所需的相關(guān)參數(shù)。在WMADecoder析構(gòu)函數(shù)中會調(diào)用WMADecoder的Stop函數(shù)。在Stop函數(shù)中會釋放所有相關(guān)空間。
WMA音頻解碼主要是在WMADecoder的read函數(shù)中完成的:首先,先會判斷是否是音樂定點播放,如果不是,WMADecoder會調(diào)用WMAExtrac-tor的read函數(shù)讀取一個未解碼的數(shù)據(jù)包;然后,對該數(shù)據(jù)進行解碼,將解碼后的音頻數(shù)據(jù)存放在MediaBuffer的Data()中,再設(shè)置MediaBu-ffer的mRangeOffset和mRangeLength,在讀取數(shù)據(jù)包時會從包中獲取該數(shù)據(jù)包中的時間戳,把該時間戳存放在MediaBuffer的Meta_ data()中的kKeyTime里;最后,WMAdecoder把該MediaBuffer傳回給AudioPlayer。如果是音樂定點播放,首先,WMADecoder會從AudioPtayer傳過來的ReadOption中獲取播放時間(option->getSeekTo(&seekTimeUs,&mode)),在調(diào)用WMASource的read函數(shù)來讀取未解碼音頻數(shù)據(jù)時會把該時間(seekTimeUs)傳給WMASource。WMASource的read函數(shù)獲取到該時間后,通過計算得出該時間要播放的音頻數(shù)據(jù)包的起始位置,然后讀取該數(shù)據(jù)包并傳給WMADecoder對其進行解碼,最后將該解碼后的音頻數(shù)據(jù)傳給AudioPlayer。
3 實驗結(jié)果
基于Android平臺的多媒體系統(tǒng)進行設(shè)計的WMA音頻播放,在Android多媒體框架的本地實現(xiàn)核心Stagefright框架里,添加WMA音頻格式。實現(xiàn)Android對WMA音頻格式的支持,使Android手機可以播放WMA音頻格式的文件。經(jīng)過實際測試,播放效果達到了預(yù)期的要求,聲音清晰、音質(zhì)好。圖4為增加WMA音頻播放模塊后Android源碼編譯結(jié)果的截圖。圖5為播放WMA格式文件時對播放界面的截圖。圖6為拉動滾動條后正常運行的截圖。
4 結(jié)束語
基于Android多媒體模塊中的Stagefright框架,在智能手機上實現(xiàn)了對WMA音頻格式的支持,使Android智能手機可以播放WMA音頻格式的媒體文件或流媒體。該設(shè)計在現(xiàn)有基礎(chǔ)上實現(xiàn)了對Android操作系統(tǒng)中多媒體系統(tǒng)功能的增強。目前Android平臺手機仍然不支持RMVB、WAV等視頻格式,所以Android多媒體系統(tǒng)的功能還需繼續(xù)增強和擴展。