文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào): 0258-7998(2010)08-0130-04
隨著各種各樣視頻服務(wù)業(yè)的飛速增長(zhǎng),視頻編碼的目標(biāo)由單純追求高壓縮性能轉(zhuǎn)向使視頻流能夠更好地適應(yīng)各種不同的需求,如視頻會(huì)議、移動(dòng)無(wú)線視頻,以及視頻點(diǎn)播系統(tǒng)等。而在這些視頻流的應(yīng)用中,不同網(wǎng)絡(luò)的帶寬和終端用戶的處理能力是不盡相同的。同時(shí),壓縮的視頻信號(hào)會(huì)受到信道噪聲干擾,所以有限的信道帶寬和噪聲干擾是視頻傳輸系統(tǒng)中兩個(gè)主要的問(wèn)題[1]。
可伸縮視頻編碼(SVC)作為H.264的擴(kuò)展標(biāo)準(zhǔn)[2]可以解決無(wú)線信道中的這些問(wèn)題,它能產(chǎn)生一個(gè)高效靈活的比特流,以此滿足不同網(wǎng)絡(luò)和用戶的需要,這個(gè)單獨(dú)的比特流同時(shí)包括不同客戶端需要的信息。但是,由于SVC比特流中的不同層有不同的重要性,所以當(dāng)視頻信號(hào)在信道傳輸時(shí)就要采用非均衡差錯(cuò)保護(hù)(UEP)的方法。為了提高SVC在有噪無(wú)線網(wǎng)絡(luò)中傳輸?shù)馁|(zhì)量,本文提出一種新的非均衡差錯(cuò)保護(hù)方案。該方案通過(guò)控制低密度奇偶校驗(yàn)碼(LDPC)的碼率來(lái)實(shí)現(xiàn)非均衡差錯(cuò)保護(hù),并用H.264可伸縮擴(kuò)展標(biāo)準(zhǔn)作為其信源編碼模型。
在所提的方法中,首先根據(jù)時(shí)間、分辨率和質(zhì)量層以及峰值信噪比(PSNR)增益計(jì)算需要加入的校驗(yàn)位長(zhǎng)度,然后對(duì)信源編碼后產(chǎn)生的比特流進(jìn)行分包和信道編碼。同時(shí)本文所提方案有較低的計(jì)算復(fù)雜度,尤其適用于移動(dòng)終端設(shè)備。
1 基于H.264的可伸縮視頻編碼
可伸縮視頻編碼能產(chǎn)生一個(gè)滿足用戶不同需要的比特流。用戶能非常容易地從這個(gè)比特流中抽取到所需要的信息并解碼。可伸縮視頻編碼與H.264的最主要的區(qū)別就是,在可伸縮視頻編碼中,一個(gè)碼流能同時(shí)提供多種空間、時(shí)間和質(zhì)量層的信息,然而在H.264的比特流中,只包括固定分辨率、幀率和質(zhì)量層的信息。
對(duì)可伸縮視頻編碼的研究已經(jīng)20多年了,但是先前的可伸縮視頻標(biāo)準(zhǔn)并沒有得到很好的發(fā)展,主要原因是可伸縮視頻編碼在性能方面的損失和解碼過(guò)程的復(fù)雜性。2005年1月MPEG和ITUT視頻專家組決定共同將SVC作為H.264標(biāo)準(zhǔn)的一個(gè)修正[3-5]。H.264的可伸縮的擴(kuò)展標(biāo)準(zhǔn)被選為SVC標(biāo)準(zhǔn)的起始點(diǎn)。SVC能夠在主比特流中丟棄一些NAL單元來(lái)抽取不同的空間、時(shí)間和分辨率的視頻信息。SVC的比特流能被分成一個(gè)基本層和很多加強(qiáng)層,每一層有不同的重要性[6]。在無(wú)線信道中,用非均衡差錯(cuò)保護(hù)的方法來(lái)傳輸這些分層的視頻流能有效提高解碼得到的視頻質(zhì)量。
2 傳輸模型
可伸縮視頻編碼采用LDPC實(shí)現(xiàn)非均衡差錯(cuò)保護(hù)的系統(tǒng)結(jié)構(gòu)如圖1所示。信源編碼器使用H.264擴(kuò)展標(biāo)準(zhǔn)的SVC,信道編碼部分分為信道碼率分配、分包和LDPC編碼。信道碼率用來(lái)決定對(duì)每一層進(jìn)行信道編碼的碼率、分包和LDPC編碼的分配,根據(jù)碼率分配的結(jié)果對(duì)信源編碼后的數(shù)據(jù)進(jìn)行非均衡差錯(cuò)保護(hù),把分包編碼后的數(shù)據(jù)送到無(wú)線信道中進(jìn)行傳輸[7]。在接收端,接收到的數(shù)據(jù)經(jīng)過(guò)LDPC解碼、碼流重組后送入信源解碼器。下面具體介紹每一部分的實(shí)現(xiàn)過(guò)程和作用。
信源編碼器使用基于H.264的擴(kuò)展標(biāo)準(zhǔn)SVC。SVC支持時(shí)間、空間、質(zhì)量可伸縮,它提供了各種各樣的加強(qiáng)層,比MPEG-4能提供更好的伸縮性能。
2.1 非均衡差錯(cuò)保護(hù)的方法
本文所提方案采用LDPC編碼來(lái)實(shí)現(xiàn)非均衡差錯(cuò)保護(hù)。LDPC碼是線性分組碼的一種,在線性分組碼中,長(zhǎng)度為k bit的信息位以一定的映射規(guī)則映射為長(zhǎng)度為N bit的碼字,信息位和碼字中的各位都是某一有限域中的元素,最常用的是二元域GF(2)。所采用的信道碼率為k/N,N一定的情況下,k不同,對(duì)數(shù)據(jù)施加的保護(hù)不同,k越小,對(duì)數(shù)據(jù)施加的保護(hù)越大[8]。
2.2 分包方案
圖2顯示了本文所用的第r幀數(shù)據(jù)的分包方案。使用這個(gè)方案,能分別對(duì)第r幀的每一層數(shù)據(jù)進(jìn)行單獨(dú)的保護(hù)。每一行代表了一個(gè)碼字,碼字長(zhǎng)度N bit,它是第r幀與時(shí)間、分辨率和質(zhì)量有關(guān)的特定數(shù)據(jù)。其中信息位的長(zhǎng)度為k bit,經(jīng)過(guò)LDPC編碼后包長(zhǎng)變?yōu)镹 bit。每一幀分為T個(gè)碼字,對(duì)每一幀數(shù)據(jù),T的值是不相等的。根據(jù)時(shí)間、分辨率和SNR層的重要性不同,可以把一幀數(shù)據(jù)分為m層。其中Lr,i表示第r幀第i層深度,即
2.3 信道碼率分配方法
在一個(gè)圖像組(GoP)內(nèi),由于分等級(jí)的預(yù)測(cè)結(jié)構(gòu),可把每一個(gè)GoP內(nèi)所有的幀分為時(shí)間基本層和時(shí)間加強(qiáng)層。在每一幀內(nèi),又由于分辨率可伸縮和質(zhì)量可伸縮,把每一幀數(shù)據(jù)分為基本層、空間加強(qiáng)層和質(zhì)量加強(qiáng)層[9]。
由于加強(qiáng)層都是對(duì)基本層信息的加強(qiáng),所以在每一幀內(nèi),空間和質(zhì)量加強(qiáng)層的平均PSNR總是高于基本層的平均PSNR,由Q表示。
經(jīng)過(guò)信道后第r幀的PSNR總量如下:
在圖3所示的方案中,反復(fù)選取不同的Rr1,Rr2,…,RL組合,在(5)式的限制下,使由(4)式計(jì)算出的第r幀的PSNRr最大。這樣得到的碼率組合就是一定信道信噪比下第r幀的碼率分配方法。同樣,對(duì)其他幀的數(shù)據(jù)也都采用這種方法,實(shí)現(xiàn)碼率分配方案。
本文所采用的分配方法對(duì)每一包數(shù)據(jù)需要4個(gè)參數(shù)來(lái)決定信道數(shù)據(jù)。這4個(gè)參數(shù)根據(jù)它們的重要性分別列出如下:
(1)時(shí)間層:在一個(gè)GoP內(nèi),時(shí)間層越低,重要性就越高,對(duì)它的保護(hù)就越大,碼率就越低。本方案對(duì)時(shí)間層由低到高每一幀的平均碼率相應(yīng)增加。
(2)分辨率層:分辨率層越低,重要性就越高,對(duì)它的保護(hù)也越大。
(3)質(zhì)量層:根據(jù)質(zhì)量層id,由低到高重要性越低,施加的保護(hù)越小。
(4)總量:選取每一幀內(nèi)PSNR總量最大的碼率組合。
3 實(shí)驗(yàn)仿真
下面對(duì)本文所提方法進(jìn)行仿真驗(yàn)證。實(shí)驗(yàn)中使用標(biāo)準(zhǔn)的CIF和QCIF格式的H.264序列。實(shí)驗(yàn)參數(shù)如下:JSVM9.16[9];GoP大小為8;只在第0幀使用I幀;采用層間預(yù)測(cè);圖像序列為標(biāo)準(zhǔn)YUV序列Foreman,City,Mobile序列;時(shí)間層分為三個(gè)層,質(zhì)量層分為兩個(gè)層,MGSVector0為16;編碼幀數(shù)設(shè)為16;信道模型采用SNR分別為3、3.25、3.5、3.75、4的高斯信道;LDPC編碼碼率為(0.5,0.55,0.6,0.65,0.7,0.75,0.8,0.85,0.9,0.95),迭代次數(shù)設(shè)置為200;采用BPSK方式進(jìn)行調(diào)制。
重復(fù)2 000次,統(tǒng)計(jì)每種碼率下,信號(hào)經(jīng)過(guò)不同信噪比的LDPC信道后成功接收的概率pj如表1表示。
表1說(shuō)明了在相同的信噪比SNR條件下,隨著碼率的增加,信號(hào)經(jīng)過(guò)LDPC信道后成功接收的概率pj有逐漸下降的趨勢(shì)。說(shuō)明了保護(hù)程度越深,pj就越大。
根據(jù)如上參數(shù)設(shè)置對(duì)Foreman序列進(jìn)行編碼,按照(2)式計(jì)算每一層的平均PSNR值,統(tǒng)計(jì)每一幀每一層平均PSNR增量如表2所示。
按照本文所提方案,根據(jù)式(4)反復(fù)計(jì)算不同信噪比時(shí)每幀數(shù)據(jù)各種碼率組合得到的平均PSNR值??傻玫讲煌旁氡葧r(shí)每幀數(shù)據(jù)的最佳碼率分配方法,表3列出了信噪比SNR為3.5時(shí)每幀數(shù)據(jù)的碼率分配方法。
由表3得到信噪比為3.5時(shí)每幀數(shù)據(jù)的分包方案,同樣可以得到SNR為其他值(3,3.25,3.75,4)時(shí)的分包方案(本文沒有列出)。
根據(jù)上述分包方案,分別對(duì)標(biāo)準(zhǔn)視頻序列Foreman、City、Mobile進(jìn)行信道編碼后的視頻流進(jìn)行解碼,可得到使用本文所提非均衡差錯(cuò)保護(hù)UEP方案與只考慮時(shí)間層的UEP和只考慮質(zhì)量的UEP方案進(jìn)行比較的結(jié)果,如圖4所示的平均PSNR性能曲線圖[10]。
由圖4可見,本文所提方案比僅考慮質(zhì)量層的UEP和只考慮時(shí)間層的UEP方案的PSNR值有很大的改進(jìn)。圖4(a)表明,本文所提方案比僅考慮質(zhì)量層的UEP的PSNR平均高2.8 dB,比只考慮時(shí)間層的UEP平均高4.3 dB。尤其是在信噪比較低的無(wú)線信道中,本文所提方案有效地改善了視頻傳輸?shù)馁|(zhì)量。
本文提出了用LDPC信道編碼對(duì)SVC進(jìn)行非均衡差錯(cuò)保護(hù)的方案。H.264可伸縮的擴(kuò)展標(biāo)準(zhǔn)產(chǎn)生的視頻流經(jīng)過(guò)信源編碼,并根據(jù)可伸縮視頻流經(jīng)過(guò)信源編碼后產(chǎn)生序列的時(shí)間、分辨率、質(zhì)量基本層和加強(qiáng)層各部分重要性的不同,分別對(duì)各部分使用LDPC進(jìn)行非均衡差錯(cuò)保護(hù)的信道編碼,再經(jīng)過(guò)加性高斯信道,最后對(duì)所得視頻序列進(jìn)行解碼。通過(guò)仿真可以看出,此方案相比其他非均衡差錯(cuò)保護(hù)的信道編碼,在性能上有很大的改進(jìn),尤其是在信噪比小的無(wú)線信道中,此方案能顯示出明顯的優(yōu)越性。
參考文獻(xiàn)
[1] CIVANLAR M R, LUTHRA A, WENGER S. Introduction to the special issue on streaming video. IEEE Trans[J]. IEEE Transaction on Circuits and System,2001,11(3):265-268.
[2] Joint Video Team of ITU-T VCEG and ISO/IEC MPEG. Scalable Video Coding-Working Draft 1.Joint Video Team, Document JVT-N020[S]. 2005.
[3] Text of ISO/IEC 14496-10:2005/FDAM 3 Scalable Video Coding. Joint Video Team (JVT) of ISO-IEC MPEG & ITU-T VCEG[S], Lausanne. 2007.
[4] ISO/IEC ITU-T Rec. H.264: Advanced Video Coding for Generic Audio visual Service. Joint Video Team (JVT) of ISO-IEC MPEG & ITU-T VCEG[S]. 2003.
[5] Text of ISO/IEC 14496-4:2001/PDAM 19 Reference Software for SVC. Joint Video Team (JVT) of ISO-IEC MPEG & ITU-T VCEG[S]. 2007.
[6] SCHWARZ H, MARPE D, WIEGAND T. Overview of the scalable video coding extension of the H.264/AVC standard [J]. IEEE Transaction Circuits and System, 2007,17(9):1103-1120.
[7] NAGHDINEZHAD A, HASHEMI M R, FATEMI O. A novel adaptive unequal error protection method for scalable video over wireless networks 2007[C]. ISCE, 2007.
[8] LIN S, CONSTELLO D J, Jr. 差錯(cuò)控制編碼[M]. 晏堅(jiān),何元智,潘亞漢,等譯. 北京:機(jī)械工業(yè)出版社,2007:561-625.
[9] FANG Tao, CHAU Lap Pui. GOP-based channel rate allocation using genetic algorithm for scalable video streaming over error-prone networks[J]. IEEE Transaction on Image Processing. 2006, 15(6):1323-1330.
[10] REICHEL J, SCHWARZ H, WIEN M. Joint scalable video model JSVM-9.16[S]. JVT-AC023, Joint Video Team, Busan, KR, 2008.
[11] HA H, YIM C. Layer-weighted unequal error protection for scalable video coding extension of H.264/AVC [J]. IEEE Transaction on Consumer Electronics, 2008,54(2):736-744.