王菲
(同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海 201804)
摘要:基于HEVC的屏幕視頻編碼根據(jù)屏幕視頻的特征,引入了調(diào)色板模式、基于Hash的塊匹配算法等新技術(shù)。這些新技術(shù)雖然提升了編碼的質(zhì)量,但同時(shí)增加了編碼器的復(fù)雜度。為降低屏幕視頻編碼器的復(fù)雜度,提出了一種基于調(diào)色板模式的屏幕視頻幀內(nèi)編碼快速算法。該算法結(jié)合了屏幕視頻的特征和幀內(nèi)編碼模式的空間相關(guān)性,有效地減少了幀內(nèi)編碼單元的模式搜索范圍。該算法可以在保證視頻編碼質(zhì)量的前提下,有效降低編碼復(fù)雜度,減少編碼時(shí)間。在屏幕內(nèi)容編碼的標(biāo)準(zhǔn)測(cè)試平臺(tái)SCM5.4的實(shí)驗(yàn)結(jié)果顯示,本算法可以降低21%的編碼時(shí)間,同時(shí)只引起0.93%的BDRate的上升。
關(guān)鍵詞:屏幕視頻編碼;調(diào)色板模式;幀內(nèi)編碼
中圖分類號(hào):TP37文獻(xiàn)標(biāo)識(shí)碼:ADOI: 10.19358/j.issn.1674-7720.2017.02.012
引用格式:王菲.基于調(diào)色板模式的屏幕視頻幀內(nèi)編碼快速算法[J].微型機(jī)與應(yīng)用,2017,36(2):34-36
0引言
新一代視頻壓縮編碼標(biāo)準(zhǔn)——高效視頻編碼技術(shù)(High Efficiency Video Coding,HEVC),它將自然圖像視頻壓縮效率相對(duì)于H.264/AVC提升了數(shù)倍。近年來(lái),隨著視頻會(huì)議、遠(yuǎn)程桌面共享等應(yīng)用越來(lái)越廣泛,人們對(duì)帶有文字圖表的圖像等屏幕視頻的需求量越來(lái)越大,傳統(tǒng)的視頻編碼技術(shù)如HEVC、H.264/AVC等對(duì)自然圖像視頻處理固然有效,但是由于屏幕視頻圖像不同于自然視頻圖像的特點(diǎn),如局部塊顏色的數(shù)量有限、邊緣鋒利、色調(diào)不連續(xù)、沒(méi)有可捕獲的噪聲等,如果使用傳統(tǒng)的自然圖像編碼技術(shù),極有可能降低屏幕視頻編碼效率。
基于HEVC視頻壓縮編碼標(biāo)準(zhǔn)的屏幕視頻編碼標(biāo)準(zhǔn)(Screen Content Coding,SCC)仍在完善之中,但是SCC依舊沿用了HEVC的框架,即HEVC所采用的四叉樹(shù)結(jié)構(gòu)的編碼單元(Coding Unit,CU)劃分方式,并對(duì)每種尺寸的CU、預(yù)測(cè)單元(Prediction Unit,PU)或變換單元(Transform Unit,TU)通過(guò)計(jì)算率失真代價(jià)(Rate Distortion Cost,RD_Cost)得出最優(yōu)尺寸。鑒于屏幕視頻的特性,為了提高編碼效率,SCC在HEVC原有技術(shù)的基礎(chǔ)上添加了調(diào)色板模式(Palette Mode)、幀內(nèi)塊復(fù)制(Intra Block Copy,IntraBC)、自適應(yīng)顏色變換(Adaptive Colour Transform,ACT)、基于Hash的塊匹配技術(shù)、自適應(yīng)運(yùn)動(dòng)矢量分辨率決定(Adaptive Motion Resolution Decision,AMRD)等技術(shù)[1]。
目前研究人員已經(jīng)對(duì)SCC幀內(nèi)編碼的復(fù)雜度進(jìn)行了優(yōu)化,并取得了良好的效果,如文獻(xiàn)[2]用平均像素代價(jià)來(lái)提前決定SCC幀內(nèi)編碼CU的尺寸。
本文主要利用SCC新引入的Palette模式以及幀內(nèi)編碼單元之間的相關(guān)性,在幾乎不影響屏幕視頻編碼質(zhì)量的情況下,降低編碼器復(fù)雜度。
1Palette模式簡(jiǎn)介
SCC在幀內(nèi)編碼模式中引入了一種新的預(yù)測(cè)模式,即調(diào)色板模式。與傳統(tǒng)的幀內(nèi)和幀間預(yù)測(cè)所采用的編碼單元之間去除冗余的方法不同的是,由于屏幕視頻中存在著大量的文字區(qū)域,會(huì)給編碼單元內(nèi)部帶來(lái)重復(fù)像素的冗余,Palette模式的目標(biāo)就是處理這種重復(fù)像素的冗余。在Palette編碼模式中,首先要表示出一個(gè)可以將像素值映射到表索引(也稱為調(diào)色板索引)的查找表,即為調(diào)色板。然后根據(jù)游長(zhǎng)熵編碼方式對(duì)一個(gè)編碼單元的索引進(jìn)行編碼。調(diào)色板編碼是一個(gè)非常簡(jiǎn)單的工具,它跳過(guò)了傳統(tǒng)變換/反變換模塊,并提高了譯碼器的吞吐量,結(jié)果顯示,無(wú)論對(duì)有損或者無(wú)損編碼,Palette模式都會(huì)顯著提高屏幕內(nèi)容視頻編碼的效率[3]。
2基于調(diào)色板模式的幀內(nèi)快速選擇算法的分析
圖1所示為SCM5.4標(biāo)準(zhǔn)所對(duì)應(yīng)幀內(nèi)編碼的流程圖,具體的流程為:當(dāng)CU的深度為0時(shí),檢測(cè)Intra、IntraBCMerge模式;當(dāng)CU的深度為1時(shí),檢測(cè)IntraBC、Intra、IntraBCMerge、Palette模式;當(dāng)CU深度為2或3時(shí),檢測(cè)IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。
通過(guò)分析可以看到,當(dāng)CU深度為0時(shí),只需要執(zhí)行Intra和IntraBCMerge兩種模式,編碼器的復(fù)雜度相對(duì)較低;當(dāng)CU深度大于0時(shí),編碼器的復(fù)雜度顯著提升,Palette模式是SCC在HEVC的框架上引入的新技術(shù)。為了研究加速的可能性,本文統(tǒng)計(jì)了在SCM5.4平臺(tái)下,量化參數(shù)(Quanlitization Parameter,QP)選取為22、27、32、37,ChineseEditing(1080p)、sc_map(720p)這兩個(gè)視頻序列在幀內(nèi)(All Intra,AI)配置下,當(dāng)CU的深度為1,2,3,相鄰塊(左側(cè)CU和上方CU)的模式為Palette的情況下,當(dāng)前CU采用的模式為Palette的比例,具體結(jié)果如表1所示。其中相鄰塊的關(guān)系如圖2所示。
統(tǒng)計(jì)結(jié)果顯示,當(dāng)CU的深度為1和2時(shí),在當(dāng)前CU的相鄰CU同時(shí)采用Palette模式時(shí),當(dāng)前CU也采用Palette模式的比例約為87%,當(dāng)CU深度為3時(shí),其比例大幅度下降,故本算法主要針對(duì)于深度為1和2的CU進(jìn)行優(yōu)化。
3本文提出的種基于調(diào)色板模式的幀內(nèi)快速選擇算法
基于上一節(jié)的描述,本文提出了一種基于調(diào)色板模式的幀內(nèi)CU模式快速選擇算法。圖3所示為本文提出的算法的流程圖。
詳細(xì)的算法流程描述如下:當(dāng)CU深度為0時(shí),檢測(cè)Intra、IntraBCMerge模式;當(dāng)CU的深度為1,2時(shí),計(jì)算公式(1)中的flag,如果flag為1,則只檢測(cè)Palette模式,如果flag為0,則當(dāng)CU深度為1時(shí),檢測(cè)IntraBC、Intra、IntraBCMerge、Palette模式,當(dāng)CU深度為2時(shí),檢測(cè)IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式;當(dāng)CU的深度為3時(shí),檢測(cè)IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。
4實(shí)驗(yàn)結(jié)果
為了驗(yàn)證改進(jìn)后的算法的有效性,本文將本算法與SCC標(biāo)準(zhǔn)算法在SCM5.4的測(cè)試平臺(tái)下進(jìn)行了比較。仿真測(cè)試的計(jì)算機(jī)環(huán)境配置是Intel Core i73770 processor 3.40 GHz clock speed和8 GB RAM。SCM5.4的測(cè)試配置為AI,QP選取為22、27、32、37。測(cè)試的視頻種類是帶有文字和圖形的運(yùn)動(dòng)視頻(Text and Graphics with Motion,TGM),它是屏幕視頻的一種。測(cè)試視頻的分辨率是1 920×1 080和1 280×720。測(cè)試視頻選取YUV444、RGB444兩種。最大編碼單元尺寸是64×64,最大的劃分深度是4,變換單元的最大深度是3。
表2是改進(jìn)后的算法與SCM5.4標(biāo)準(zhǔn)在AI配置下的實(shí)驗(yàn)結(jié)果。其中ΔT的定義如公式(2)所示,BDRate的定義參照文獻(xiàn)[4]。
式中,ΔT代表時(shí)間的節(jié)省百分比,Toriginal代表SCM5.4標(biāo)準(zhǔn)流程在測(cè)試平臺(tái)下的時(shí)間,Tproposed代表改進(jìn)的算法在測(cè)試平臺(tái)下的時(shí)間。從實(shí)驗(yàn)結(jié)果可以看到,該算法對(duì)分辨率為1080p的視頻較720p的視頻能夠達(dá)到更好的效果。在AI的配置下,對(duì)于YUV444的視頻,編碼器的平均加速時(shí)間提升了20.59%,BDRate升高了0.93%;對(duì)于RGB444的視頻,編碼器的平均加速時(shí)間提升了20.26%,BDRate升高了0.64%。通過(guò)實(shí)驗(yàn)結(jié)果可以看出,該算法可以在加速編碼器的同時(shí),保證視頻的編碼質(zhì)量。
5結(jié)論
本文提出了一種基于調(diào)色板模式的幀內(nèi)快速算法,它可以有效地降低屏幕視頻編碼器的復(fù)雜度。首先分析屏幕視頻編碼不同于傳統(tǒng)的自然圖像編碼所采用的新技術(shù);然后通過(guò)分析屏幕視頻的特點(diǎn)以及幀內(nèi)編碼模式的空間相關(guān)性確定優(yōu)化方案;最后通過(guò)實(shí)驗(yàn)驗(yàn)證了算法的有效性。
參考文獻(xiàn)
?。?] JCTVCU1014, Screen content coding test model 5[S]. Warsaw, Poland: JCTVC of ITUT SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2015.
?。?] SAURTY K, CATHERINE P C, SOYJAUDAH K M. Early CU size determination in HEVC intra prediction using Average Pixel Cost[C]. 2014 Fourth International Conference on. Digital Information and Communication Technology and it’s Applications (DICTAP), IEEE, 2014: 247252.
?。?] Guo Liwei, Pu Wei, Zou Feng, et al. Color palette for screen content coding[C]. 2014 IEEE International Conference on Image Processing (ICIP), IEEE, 2014:55565560.
[4] BJNTEGAARD B G. Improvements of the BDPSNR model[S]. ITUT SG16/Q6 Input Document VCEGAI11, 2010.