??? 摘 要： 針對(duì)錯(cuò)誤隱藏過(guò)程中傳統(tǒng)邊界匹配算法" title="邊界匹配算法">邊界匹配算法對(duì)邊緣匹配的局限性，提出一種基于時(shí)域與空域平滑性的邊界匹配算法。該算法引入加權(quán)的邊界匹配誤差：時(shí)域誤差用于衡量時(shí)域的連續(xù)性；空域誤差則反映邊緣的連續(xù)性。實(shí)驗(yàn)結(jié)果表明，該算法有效解決了存在多方向" title="多方向">多方向邊緣穿越受損區(qū)域情況下最優(yōu)矢量的選擇問(wèn)題，使得恢復(fù)后的圖像在邊界處具有較好的連續(xù)性。
??? 關(guān)鍵詞： 錯(cuò)誤隱藏；運(yùn)動(dòng)矢量；邊界匹配算法；邊緣匹配
?
??? 在視頻通信中，當(dāng)視頻碼流在傳輸過(guò)程中丟失或受到破壞時(shí)，勢(shì)必影響傳輸圖像的質(zhì)量，導(dǎo)致解碼器端重建的視頻信號(hào)的失真。在混合編碼框架中，由于幀間、幀內(nèi)預(yù)測(cè)以及熵編碼等技術(shù)的采用，解碼錯(cuò)誤會(huì)在時(shí)間和空間上擴(kuò)散，不僅破壞當(dāng)前解碼幀，而且會(huì)影響到后續(xù)幀，嚴(yán)重降低主觀視覺(jué)效果[1-2]。在這種情況下, 可在解碼器端對(duì)受損宏塊" title="宏塊">宏塊進(jìn)行錯(cuò)誤隱藏，從而在不產(chǎn)生網(wǎng)絡(luò)擁塞和延時(shí)問(wèn)題的同時(shí)大幅提高重建圖像的質(zhì)量[3]。
??? 當(dāng)幀間圖像發(fā)生錯(cuò)誤時(shí)，一般采用時(shí)域錯(cuò)誤隱藏方法，即利用圖像序列的連續(xù)性，恢復(fù)受損塊的運(yùn)動(dòng)矢量并用其運(yùn)動(dòng)補(bǔ)償塊來(lái)代替受損塊進(jìn)行錯(cuò)誤隱藏。其中，恢復(fù)運(yùn)動(dòng)矢量主要利用運(yùn)動(dòng)矢量的空間和時(shí)間的相關(guān)性。參考文獻(xiàn)[4]列舉了一系列運(yùn)動(dòng)矢量恢復(fù)方法，如采用零矢量、參考幀相應(yīng)宏塊運(yùn)動(dòng)矢量、鄰域宏塊運(yùn)動(dòng)矢量的均值、鄰域宏塊運(yùn)動(dòng)矢量的中值等。為了獲得最優(yōu)的運(yùn)動(dòng)矢量，參考文獻(xiàn)[5]提出更為精確的邊界匹配算法BMA（Boundary Matching Algorithm），通過(guò)計(jì)算補(bǔ)償塊的內(nèi)外邊界像素變化差值來(lái)選擇候選集中最優(yōu)的運(yùn)動(dòng)矢量用于受損塊重建，這一方法由于其簡(jiǎn)單、易實(shí)現(xiàn)等優(yōu)點(diǎn)已被H.26L的驗(yàn)證模型所采納[6]。
??? 然而，基于BMA的錯(cuò)誤隱藏算法僅著重于空域平滑性的利用，且在存在傾斜邊緣穿越受損塊的情況下對(duì)最優(yōu)矢量的選擇并不十分有效。針對(duì)這一問(wèn)題，本文提出一種結(jié)合時(shí)域與空域平滑性的邊界匹配算法。邊界誤差的衡量分為兩部分：時(shí)域誤差定義為當(dāng)前幀受損塊與參考幀補(bǔ)償塊外邊界相應(yīng)像素絕對(duì)差值和；空域誤差則基于邊緣的連續(xù)性，定義為邊界區(qū)域范圍內(nèi)邊緣的平均變化。實(shí)驗(yàn)結(jié)果表明，該算法較好地適用于相鄰宏塊間存在多方向邊緣的情況，從而使得恢復(fù)后的圖像在邊界處具有較好的連續(xù)性。
1 邊界匹配算法（BMA）
??? 邊界匹配算法[5]用于在運(yùn)動(dòng)矢量候選集中選擇最優(yōu)的運(yùn)動(dòng)矢量用于受損塊的重建，具體邊界匹配關(guān)系如圖1所示。
?
?
??? 首先，使用每一個(gè)候選矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，然后檢查重建宏塊內(nèi)外邊界的變化，使變化最小的候選運(yùn)動(dòng)矢量被確定為最終的預(yù)測(cè)。邊界匹配函數(shù)如下：
??? 
式中，x0、y0為當(dāng)前受損塊左上角像素坐標(biāo)，MVx、MVy分別為當(dāng)前預(yù)測(cè)矢量的兩個(gè)分量，Pc與Pr分別為當(dāng)前幀與參考幀像素。式(1)適用于在鄰域塊均可用且無(wú)損接收的情況下，對(duì)于其他情況，對(duì)應(yīng)的邊界匹配函數(shù)應(yīng)進(jìn)行相應(yīng)調(diào)整。
??? 由圖1可以看出，BMA主要基于空域的平滑特征，當(dāng)邊界處發(fā)生像素值躍變時(shí)，將使匹配誤差增大。因此，對(duì)于有垂直或水平邊緣穿越受損塊的情況，BMA可以有效地選擇最優(yōu)的預(yù)測(cè)矢量，但當(dāng)存在其他方向邊緣時(shí)，BMA所選擇的矢量獲得的補(bǔ)償效果并不是最佳的，如圖2所示。
?
?
2 基于時(shí)空域平滑性的邊界匹配算法
??? 為了從預(yù)測(cè)矢量候選集中選擇最佳的運(yùn)動(dòng)矢量，要求匹配準(zhǔn)則" title="匹配準(zhǔn)則">匹配準(zhǔn)則能夠準(zhǔn)確地將最佳的矢量與其他矢量區(qū)分開(kāi)來(lái)，因此，本文在匹配準(zhǔn)則中引入了加權(quán)的邊界匹配誤差?；跁r(shí)空域平滑特征，將邊界誤差的衡量分為兩部分：
??? 
式中，α為加權(quán)因子且其值介于0～1之間。costtemporal(i)為采用第i個(gè)預(yù)測(cè)矢量時(shí)的時(shí)域誤差，表示為當(dāng)前幀受損塊與參考幀補(bǔ)償塊外邊界相應(yīng)像素(圖1)的絕對(duì)差值和：
??? 時(shí)域誤差用于衡量當(dāng)前預(yù)測(cè)矢量下時(shí)域的連續(xù)性。costspatial(i)為采用第i個(gè)預(yù)測(cè)矢量時(shí)的空域誤差，表示為受損塊恢復(fù)后邊界區(qū)域范圍內(nèi)邊緣的平均變化：
??? 
式中，M為重建塊邊界區(qū)域內(nèi)經(jīng)Sobel算子所檢測(cè)出的邊緣點(diǎn)數(shù)，
為第j個(gè)邊緣點(diǎn)的邊緣方向。
??? 
??? 如圖3所示，通過(guò)Sobel算子在受損塊內(nèi)部邊界三像素寬的像素條上移動(dòng)并在每個(gè)位置計(jì)算對(duì)應(yīng)中心像素的梯度值，可以得到受損塊邊界各像素的水平與垂直梯度：Gx(x，y)、Gy(x，y)，相應(yīng)梯度矢量的幅度和方向角為：
??? 
??? 設(shè)定閾值T，當(dāng)|G(x，y)|大于T時(shí)，像素(x，y)為邊緣點(diǎn)。邊緣方向與梯度方向垂直，其斜率表達(dá)式為：
??? 
對(duì)邊緣點(diǎn)外圍三點(diǎn)進(jìn)行局部邊緣點(diǎn)檢測(cè)，
重復(fù)上一步操作，再次對(duì)當(dāng)前邊緣點(diǎn)外圍三點(diǎn)進(jìn)行局部邊緣點(diǎn)檢測(cè)，
由于充分考慮了邊緣的特征，沿邊緣走向來(lái)衡量當(dāng)前恢復(fù)區(qū)域的平滑性，本文算法可以有效克服BMA對(duì)邊緣匹配的局限性。
?
?
??? 與BMA算法相同，本文提出的匹配函數(shù)應(yīng)視鄰域塊的可用性進(jìn)行相應(yīng)調(diào)整。預(yù)測(cè)矢量候選集包括：零矢量、參考幀相應(yīng)宏塊運(yùn)動(dòng)矢量、鄰域可用預(yù)測(cè)運(yùn)動(dòng)矢量、鄰域可用預(yù)測(cè)運(yùn)動(dòng)矢量均值、鄰域可用預(yù)測(cè)運(yùn)動(dòng)矢量中值，候選集中所得匹配誤差最小的預(yù)測(cè)矢量即為恢復(fù)出的受損塊的運(yùn)動(dòng)矢量。
3 仿真實(shí)驗(yàn)
??? 本文實(shí)驗(yàn)采用JVT的JM90[7]作為測(cè)試平臺(tái)" title="測(cè)試平臺(tái)">測(cè)試平臺(tái)，分別對(duì)QCIF格式的Foreman、Carphone、Salesman序列進(jìn)行測(cè)試，編碼序列采用IPPP的幀結(jié)構(gòu)，測(cè)試序列長(zhǎng)度均為50幀。為了驗(yàn)證本算法的有效性，選取BMA與本文算法分別在網(wǎng)絡(luò)丟包率為5%、10%、15%的環(huán)境下進(jìn)行效果比較。
??? 圖4所示為宏塊丟失率為10%時(shí)分別采用兩種方法對(duì)Foreman第5幀的隱藏效果。采用BMA會(huì)造成邊緣明顯的不連續(xù)，但對(duì)于相對(duì)平滑的部分恢復(fù)效果比較好(圖4(c))。本文算法由于充分利用了時(shí)空域的平滑特性，引入了加權(quán)的邊界匹配誤差并以邊緣的連續(xù)性為依據(jù)，增強(qiáng)了對(duì)邊緣匹配的適應(yīng)性(圖4(d))。如圖4(e)所示的局部隱藏效果，本文算法較之BMA恢復(fù)后的邊緣更加平滑。
?
??? 表1給出了測(cè)試序列在不同丟包率情況下的PSNR值比較，其中PSNRBMA為采用BMA所得的PSNR值，PSNRPRO為采用本文算法所得的PSNR值。如表中數(shù)據(jù)所示，在測(cè)試中對(duì)于不同運(yùn)動(dòng)類(lèi)型的序列和不同的網(wǎng)絡(luò)丟包率環(huán)境，本文提出的算法性能均優(yōu)于BMA算法，是一種魯棒性很強(qiáng)的算法。
?
??? 本文針對(duì)BMA在選擇最優(yōu)預(yù)測(cè)矢量時(shí)所存在的局限性，提出一種基于時(shí)域與空域平滑性的邊界匹配算法。該算法引入了加權(quán)的邊界匹配誤差并通過(guò)對(duì)受損塊內(nèi)部邊緣特性的分析，保證恢復(fù)后的圖像邊緣的連續(xù)性。實(shí)驗(yàn)結(jié)果表明，本文算法有效解決了存在多方向邊緣穿越受損區(qū)域情況下最優(yōu)矢量的選擇問(wèn)題，對(duì)不同類(lèi)型的視頻序列及在不同網(wǎng)絡(luò)丟包率環(huán)境下均有較好的主觀和客觀重建圖像質(zhì)量。
參考文獻(xiàn)
[1] WANG Y，WENGER S.Error resilient video coding techniques[J].IEEE Signal Processing Magazine，2000，17(4)：61-82.
[2] Wenger S H.264/AVC over IP[J].IEEE Transactions on?Circuits and Systems for Video Technology，2003，13(7)：645-656.
[3] 馬國(guó)強(qiáng)，郭寶龍，馮宗哲.傳輸圖像的子波域插值恢復(fù)算法[J].電子學(xué)報(bào)，2002，30(4)：552-555.
[4] HASKELL P，MESSERSCHMITT D.Resynchronization of?motion compensated video affected by ATM cell loss[A].Proc ICASSP′92[C].San Francisco，CA：IEEE，1992，3：545-548.
[5] LAM W M，REILBMAN A R，LIU B.Recovery of lost or?erroneously received motion vectors[A].Proc ICASSP′93[C].Minneapdis：IEEE，1993：417-420.
[6] WANG Y K，HANNUKSELA M M，VSRSA V，et al.The?error concealment feature in the H.26L test model[A].Proc?ICIP[C].Rochester，NY：IEEE，2002：729-732.
[7] JVT.JM90[CP].http：//iphome.hhi.de/suehring/tml/download/old_jm/jm90.zip，2005.