摘 要： 一種新型運(yùn)動(dòng)自適應(yīng)去隔行視頻處理算法，并進(jìn)行了數(shù)字邏輯電路實(shí)現(xiàn)。該算法利用全局運(yùn)動(dòng)統(tǒng)計(jì)方法對(duì)傳統(tǒng)的運(yùn)動(dòng)檢測(cè)結(jié)果進(jìn)行校正處理，以提升運(yùn)動(dòng)檢測(cè)處理的準(zhǔn)確性。對(duì)場(chǎng)內(nèi)空間插值進(jìn)行定向邊緣平滑濾波，保持邊緣的清晰平滑。
關(guān)鍵詞： 去隔行; 運(yùn)動(dòng)自適應(yīng); 全局運(yùn)動(dòng)統(tǒng)計(jì); 邊緣平滑濾波; 數(shù)字邏輯電路
?
視頻去隔行處理的功能是將隔行掃描的視頻序列轉(zhuǎn)換為逐行掃描視頻序列，從而用于逐行播放設(shè)備,主要包括：逐行CRT顯示器、液晶LCD、等離子顯示器以及投影儀等的顯示。目前的去隔行算法分為兩類：運(yùn)動(dòng)補(bǔ)償算法MC(Motion Compensation）和非運(yùn)動(dòng)補(bǔ)償算法NMC[1-2]。
非運(yùn)動(dòng)補(bǔ)償算法的基礎(chǔ)為時(shí)間域插值算法和空間域插值算法[2]。時(shí)間域插值也稱為場(chǎng)間（inter-field）插值算法，其優(yōu)點(diǎn)是對(duì)于靜止區(qū)域能還原得到最好的圖像結(jié)果，但在運(yùn)動(dòng)區(qū)域則會(huì)出現(xiàn)羽化現(xiàn)象。空間域插值算法即場(chǎng)內(nèi)（intra-field）插值算法，適用于運(yùn)動(dòng)區(qū)域的處理，目前多采用邊緣方向插值的方法以保護(hù)圖像邊緣信息。但是由于空間域信息的不足，因此這種方法會(huì)出現(xiàn)圖像模糊和邊沿鋸齒現(xiàn)象。運(yùn)動(dòng)自適應(yīng)方法[3]結(jié)合了上述兩種方法的特點(diǎn)，通過對(duì)像素點(diǎn)進(jìn)行運(yùn)動(dòng)檢測(cè)，判斷其運(yùn)動(dòng)狀態(tài)，從而確定最終的插值方法[4-5]。該方法的問題在于不準(zhǔn)確的運(yùn)動(dòng)狀態(tài)檢測(cè)結(jié)果會(huì)直接影響最終的圖像質(zhì)量，而被檢測(cè)為運(yùn)動(dòng)狀態(tài)的區(qū)域依然存在場(chǎng)內(nèi)插值的模糊與鋸齒問題。
運(yùn)動(dòng)補(bǔ)償算法[6]是更為先進(jìn)的去隔行處理算法，主要是根據(jù)運(yùn)動(dòng)估計(jì)處理得到運(yùn)動(dòng)矢量信息，并以此作為像素插值的參考依據(jù)。理論上這種方案能提供更高質(zhì)量的圖像處理結(jié)果，但其計(jì)算復(fù)雜，會(huì)極大地增加運(yùn)算量以及硬件實(shí)現(xiàn)的資源開銷。此外，運(yùn)動(dòng)補(bǔ)償算法本身對(duì)運(yùn)動(dòng)估計(jì)精度的要求較高，在無法完全確定運(yùn)動(dòng)矢量的準(zhǔn)確性時(shí)仍然需要運(yùn)動(dòng)自適應(yīng)算法作為補(bǔ)充方案[7]，以達(dá)到最佳的處理結(jié)果。
針對(duì)以上問題，本文提出一種基于全局運(yùn)動(dòng)統(tǒng)計(jì)和邊緣平滑濾波的運(yùn)動(dòng)自適應(yīng)去隔行視頻處理算法，并進(jìn)行了數(shù)字邏輯電路實(shí)現(xiàn)。該方法提升了運(yùn)動(dòng)檢測(cè)的準(zhǔn)確性，保證了邊緣的平滑，達(dá)到提高圖像處理質(zhì)量的目標(biāo)，同時(shí)其適當(dāng)?shù)倪\(yùn)算開銷適于硬件邏輯電路應(yīng)用。
1 算法描述
運(yùn)動(dòng)自適應(yīng)去隔行方法利用像素點(diǎn)空間和時(shí)間鄰域上的像素信息對(duì)其進(jìn)行運(yùn)動(dòng)檢測(cè)，得到歸一化運(yùn)動(dòng)狀態(tài)值M[8]。而后分別采用時(shí)間域場(chǎng)間平均插值和空間域場(chǎng)內(nèi)定向邊緣插值方法[9]，得到中間結(jié)果Pinter和Pintra，并按照公式(1)以M為系數(shù)進(jìn)行加權(quán)平均，得到最終結(jié)果Presult。該方法影響圖像質(zhì)量的關(guān)鍵在于改進(jìn)運(yùn)動(dòng)檢測(cè)的準(zhǔn)確性以及提高場(chǎng)內(nèi)插值方法的處理效果，這也是本文研究的重點(diǎn)。
1.1 基于全局運(yùn)動(dòng)統(tǒng)計(jì)的運(yùn)動(dòng)檢測(cè)
傳統(tǒng)的運(yùn)動(dòng)檢測(cè)是利用相隔場(chǎng)(即奇-奇場(chǎng)或偶-偶場(chǎng))對(duì)應(yīng)位置的局部時(shí)空域內(nèi)像素信息進(jìn)行計(jì)算，本文稱其為幀間運(yùn)動(dòng)檢測(cè)結(jié)果Mframe。由于該方法受到幀頻的限制以及噪聲等因素的影響，往往會(huì)出現(xiàn)檢測(cè)誤差，從而導(dǎo)致處理結(jié)果的錯(cuò)誤。針對(duì)該問題本文提出了基于全局運(yùn)動(dòng)統(tǒng)計(jì)的運(yùn)動(dòng)檢測(cè)算法，其基本流程如圖 1所示。本方法利用邊緣檢測(cè)處理和場(chǎng)間運(yùn)動(dòng)檢測(cè)處理得到的參考信息，判斷圖像的全局運(yùn)動(dòng)狀態(tài)。而后根據(jù)上述信息從全局的角度對(duì)局部幀間運(yùn)動(dòng)檢測(cè)結(jié)果進(jìn)行分類校正，從而提高運(yùn)動(dòng)檢測(cè)的準(zhǔn)確性。
?
1.1.1 場(chǎng)間運(yùn)動(dòng)檢測(cè)
幀間運(yùn)動(dòng)檢測(cè)使用相隔場(chǎng)之間信息進(jìn)行運(yùn)動(dòng)的判斷無法檢測(cè)出高于幀頻的運(yùn)動(dòng)，針對(duì)這個(gè)問題本文的方法是引入場(chǎng)間運(yùn)動(dòng)檢測(cè)處理。首先計(jì)算待處理像素與相鄰場(chǎng)對(duì)應(yīng)位置像素的絕對(duì)差值，然后利用閾值處理得到是否存在場(chǎng)間運(yùn)動(dòng)的標(biāo)志信號(hào)Ffield。
式(2)中，由于當(dāng)前場(chǎng)中該位置并沒有對(duì)應(yīng)的原始像素點(diǎn)，因此采用垂直濾波的方法得到該位置的估計(jì)值。其中n表示時(shí)間軸上待插值像素點(diǎn)所在的場(chǎng)序號(hào)，i和j分別表示像素點(diǎn)的垂直和水平坐標(biāo)位置，a(m)(m∈{-3,-1,1,3})為低通濾波器系數(shù)，Tfield為場(chǎng)間運(yùn)動(dòng)閾值。
1.1.2 邊緣檢測(cè)
邊緣檢測(cè)用于檢測(cè)待插值像素是否處于圖像中物體的邊緣位置，如圖2所示，其中黑色為原始像素點(diǎn)，白色為插值像素點(diǎn)，而灰色為待檢測(cè)像素。D1～D5進(jìn)行當(dāng)前第n場(chǎng)邊緣檢測(cè)，D6利用第n-1場(chǎng)輔助檢測(cè)當(dāng)前場(chǎng)高頻的雙向跳變邊緣。而后計(jì)算上述差值集合的最大值是否超過閾值Tedge，即得該像素點(diǎn)是否為邊緣點(diǎn)的標(biāo)志信號(hào)Fedge。
?
?
1.1.3 運(yùn)動(dòng)統(tǒng)計(jì)校正
運(yùn)動(dòng)統(tǒng)計(jì)校正功能整體流程如圖3所示。經(jīng)過實(shí)驗(yàn)表明，圖像中邊緣的運(yùn)動(dòng)狀態(tài)往往更能代表圖像的運(yùn)動(dòng)狀態(tài)，即如果邊緣像素點(diǎn)普遍運(yùn)動(dòng)，則圖像偏向有運(yùn)動(dòng)；反之則圖像偏向無運(yùn)動(dòng)，因此，使用邊緣檢測(cè)得到邊緣處像素點(diǎn)的幀間運(yùn)動(dòng)信息進(jìn)行全局統(tǒng)計(jì)，而非邊緣點(diǎn)則忽略不計(jì)。
?
首先按照閾值式(4)得到是否存在幀間運(yùn)動(dòng)的標(biāo)志Fframe，而后逐點(diǎn)統(tǒng)計(jì)一幅圖像的邊緣點(diǎn)中有幀間運(yùn)動(dòng)和無幀間運(yùn)動(dòng)的像素個(gè)數(shù)，分別得到運(yùn)動(dòng)量Nm和靜止量Ns,再按照式(5)條件得到全局運(yùn)動(dòng)狀態(tài)C(n)。
?
接下來利用上述得到的三個(gè)像素局部運(yùn)動(dòng)特征(幀間運(yùn)動(dòng)標(biāo)志Fframe、場(chǎng)間運(yùn)動(dòng)標(biāo)志Ffield、邊緣標(biāo)志Fedge）以及一個(gè)全局特征（全局運(yùn)動(dòng)狀態(tài)C(n)）形成四維狀態(tài)分類，以確定每個(gè)像素所屬的狀態(tài)以及對(duì)應(yīng)的校正系數(shù){kp,q|p∈[0,2]、q∈[1,5]}，如表 1所示。
?
根據(jù)校正系數(shù)k，對(duì)原有幀間運(yùn)動(dòng)檢測(cè)結(jié)果按式(6)進(jìn)行校正，得到運(yùn)動(dòng)檢測(cè)校正值M′用于式(1)的運(yùn)動(dòng)自適應(yīng)加權(quán)。
1.2 邊緣平滑濾波
場(chǎng)內(nèi)邊緣方向?yàn)V波插值的流程如圖4所示。首先需要對(duì)像素點(diǎn)的邊緣方向進(jìn)行檢測(cè)，而后沿該方向θP對(duì)像素進(jìn)行定向?yàn)V波插值，得到插值結(jié)果Pdir_flt。處理后的圖像會(huì)出現(xiàn)一定程度的鋸齒現(xiàn)象，特別是在一些比較細(xì)微的斜向邊緣或斜線處，這種情況更為明顯。這里提出新型邊緣平滑濾波算法，即利用定向插值信息，對(duì)插值結(jié)果進(jìn)行有選擇的濾波處理，可以有效地消除鋸齒現(xiàn)象，提升圖像質(zhì)量。
?
以圖5所示待處理像素A為例，其方向?yàn)V波的插值方向θP如雙箭頭虛線所示。平滑濾波以該方向?yàn)榛鶞?zhǔn)，沿第1、3象限分別計(jì)算該方向側(cè)上方像素差值絕對(duì)值DBC=|PB-PC|、側(cè)下方像素差值絕對(duì)值DDE=|PD-PE|以及角點(diǎn)像素差值絕對(duì)值DGH=|PG-PH|（方向?yàn)榈?、4象限同理可得）。而后比較DBC和DDE得到較小值Dmin和較大值Dmax。再分別判斷以下四項(xiàng)條件，以確定是否滿足選擇性濾波要求，其中T1、T2和T3分別為判定閾值。
(1) C1: Dmin
(2) C2: Dmax>T2（該條件表示差值較大的一側(cè)相關(guān)性較弱）;
(3) C3: DGH>T3（該條件表示角點(diǎn)之間的相關(guān)性較弱）;
(4) C4: θP(0,π/2)（該條件表示當(dāng)方向?yàn)樗交虼怪睍r(shí)不做處理）。
上述判定條件是為了保證選擇出待處理像素的某鄰近像素之間具有足夠大的相關(guān)性的同時(shí)，其他鄰近像素的相關(guān)性比較弱，以避免出現(xiàn)誤平滑的情況。平滑處理是對(duì)滿足條件的待處理像素A以及對(duì)應(yīng)較小值Dmin的兩個(gè)像素進(jìn)行低通平滑濾波（其中{a(m),m∈[0,2]}為濾波器系數(shù)），從而得到最終像素A的濾波結(jié)果Pintra。如果不滿足條件則略過此過程。
2 邏輯電路實(shí)現(xiàn)
圖6所示為去隔行邏輯電路單元結(jié)構(gòu)圖。該電路設(shè)計(jì)要求處理10位亮度和色度信號(hào)，接收NTSC制(525/60Hz)以及PAL制(625/50Hz)視頻輸入。數(shù)據(jù)格式為4:2:2的YUV類型，最大圖像尺寸支持1920×1080像素(HDTV)。由于需要同時(shí)對(duì)三場(chǎng)圖像進(jìn)行處理，因此外接了二場(chǎng)緩沖存儲(chǔ)器。改進(jìn)功能模塊電路(全局運(yùn)動(dòng)統(tǒng)計(jì)和邊緣平滑濾波)共使用了23個(gè)加(減)法器和31個(gè)比較器，而并不包含復(fù)雜的乘除法運(yùn)算以及占用開銷較大的行/場(chǎng)緩存，因此硬件開銷較小，同時(shí)有利于保證電路的高速處理。
?
3 實(shí)驗(yàn)結(jié)果
3.1 客觀數(shù)據(jù)比較
對(duì)常用去隔行處理方法（場(chǎng)內(nèi)線性插值(BoB)、場(chǎng)間平均(weave)[2]、運(yùn)動(dòng)自適應(yīng)插值(MA)以及本方法（即在運(yùn)動(dòng)自適應(yīng)插值基礎(chǔ)上增加全局運(yùn)動(dòng)統(tǒng)計(jì)校正算法和邊緣平滑濾波算法）進(jìn)行峰值信噪比(PSNR)[10]的比較，此外加入四場(chǎng)運(yùn)動(dòng)自適應(yīng)算法[11]（4F-MA）、3D遞歸運(yùn)動(dòng)補(bǔ)償算法[4](3DRS-MC)以及四場(chǎng)自適應(yīng)全局運(yùn)動(dòng)補(bǔ)償算法[7](4F-AGMC)作為對(duì)比。各算法處理結(jié)果如圖7所示。根據(jù)數(shù)據(jù)可以看出，本文方法與原有運(yùn)動(dòng)自適應(yīng)方法相比，由于運(yùn)動(dòng)檢測(cè)結(jié)果更為準(zhǔn)確，同時(shí)減少了場(chǎng)內(nèi)插值的鋸齒效應(yīng)，因此PSNR值有所提高，已經(jīng)達(dá)到或接近運(yùn)動(dòng)補(bǔ)償方法的效果。雖然對(duì)于運(yùn)動(dòng)較為劇烈的圖像中本文方法結(jié)果有所不足(如Stefan和Tennis)，但優(yōu)勢(shì)是在運(yùn)算代價(jià)較小的前提下，仍能保證較高的圖像處理質(zhì)量。
?
3.2 主觀評(píng)價(jià)對(duì)比
PSNR比較雖然是圖像處理中重要的評(píng)測(cè)方法，但有時(shí)難以完全體現(xiàn)算法的處理效果，因此主觀評(píng)價(jià)同樣重要。這里以測(cè)試視頻Stefan和tin序列為例來說明算法的改進(jìn)效果。測(cè)試視頻Stefan中球拍的高速運(yùn)動(dòng)會(huì)導(dǎo)致運(yùn)動(dòng)檢測(cè)的失敗而使圖像出現(xiàn)柵狀橫線，如圖8所示，本文全局運(yùn)動(dòng)統(tǒng)計(jì)的校正方法可以有效地消除這個(gè)缺陷，從而達(dá)到更好的圖像質(zhì)量。測(cè)試視頻tin存在一些運(yùn)動(dòng)的斜向細(xì)線，如果場(chǎng)內(nèi)插值不夠準(zhǔn)確就會(huì)出現(xiàn)如圖9所示鋸齒，而本文方法改進(jìn)了場(chǎng)內(nèi)濾波將細(xì)線變得更清晰和平滑，改善了最終的視覺效果。
?
本文提出一種基于全局運(yùn)動(dòng)統(tǒng)計(jì)和邊緣平滑濾波的運(yùn)動(dòng)自適應(yīng)去隔行視頻處理算法，并進(jìn)行了數(shù)字邏輯電路實(shí)現(xiàn)。該方法利用全局運(yùn)動(dòng)統(tǒng)計(jì)方法對(duì)傳統(tǒng)的運(yùn)動(dòng)檢測(cè)結(jié)果進(jìn)行校正處理，得到更為精確的運(yùn)動(dòng)狀態(tài)信息用于自適應(yīng)加權(quán)插值。此外，對(duì)場(chǎng)內(nèi)空間插值的結(jié)果進(jìn)行沿邊緣方向的平滑濾波，從而保持邊緣的清晰平滑。
實(shí)驗(yàn)表明，本文方法在只增加較少運(yùn)算開銷的前提下，達(dá)到或接近運(yùn)動(dòng)補(bǔ)償算法的處理效果，提高了運(yùn)動(dòng)自適應(yīng)去隔行視頻處理方法的圖像質(zhì)量，適用于硬件邏輯電路實(shí)現(xiàn)以及視頻實(shí)時(shí)處理應(yīng)用，具有較高的實(shí)用價(jià)值。
參考文獻(xiàn)
[1] ?JACK K. Video demystified[M]. Englewood Cliffs, Elsevier Inc, 2005.
[2] HAAN G D,BELLERS E B.De-interlacing-an overview[J]. ?Proceeding of the IEEE, 1998,86(9):1839-1857.
[3] ?ACHIHA M, ISHIKURA K, FUKINUKI T. A motionadaptive high-definition converter for NTSC Color TV
?Signals[J]. SMPTE Journal, 1984,93(5):470-476.
[4] ?MARTINS B, FORCHHAMMER S. A unified approach to?restoration, deinterlacing and resolution enhancement in?decoding MPEG-2 video[J]. IEEE Trans. Circuits and?Systems for Video Technology, 2002,12(9):803-811.
[5] ?LEE S G, LEE D H. A motion-adaptive de-interlacing?method using an efficient spatial and temporal interpolation [J]. IEEE Trans. Consumer Electronics, 2003,49(4):1266-1271.
[6] ?HAAN G D, KETTENIS J, LOORE B D. IC for motion?compensated 100Hz TV with natural-motion movie-mode
[J]. IEEE Trans. Consumer Electronics, 1996:165-174.
[7] ?CHANG Y L, LIN S F, CHEN C Y, et al. Video deinterlacing by adaptive 4-field global/local motion com-
?pensated approach[J], IEEE Trans. Circuits and Systems?for Video Technology,2005,15(12):1569-1582.
[8] ?YU L J, LI J T, ZHANG Y D, et al. Motion adaptive?deinterlacing with accurate motion detection and antialiasing interpolation filter[J]. IEEE Trans. Consumer?Electronics, 2006,52(2).
[9] ?HAAN G D, LODDER R. De-interlacing of video data?using motion vectors and edge information[C]. Digest of?the ICCE′02, 2002:70-71.
[10] WANG Yao, OSTERMANN, ZHANG Y Q. Video processing and communications[M]. Pearson Education, 2003.
[11] LIN? S F, CHANG Y L, CHEN L G. Motion adaptive?de-interlacing by horizontal motion detection and enhan-
?ced ?ELA processing[C]. Proc. 2003 IEEE Int. Symp.?Circuits?and Systems,2003: 696-699.