《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 業(yè)界動態(tài) > 數(shù)字視頻圖像的亮度瞬態(tài)增強(qiáng)算法及其硬件實(shí)現(xiàn)

數(shù)字視頻圖像的亮度瞬態(tài)增強(qiáng)算法及其硬件實(shí)現(xiàn)

2008-03-31
作者:劉 芳,王 黎,高曉蓉,王澤

  摘 要: 介紹了數(shù)字亮度瞬態(tài)增強(qiáng)的基本原理和常用的兩種亮度瞬態(tài)增強(qiáng)算法的實(shí)現(xiàn)步驟,提出了對兩種算法的改進(jìn)措施,并選擇了其中一種較優(yōu)的算法描述了其硬件實(shí)現(xiàn)" title="硬件實(shí)現(xiàn)">硬件實(shí)現(xiàn)過程。
  關(guān)鍵詞: 亮度瞬態(tài)增強(qiáng) 畫質(zhì)增強(qiáng) 數(shù)字電視 視頻處理

  近年來,數(shù)字電視和平板電視成為家電消費(fèi)的熱點(diǎn)。隨著高清數(shù)字電視概念的日益普及,人們對電視機(jī)畫質(zhì)的要求也越來越高,在數(shù)字視頻處理芯片中除了采用去隔行技術(shù)提高圖像分辨率外,還會采取一系列的畫質(zhì)增強(qiáng)措施以改善圖像質(zhì)量,提高圖像的清晰度。其中數(shù)字亮度瞬態(tài)增強(qiáng)DLTI(Digital Luminance Transient Improvement)便是一種重要的畫質(zhì)增強(qiáng)技術(shù),其目的是增加亮度過渡邊緣的陡度,使圖像的邊緣輪廓更清晰。
1 亮度瞬態(tài)增強(qiáng)基本原理及常用算法
1.1 基本原理
  在YCbCr空間上,亮度瞬態(tài)增強(qiáng)是對亮度信號Y進(jìn)行處理。圖1是亮度信號邊緣的示意圖。Y1代表一種亮度值,Y2代表另一種不同的亮度值,點(diǎn)A為Y1的邊界點(diǎn),點(diǎn)B為Y2的邊界點(diǎn),從A點(diǎn)經(jīng)過O點(diǎn)逐漸上升到B點(diǎn)的這一段稱為亮度邊緣的過渡帶。


  這一過渡帶的寬窄直接影響到圖像的畫質(zhì):過渡帶越窄,圖像中兩種亮度的邊界就越清楚,圖像也越清晰。亮度瞬態(tài)增強(qiáng)就是一種使過渡帶變窄、邊緣變陡以提高圖像清晰度的方法。理想情況下可使過渡帶縮短成垂直邊緣,如圖1中的COD所示。
1.2 常用算法
  常用的亮度瞬態(tài)增強(qiáng)方法有兩種:移位法" title="移位法">移位法和疊加勾邊法" title="疊加勾邊法">疊加勾邊法。移位法的原理是找到如圖1所示的原始亮度信號過渡帶的3個特征點(diǎn)A、O、B,然后將AO段像素點(diǎn)的亮度值用A點(diǎn)的亮度值Y1代替,OB段像素點(diǎn)的亮度值用B點(diǎn)的亮度值Y2代替。
  疊加勾邊法的原理是在原始輸入的亮度信號上疊加一個勾邊信號,勾邊信號可由二階微分等產(chǎn)生,疊加的結(jié)果是在亮度邊緣處形成尖峰,且邊緣變陡。
1.2.1 移位法亮度瞬態(tài)增強(qiáng)
  移位法的關(guān)鍵是確定正確的替代點(diǎn)位置。把替代點(diǎn)距當(dāng)前點(diǎn)的距離稱為移位路徑。因為圖像的一階微分可用于檢測圖像中的一個點(diǎn)是否為邊緣點(diǎn),二階微分的符號可用于判斷一個邊緣像素位于邊緣亮的一邊還是暗的一邊,并且二階微分中間的零點(diǎn)可以準(zhǔn)確地判斷出邊界,因此考慮一種用亮度信號的二階微分與增益的乘積來控制移位路徑的方法。
  如何求出亮度信號的二階微分是該算法的核心之一。先對圖像的亮度信號作一階微分,檢測亮度邊緣。本文采用一個5階的FIR濾波器來計算一階微分,公式如下:
  Y_diff=-2Yj-2-Yj-1+Yj+1+2Yj+2             (1)
  式中:Y_diff為生成的一階微分,Yj代表當(dāng)前要處理的像素點(diǎn)亮度值,Yj-1代表前一像素點(diǎn)的亮度值,Yj+1代表后一像素點(diǎn)的亮度值,其他的依次類推。圖像的二階微分通過對一階微分的絕對值再作一次微分得到。
  具體的移位法過程如下:當(dāng)像素點(diǎn)的二階微分大于零時,這個像素點(diǎn)的亮度值用該像素點(diǎn)往前移位n個點(diǎn)的亮度值來替代,移位路徑n由二階微分與增益的乘積來決定[1],增益可由用戶在一定范圍內(nèi)調(diào)節(jié);當(dāng)像素點(diǎn)的二階微分小于零時,該像素點(diǎn)的亮度值用該像素點(diǎn)往后移位n個點(diǎn)的亮度值來替代。移位路徑可通過設(shè)置一個參數(shù)“Limit”來限制在一定范圍內(nèi)。移位法亮度瞬態(tài)增強(qiáng)結(jié)果如圖2所示。通過以上的算法對圖2(a)中的條紋圖作瞬態(tài)增強(qiáng)的結(jié)果如圖2(b)所示,可見,邊緣明顯變清晰了。
1.2.2 疊加勾邊法亮度瞬態(tài)增強(qiáng)
  疊加勾邊法的關(guān)鍵是如何形成勾邊信號。一種利用9階的FIR濾波器來檢測邊緣和產(chǎn)生勾邊信號的方法能達(dá)到很好的勾邊效果,濾波器系數(shù)如下[2]
  filter_coef=[-16 -31 -16 33 61 33 -16 -31 -16]×26/256             (2)

?


  疊加勾邊信號并限幅示意圖如圖3所示。經(jīng)過濾波器輸出的勾邊信號經(jīng)過核化降噪(coring)、增益調(diào)節(jié)并疊加到原圖上后,得到一個邊緣變陡但幅度出現(xiàn)尖峰(peak)的信號,如圖3中的長虛線所示。因此,還需要將幅度限制在一定的窗口范圍內(nèi),窗口的范圍是以當(dāng)前點(diǎn)為中心、相鄰五點(diǎn)(左右各兩點(diǎn))的亮度中的最小值和最大值。經(jīng)限幅后的信號如圖3中圓圈代表的曲線所示,達(dá)到了使過渡帶變窄、邊緣變陡的目的。


2 兩種算法存在的問題" title="存在的問題">存在的問題及改進(jìn)策略
2.1 移位法改進(jìn)
  移位法LTI實(shí)驗結(jié)果及改進(jìn)如圖4所示。1.2.1節(jié)所述的移位法可使大面積物體之間的邊界變得非常陡峭,亮度瞬態(tài)增強(qiáng)效果很好。但是,對于兩個靠得很近的邊緣,如圖4(a)中的邊緣E1和E2,移位路徑的大小決定了某些用來替代的像素點(diǎn)已位于另一個邊緣段了,這樣移位的結(jié)果是在兩個亮度邊緣交界處形成帶有一個或兩個突起谷的小山形狀[1],如圖4(b)所示。表現(xiàn)在圖像上就是細(xì)節(jié)處出現(xiàn)像素串?dāng)_,處理后的圖像嚴(yán)重失真了。


  為避免這種現(xiàn)象的產(chǎn)生,需對移位法加以改進(jìn)。改進(jìn)方法是對兩個靠得很近的邊緣加上特別的“過山保護(hù)”措施,具體方法如下:
  對原信號作二階微分并用增益調(diào)節(jié)和Limit控制得到移位路徑(設(shè)為path)后,若path>0,則從當(dāng)前點(diǎn)往前path個點(diǎn)(j-path)搜索至當(dāng)前點(diǎn)(j),若有一階微分改變符號的位置,則表明這是兩個靠得很近的邊緣頂峰相交的位置,這時記下此位置點(diǎn)并用此頂峰值代替j點(diǎn)的值;若沒有出現(xiàn)一階微分改變符號的位置,則表明是正常邊緣情況,直接用j-path點(diǎn)的值代替當(dāng)前j點(diǎn)的值;若path<0,則從當(dāng)前點(diǎn)j向后搜索至j+|path|個點(diǎn),其余判斷方法跟前面相同。經(jīng)過“過山保護(hù)”處理后的結(jié)果如圖4(c)所示,消除了邊緣交界處的那個帶有兩個突起的小山形狀,改善了移位法對靠得很近的邊緣的處理效果。
2.2 疊加勾邊法改進(jìn)
  疊加勾邊法LTI處理結(jié)果比較如圖5所示。利用1.2.2節(jié)所述的疊加勾邊法對大量的圖像進(jìn)行亮度瞬態(tài)增強(qiáng)處理發(fā)現(xiàn),對于高頻信息較少的圖像,1.2.2節(jié)所述的疊加勾邊法能達(dá)到非常好的瞬態(tài)增強(qiáng)效果,但是,對于細(xì)節(jié)變化極快的高頻信息,例如只占1~2個像素點(diǎn)寬度的邊緣,勾邊后圖像反而變得惡化,出現(xiàn)像素干擾現(xiàn)象,如圖5(b)右半部分高頻段所示。
  為解決該問題,在做DLTI之前設(shè)置一個高頻判斷模塊,若信號處于高頻段,則不對該信號進(jìn)行處理,輸出其本身,否則,進(jìn)行疊加勾邊處理。
  文獻(xiàn)[2]中提到了一種有效的高頻判斷方法 ,利用相鄰16個點(diǎn)分別與平均值相減的符號位來記錄變化頻率。不過該方法需要計算平均值,且延時較多,硬件實(shí)現(xiàn)頗為復(fù)雜,本文提出了另一種高頻判斷的方法。
  既然圖像的一階微分能檢測邊緣信息,那么也能反映圖像的變化頻率,這通過仿真原圖中一行數(shù)據(jù)的波形和對該行數(shù)據(jù)作一階微分以后的波形得到了證實(shí)。因此,可以考慮利用一階微分的符號來判斷圖像的高頻段,一階微分模板如移位法中所示。具體判斷方法如下:首先記錄每個像素點(diǎn)的一階微分的符號位,對當(dāng)前像素點(diǎn),搜索其左右各4個或5個點(diǎn),將相鄰點(diǎn)的符號位兩兩相異或后相加,得到一個總和Sum,將這個Sum與一個預(yù)先設(shè)定的門限值相比較,若Sum大于該門限值,則認(rèn)為此像素點(diǎn)處于圖像的高頻段。對圖5(a)的圖像先經(jīng)高頻判斷再進(jìn)行疊加勾邊法LTI處理的結(jié)果如圖5(c)所示,與圖5(b)相比,避免了高頻段的圖像惡化現(xiàn)象。這一高頻判斷方法同樣可加在移位法DLTI處理之前,以對移位法進(jìn)一步優(yōu)化。


3 兩種算法的比較分析
  在對兩種算法分別進(jìn)行改進(jìn)后,兩種算法都能達(dá)到非常好的亮度瞬態(tài)增強(qiáng)效果,不僅明顯提升了邊緣陡度,而且對圖像細(xì)節(jié)變化較快且兩個邊緣很近的情況有很好的保護(hù)處理措施,對各種不同的視頻圖像均能起到使邊界變得更明顯、提高清晰度的作用。通過調(diào)節(jié)兩種算法各自的增益,可以使兩種算法達(dá)到某種相同的處理效果。不過,總的來說,疊加勾邊法在對圖像細(xì)節(jié)的處理上比移位法效果稍好。這是因為移位法只能用已有像素點(diǎn)的亮度值代替當(dāng)前像素點(diǎn)的亮度值,而不如用9階濾波器產(chǎn)生勾邊信號對細(xì)節(jié)的反映來得敏感。
4 亮度瞬態(tài)增強(qiáng)算法的硬件實(shí)現(xiàn)
  由于加上過山保護(hù)后的移位法在搜索替代路徑時用硬件實(shí)現(xiàn)較復(fù)雜,且從以上兩種算法的比較分析中看出采用9階濾波器的疊加勾邊法稍勝一籌,因此本文最終采用加上高頻判斷后的疊加勾邊法來實(shí)現(xiàn)亮度瞬態(tài)增強(qiáng)算法。為檢驗此算法運(yùn)用到實(shí)際硬件系統(tǒng)中的實(shí)時處理性能,在一個以FPGA為核心的實(shí)時視頻處理平臺上實(shí)現(xiàn)了該算法,其硬件設(shè)計采用Verilog硬件描述語言。
  該硬件結(jié)構(gòu)主要由兩大模塊組成:高頻判斷模塊和疊加勾邊模塊。本文列出疊加勾邊模塊的內(nèi)部硬件結(jié)構(gòu)圖如圖6所示。該算法中主要有三個參數(shù)可調(diào):高頻判斷門限值、核化降噪門限值及疊加勾邊信號時的增益值。這些參數(shù)通過I2C總線來實(shí)現(xiàn)參數(shù)的實(shí)時修改:在硬件系統(tǒng)中由3個寄存器來存儲這3個參數(shù)的值。這些寄存器都連接到系統(tǒng)的I2C接口模塊上,可在系統(tǒng)外利用PC通過I2C總線實(shí)時修改寄存器中的值。
  用VCS硬件仿真器對輸入的多種標(biāo)準(zhǔn)測試" title="標(biāo)準(zhǔn)測試">標(biāo)準(zhǔn)測試圖進(jìn)行仿真后發(fā)現(xiàn),硬件仿真結(jié)果與算法仿真結(jié)果幾乎一致,對各種標(biāo)準(zhǔn)測試圖都不會損壞高頻細(xì)節(jié),且能達(dá)到清晰的亮度瞬態(tài)增強(qiáng)效果。此外,硬件實(shí)現(xiàn)代價很小,延時相對較少,基本上在數(shù)據(jù)輸入后的第13個時鐘就可全部完成運(yùn)算并輸出。


  本文介紹了亮度瞬態(tài)增強(qiáng)算法的原理,詳細(xì)闡述了兩種主要亮度瞬態(tài)增強(qiáng)算法的具體實(shí)現(xiàn)步驟;針對實(shí)驗過程中發(fā)現(xiàn)算法存在的問題,分別介紹了對兩種算法的具體改進(jìn)措施,并選擇一種改進(jìn)后的算法——加上高頻判斷后的疊加勾邊法作為本文的硬件實(shí)現(xiàn)算法,并闡述了該算法的硬件實(shí)現(xiàn)過程。通過軟硬件仿真同時證明,改進(jìn)后的算法能達(dá)到非常好的亮度瞬態(tài)增強(qiáng)效果,使圖像變得清晰亮麗,且硬件實(shí)現(xiàn)代價很小。這兩種算法對圖像的色度信號進(jìn)行瞬態(tài)增強(qiáng)處理(CTI)同樣能使色度信號的邊緣變得更清晰。本文研究的內(nèi)容對現(xiàn)今數(shù)字視頻處理芯片的算法設(shè)計具有一定的參考價值和指導(dǎo)意義。
參考文獻(xiàn)
1 Kelting P,Waterholter H.Improve picture quality module MK10.Philips Application Note 99022,1999:47~54
2 孫一飛.基于FPGA的視頻后處理系統(tǒng).浙江大學(xué)碩士論文,2004
3 李 銘.一種色度瞬態(tài)改善算法及其實(shí)現(xiàn).電視技術(shù),2003;(12):54~56

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。