摘 要: 為克服傳統(tǒng)Retinex算法沒有解決的噪聲問題,提出了一種基于Retinex和BM3D的圖像增強(qiáng)算法。該方法將BM3D去噪環(huán)節(jié)加入到傳統(tǒng)Retinex算法中。首先,計(jì)算出圖像各像素之間的相對明暗關(guān)系,進(jìn)而對待處理圖像中的每個(gè)像素點(diǎn)灰度值進(jìn)行校正;然后,通過在相鄰圖像塊中搜索相似塊,組成一個(gè)三維矩陣,并在三維空間進(jìn)行濾波處理,得到塊預(yù)估計(jì)值;最后,對圖像中每個(gè)點(diǎn)進(jìn)行加權(quán)得到最終的處理結(jié)果。實(shí)驗(yàn)結(jié)果表明,該算法既能顯示陰影、光照區(qū)域中的細(xì)節(jié),又能有效消除圖像中含有的噪聲,克服了傳統(tǒng)Retinex圖像增強(qiáng)算法的不足。
關(guān)鍵詞: 圖像增強(qiáng);視網(wǎng)膜皮層理論;三維塊匹配
0 引言
人類接受的各種信息中視覺信息占很大比重,所以圖像信息是十分重要的信息傳遞方式。但由于光照環(huán)境或物體表面反光等原因造成圖像整體光照不均,或是圖像采集系統(tǒng)由于機(jī)械設(shè)備的緣故無法避免地加入采集噪聲等,導(dǎo)致圖像質(zhì)量大幅度下降,這時(shí)就需要圖像增強(qiáng)技術(shù)改善人的視覺效果。例如,在軍事應(yīng)用中,對敵偵查的圖像資料有限,因此可通過圖像增強(qiáng)處理獲取更多更準(zhǔn)確的目標(biāo)信息;在醫(yī)學(xué)應(yīng)用中,增強(qiáng)低劑量CT圖像質(zhì)量退化問題等,從而確定病癥的準(zhǔn)確位置;在空間應(yīng)用中,可通過圖像增強(qiáng)處理改善太空中拍攝的圖像的質(zhì)量,從而更多了解太空中的細(xì)節(jié)信息;在農(nóng)業(yè)應(yīng)用中,增強(qiáng)遙感圖像了解農(nóng)作物的分布以及生態(tài)的動(dòng)態(tài)監(jiān)測和估產(chǎn)。因此,研究有效的圖像增強(qiáng)算法成為圖像分析和圖像理解領(lǐng)域發(fā)展的關(guān)鍵內(nèi)容之一。
到目前為止,一般一種圖像增強(qiáng)算法只能對圖像中的某一項(xiàng)內(nèi)容進(jìn)行增強(qiáng)。比如直方圖均衡化,該算法能對圖像灰度的動(dòng)態(tài)范圍進(jìn)行調(diào)整。缺點(diǎn)是會(huì)造成灰度拉伸的“兩極分化”,而且在提高有用信息對比度的同時(shí),也增強(qiáng)了無用信息的對比度[1]。同態(tài)濾波也廣泛用于消除因光照不均或大霧影響造成圖像質(zhì)量較差等問題 ,但是對彩色圖像處理效果不佳,會(huì)產(chǎn)生色彩失真。Retinex算法相對普通圖像增強(qiáng)算法能夠得到更好的處理效果。該算法具有銳化、高動(dòng)態(tài)范圍壓縮、色彩恒常等特性。對于光照不均及霧霾天氣等原因引起的圖像質(zhì)量的下降有很好的增強(qiáng)效果[3-4]。但傳統(tǒng)Retinex算法在圖像增強(qiáng)處理中存在明顯的噪聲放大問題,該問題將直接影響后續(xù)的特征提取操作所獲得結(jié)果的準(zhǔn)確性,大大影響Retinex的實(shí)際應(yīng)用價(jià)值。
對于消除噪聲對圖像質(zhì)量的影響,傳統(tǒng)空間域降噪算法(如中值濾波、均值濾波等)雖然可以取得一定的平滑效果,但具有邊緣保持較差等缺點(diǎn)[5]。而三維塊匹配(BM3D)算法去噪效果顯著。該算法不僅可以得到較高的峰值信噪比,而且視覺效果很好。此外,該算法還可以克服傳統(tǒng)算法在濾除噪聲的同時(shí)引入人工噪聲的局限性[6]。
本文提出基于Retinex和BM3D相結(jié)合的方法,旨在彌補(bǔ)傳統(tǒng)Retinex算法的不足,從而改善圖像質(zhì)量,豐富信息量,加強(qiáng)圖像判讀和識(shí)別效果,滿足某些特殊分析的需要。
1 Retinex與BM3D算法
1.1 Retinex理論
根據(jù)Retinex色彩理論可知,物體的顏色是由物體對各種波長的光線的反射能力共同決定的,而物體在某個(gè)波段內(nèi)的反射能力是物體本身固有的屬性,與光源強(qiáng)度沒有依賴關(guān)系。因此,通過計(jì)算每個(gè)波段內(nèi)像素間的相對明暗關(guān)系,可以獲得各像素之間相對明暗關(guān)系值,從而對待處理圖像中的每個(gè)像素點(diǎn)灰度值進(jìn)行校正[7],消除光源非均勻性的影響, 提高圖像的對比度, 大幅度改善圖像的主觀質(zhì)量。
Retinex圖像增強(qiáng)算法主要包括以下幾個(gè)步驟:
?、艛?shù)據(jù)準(zhǔn)備
待處理圖像以灰度圖像為例,首先要將每個(gè)像素點(diǎn)的灰度值由整數(shù)轉(zhuǎn)換為浮點(diǎn)數(shù),為后期的浮點(diǎn)運(yùn)算做準(zhǔn)備。
?、朴?jì)算每個(gè)波段內(nèi)相對明暗關(guān)系
如圖1所示,從圖像上的A到終點(diǎn)B存在一條路徑,該路徑共有7個(gè)像素點(diǎn),灰度值依次為(d1,d2,d3,d4,d5)。則起點(diǎn)A和終點(diǎn)B之間的明暗關(guān)系可表示為:
其中,T(x)為門限函數(shù),即相鄰的像素值變化低于此門限時(shí),則認(rèn)為它們沒有改變。另外,Land等人的實(shí)驗(yàn)表明:人眼和攝像機(jī)對亮度的感知能力成指數(shù)型關(guān)系,所以像素間的明暗關(guān)系應(yīng)在對數(shù)域中處理[7]。這樣處理的另一好處是將復(fù)雜的乘除運(yùn)算轉(zhuǎn)換為加減運(yùn)算。故式(1)可簡化為:
式(2)中,起點(diǎn)A與終點(diǎn)B之間的相對明暗關(guān)系實(shí)質(zhì)上就是其像素灰度值在對數(shù)域中的差。
⑶像素點(diǎn)灰度值校正
根據(jù)像素之間的明暗關(guān)系來對原圖像中的每個(gè)像素點(diǎn)的灰度值進(jìn)行校正。校正后在圖像顯示時(shí)還需對圖像進(jìn)行線性拉伸,以得到更好的處理效果。
1.2 BM3D算法
BM3D是一種基于多尺度、非局部的濾波技術(shù),是一種效果較好的圖像去噪算法。該方法通過在相鄰圖像塊中搜索相似塊,組成一個(gè)三維矩陣,并在三維空間進(jìn)行濾波處理,得到塊預(yù)估計(jì)值,最后對圖像中每個(gè)點(diǎn)進(jìn)行加權(quán)得到最終的去噪結(jié)果[6]。
BM3D算法一般分為以下幾個(gè)步驟:
⑴分組
分組是以圖像塊之間高度的相似性為依據(jù)的。首先,在一個(gè)噪聲圖I中設(shè)定若干個(gè)參考塊。假設(shè)當(dāng)前參考塊為Ir,其大小為N1×N1。則以當(dāng)前參考塊為中心,以一個(gè)步長(通常為3個(gè)像素)在其周圍適當(dāng)區(qū)域內(nèi)進(jìn)行搜索,比較候選塊In與參考塊Ir的相似性,即兩塊距離。用dis來表示,故dis可定義為:
式(3)中,Mr和Mn分別表示圖像矩陣塊的模。
在此,使用一個(gè)距離閾值τmatch,通常也會(huì)設(shè)置相似塊的最大數(shù)量。如果參考塊與候選塊之間的距離小于τmatch,則認(rèn)為兩塊相似。由此,將每個(gè)參考塊與其相似塊進(jìn)行分組,即形成各參考塊的三維數(shù)組。
?、坡?lián)合濾波
首先對得到的三維數(shù)組進(jìn)行三維線性變換,在變換域中選取合適的閾值,濾除噪聲,然后通過逆變換得到所有分組塊的估計(jì)值。聯(lián)合濾波可表示如下:
式(4)中,T3D為一種三維變換,為其逆變換,Sm為搜索到的相似塊結(jié)果的集合,λthr為閾值參數(shù)。γ(.)為某硬閾值函數(shù),可表述為:
通過變換域硬閾值函數(shù)處理,可以濾除大部分噪聲分量,同時(shí)保留了真實(shí)圖像的信息。
⑶聚集
聚集實(shí)質(zhì)上就是對估計(jì)值的加權(quán)平均。由于分組和濾波后,每一塊的估計(jì)值有可能是重疊的,例如,塊A可能同時(shí)與塊B、C相似,所以在分組時(shí)A既會(huì)分到以B為參考塊的組,也會(huì)分到以C為參考塊的組。因此,A的估計(jì)值就有多個(gè),會(huì)產(chǎn)生重疊。為了獲得真實(shí)圖像的估計(jì)值,需要對不同估計(jì)值進(jìn)行加權(quán)平均。假設(shè)矩陣系數(shù)的非零個(gè)數(shù)為Nz,那么該參考塊的預(yù)估權(quán)值由式(6)計(jì)算:
Nz越小,表明真實(shí)圖像中夾雜的噪聲分量的值就越小,從而得到的權(quán)值就越大。
2 基于BM3D與Retinex的圖像增強(qiáng)
對于輸入圖像,首先進(jìn)行全局Retinex圖像增強(qiáng)算法處理。此方法既能保持顏色的恒定性,又能使得動(dòng)態(tài)范圍壓縮和邊緣增強(qiáng)相協(xié)調(diào),并且增強(qiáng)后的畫面細(xì)節(jié)還原充分,輪廓清晰,視覺效果好。然后,進(jìn)行基于BM3D圖像去噪算法處理。該方法在像素點(diǎn)估算過程中引入的人工噪聲很小,而且保留了圖像大部分細(xì)節(jié)信息,克服了傳統(tǒng)去噪算法在濾除噪聲時(shí)引入人工噪聲的局限性。算法流程如下:
⑴輸入圖像為S(x,y),若其為彩色圖像,則將其分解為SR(x,y)、SG(x,y)、SB(x,y)三幅灰度圖像,并分別將各灰度圖像中各像素的灰度值的數(shù)據(jù)類型由字節(jié)型轉(zhuǎn)換為雙字節(jié)型;若為灰度圖像,則將圖像中各像素的灰度值的數(shù)據(jù)類型由字節(jié)型轉(zhuǎn)換為雙字節(jié)型。
⑵將輸入圖像S(x,y)進(jìn)行對數(shù)處理:
?、菍⒃鰪?qiáng)后的圖像R(x,y)中的像素點(diǎn)的灰度值都初始化為constant。
⑷水平方向,令h=width/2,計(jì)算之間的相對明亮關(guān)系。通過式(8)、(9)、(10)對R(x,y)進(jìn)行校正。
?、韶Q直方向,令l=height/2,計(jì)算間的相對明亮關(guān)系。通過式(9)、(10)、(11)對R(x,y)進(jìn)行校正。
?、手貜?fù)⑷和⑸,直至h=1,l=1。
⑺對校正后的R(x,y)進(jìn)行線性拉伸,然后對其進(jìn)行分組、聯(lián)合濾波、聚集,從而得到最終的處理結(jié)果。
3 仿真結(jié)果及分析
圖2為以matlab 7.11為實(shí)驗(yàn)平臺(tái)的仿真結(jié)果,實(shí)驗(yàn)圖像為427×277像素的JPEG類型的灰度圖像。BM3D算法中參數(shù)設(shè)置:塊大小為8×8,硬閾值為2.7。
圖2分別給出了同態(tài)濾波、直方圖均衡化、單尺度Retinex算法(SSR)、多尺度Retinex算法(MSR)以及本文算法對于灰度增強(qiáng)效果圖。表1列出了上述算法對于灰度圖像處理前后圖像質(zhì)量評價(jià)指標(biāo)統(tǒng)計(jì)數(shù)據(jù)。圖像的均值反映圖像整體灰度。標(biāo)準(zhǔn)差反映圖像整體灰度的分布,標(biāo)準(zhǔn)差越大,對比度就越大;標(biāo)準(zhǔn)差越小,對比度也越小。信息熵反映圖像的信息量,是圖像像素位置的灰度信息和像素鄰域內(nèi)灰度分布的綜合特征。
由圖2實(shí)驗(yàn)結(jié)果對比可知,直方圖均衡化在處理灰度圖像時(shí)使得亮的地方更亮,暗的地方更暗。因此,無法還原出原圖中大多數(shù)細(xì)節(jié)問題。從表1中可以看出,直方圖均衡化雖然可以很大程度上提高圖像的亮度和對比度,但是同時(shí)也會(huì)淹沒很多有用信息,故其信息熵并不是很高。同態(tài)濾波雖然廣泛應(yīng)用于壓縮圖像灰度的動(dòng)態(tài)范圍,增強(qiáng)對比度,但是處理后的圖像對比度和整體亮度偏低。單尺度Retinex算法可以還原出原圖中大多數(shù)細(xì)節(jié)問題,但是無法在動(dòng)態(tài)范圍壓縮和顏色保真達(dá)到平衡。多尺度Retinex能夠使動(dòng)態(tài)范圍壓縮和顏色保真達(dá)到平衡,但增強(qiáng)后的圖像并不具有非常好的色彩保真。此外,從峰值信噪比指標(biāo)表明,SSR和MSR會(huì)增強(qiáng)噪聲,從而降低圖像峰值信噪比,造成圖像一定程度的失真。而本文圖像增強(qiáng)算法既能還原出原圖像中的大多數(shù)細(xì)節(jié)問題,還能使動(dòng)態(tài)范圍壓縮和邊緣增強(qiáng)相協(xié)調(diào),并且可以消除Retinex算法中產(chǎn)生的噪聲問題,提高圖像的峰值信噪比,克服了傳統(tǒng)Retinex圖像增強(qiáng)算法的不足,達(dá)到了較好的圖像處理效果,使得處理后的圖像更接近于真實(shí)圖像。
因此,實(shí)驗(yàn)結(jié)果表明,本文圖像增強(qiáng)算法在保持顏色的恒定性、提高對比度、消除Retinex算法中產(chǎn)生的噪聲問題、提高圖像的峰值信噪比、有效顯示陰影和光照區(qū)域中的細(xì)節(jié)等方面具有明顯的優(yōu)勢。
4 結(jié)論
Retinex是一種建立在科學(xué)實(shí)驗(yàn)和科學(xué)分析基礎(chǔ)上的圖像增強(qiáng)理論,其本質(zhì)就是拋開圖像中的入射分量的影響,獲得物體的反射分量,即獲得物體的本來面貌。與其他圖像增強(qiáng)算法相比,Retinex算法具有顏色恒常性強(qiáng)、動(dòng)態(tài)范圍壓縮大、色彩保真度高等特點(diǎn)。
本文提出一種Retinex和BM3D相結(jié)合的方法。仿真結(jié)果表明,該方法不僅可以顯示陰影、光照區(qū)域中的細(xì)節(jié),加強(qiáng)圖像判讀和識(shí)別效果,從而能夠滿足某些特殊分析的需要。同時(shí),又能有效消除圖像對比度拉伸過程中產(chǎn)生的噪聲問題,克服了傳統(tǒng)Retinex圖像增強(qiáng)算法的不足。
本文研究成果可廣泛應(yīng)用于交通方面,對大霧天氣、早晚陰雨天氣情況下的圖像進(jìn)行增強(qiáng),提高車牌、路標(biāo)等重要信息的識(shí)別效果。
參考文獻(xiàn)
[1] 黃華,王孝通. 基于Retinex理論的圖像增強(qiáng)算法[J]. 四川兵工學(xué)報(bào),2009,30(1): 64-68.
[2] 鄭剛,賈振紅. 同態(tài)技術(shù)在紅外圖像處理中的應(yīng)用[J]. 光子學(xué)報(bào),2005,34(9): 1401-1403.
[3] 李學(xué)明. 基于Retinex理論的圖像增強(qiáng)算法[J]. 計(jì)算機(jī)應(yīng)用與研究, 2005.22(2): 235-237.
[4] 史延新. 一種基于Retinex 理論的圖像增強(qiáng)算法[J]. 電子科技, 2007,17(12): 32-35.
[5] 范習(xí)健,李慶武,黃河,等. 側(cè)掃聲吶圖像的3維塊匹配降斑方法[J]. 中國圖象圖形學(xué)報(bào), 2012,17(1):68-74.
[6] Dabov K,F(xiàn)oi A,Katkovnik V,et al. Image denoising by sparse 3D transform-domain collaborative filtering [J].IEEE Transactions on Image Processing(S1057-7149), 2007,16 (8):2080-2095.
[7] Land E H. The Retinex theory of color vision[J] . Scientific American, 1977, 237(6):108-128.