高明1,2,3, 鄒耀斌1,2,3, 雷幫軍1,2,3, 徐光柱1,2,3
(1.三峽地區(qū)地質(zhì)災(zāi)害與生態(tài)環(huán)境湖北省協(xié)同創(chuàng)新中心,湖北 宜昌 443002; 2.湖北省水電工程智能視覺監(jiān)測重點(diǎn)實(shí)驗(yàn)室,湖北 宜昌 443002; 3.三峽大學(xué) 計(jì)算機(jī)與信息學(xué)院,湖北 宜昌 443002)
摘要:目前國內(nèi)外的研究主要圍繞霧氣這一退化因素提出不同的增強(qiáng)方法。然而,在工程實(shí)踐中,光電雷達(dá)監(jiān)控系統(tǒng)晝光傳感器因同時(shí)受霧氣和噪聲的干擾,導(dǎo)致捕獲的圖像不但整體偏暗、對比度偏低、色彩失真,而且隱含有噪聲。在分析光電雷達(dá)監(jiān)控系統(tǒng)晝光傳感器捕獲的圖像的特性基礎(chǔ)上,提出了一種噪聲干擾下的霧天圖像增強(qiáng)方法。首先利用引導(dǎo)濾波器對原圖像進(jìn)行濾波操作,然后對濾波后的圖像進(jìn)行直方圖拉伸變換。在大量實(shí)際圖像上的實(shí)驗(yàn)結(jié)果表明,該方法能夠有效抑制噪聲干擾,同時(shí)顯著增強(qiáng)降質(zhì)圖像。
關(guān)鍵詞:去霧增強(qiáng);噪聲;引導(dǎo)濾波;直方圖拉伸
0引言
水電工程智能視覺監(jiān)測湖北省重點(diǎn)實(shí)驗(yàn)室開放基金項(xiàng)目(2014KLA02);宜昌市科學(xué)技術(shù)研究與開發(fā)項(xiàng)目(A13302a03)大氣污染日益加劇,霧霾頻發(fā)。在霧天,室外成像系統(tǒng)獲取的圖像質(zhì)量退化,表現(xiàn)為對比度下降、細(xì)節(jié)丟失、顏色失真。因此,對霧天降質(zhì)圖像進(jìn)行增強(qiáng)具有重要現(xiàn)實(shí)意義。
霧天降質(zhì)圖像增強(qiáng)是近些年來計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)研究熱點(diǎn)和難點(diǎn)。已有許多優(yōu)秀的霧天降質(zhì)圖像增強(qiáng)方法[1],主要分為兩類:基于非物理模型的霧天圖像增強(qiáng)方法和基于物理模型的霧天圖像復(fù)原方法。圖像增強(qiáng)方法能有效提高對比度,突出細(xì)節(jié)。如直方圖均衡化[23],通過重新分配圖像像素值,使得一定灰度范圍內(nèi)的像素?cái)?shù)量大致相同。此方法對圖像進(jìn)行全局對比度增強(qiáng),易放大圖像噪聲。為克服不足,ZUIDERVELD K[4]提出限制對比度自適應(yīng)直方圖均衡化算法,通過在計(jì)算累計(jì)分布函數(shù)前用預(yù)定義的閾值裁剪直方圖限制放大幅度,但易使彩色圖像出現(xiàn)色偏?;谖锢砟P偷膱D像復(fù)原方法方面,一些學(xué)者利用McCARTNEY E J等人提出的大氣散射模型[5],對霧天場景建模來解決霧天降質(zhì)圖像的去霧問題。如TAN R T[6]統(tǒng)計(jì)發(fā)現(xiàn)無霧圖像相對于有霧圖像具有較高對比度,故最大化圖像的局部對比度,但復(fù)原后顏色常過飽和。FATTAL R[7]假設(shè)光傳播和場景目標(biāo)局部不相關(guān),估算出場景的輻照度和傳播圖像。該方法可因無法得到可信的傳播圖像造成復(fù)原圖像失真較大。為解決以上問題,He Kaiming等人[8]提出基于暗原色的單幅圖像去霧技術(shù),指出無霧圖像中存在能識(shí)別霧氣濃度的暗原色統(tǒng)計(jì)規(guī)律,利用暗原色先驗(yàn)求取透射率,然后使用摳圖算法進(jìn)行校正,最終恢復(fù)出無霧圖像,效果良好,但計(jì)算代價(jià)較大。近年來,針對上述幾種經(jīng)典算法涌現(xiàn)出許多改進(jìn)方法:如使用雙邊濾波[9]或中值濾波[10]代替暗原色優(yōu)先算法中的最小值濾波,能夠在降低時(shí)間復(fù)雜度的同時(shí)有效保持邊緣特性。
上述方法處理無明顯噪聲干擾的霧天降質(zhì)圖像能取得可以接受的增強(qiáng)效果。但若含霧圖像帶有較強(qiáng)噪聲干擾則增強(qiáng)效果差強(qiáng)人意,部分方法在增強(qiáng)場景的同時(shí)急劇地放大噪聲,造成更為嚴(yán)重的視覺退化效應(yīng)。已有學(xué)者就此提出一些噪聲抑制方法,如MATLIN E等人[11]采用圖像噪聲水平評價(jià)和迭代的方法同步去霧和去噪。Meng Gaofeng等人[12]對暗通道透射率函數(shù)進(jìn)行邊界約束,使用上下文正則化衰減噪聲并增強(qiáng)圖像結(jié)構(gòu)。葛廣一等人[13]通過對霧天圖像采用濾波半徑變化的雙邊濾波進(jìn)行模糊,重新計(jì)算傳輸率圖像后代入霧天成像模型,提出一種去霧過程中抑制噪聲的方法。
本文提出一種噪聲干擾下的霧天降質(zhì)圖像增強(qiáng)新方法。實(shí)驗(yàn)結(jié)果表明,提出的方法適合于光電雷達(dá)監(jiān)控系統(tǒng)晝光傳感器所捕獲的含霧圖像的增強(qiáng)。
1霧天圖像增強(qiáng)方法的提出
光電雷達(dá)監(jiān)控系統(tǒng)同時(shí)配備雷達(dá)定位裝置和晝光傳感器。晝光傳感器對光照環(huán)境敏感,在霧霾天氣能見度低的情況下獲得的圖像存在退化和噪聲干擾現(xiàn)象。本文首先定性分析傳感器捕獲的霧天降質(zhì)圖像特性,確定增強(qiáng)思路;再闡述方法中的引導(dǎo)濾波和對比度拉伸兩個(gè)關(guān)鍵技術(shù),最后給出本文算法步驟。
1.1隱含噪聲的含霧圖像定性分析
圖1(a)為霧天環(huán)境下獲取的彩色圖像。霧氣帶來明顯的視覺退化效應(yīng),由于成像系統(tǒng)在成像或圖像傳播期間引入噪聲,圖像夾雜一定程度的噪聲(隱含低對比度)。
圖1(b)為圖1(a)的紅、綠、藍(lán)三個(gè)通道直方圖。多數(shù)像素點(diǎn)的亮度值分布在[80,170]區(qū)間,直方圖分布相對狹窄,導(dǎo)致圖像整體亮度偏低、對比度不高、色彩淡化。為改善圖像整體亮度,提升對比度,提高色彩飽和度,可考慮使用直方圖拉伸方法。
接下來分析圖像中隱含的噪聲特性。圖像中均質(zhì)區(qū)域能避免圖像中細(xì)節(jié)豐富對圖像的干擾,更好地表現(xiàn)噪聲特征。圖1(a)中紅色方框?yàn)槿我膺x取的矩形區(qū)域,計(jì)算其直方圖如圖1(c)所示。采用概率密度擬合分析技術(shù),發(fā)現(xiàn)三個(gè)通道的亮度分布能很好地使用高斯分布來擬合,可判定圖1(a)中噪聲為高斯噪聲。因此考慮使用具有抑制高斯噪聲的濾波器濾除噪聲,本文使用保邊去噪且時(shí)間復(fù)雜度低的線性引導(dǎo)濾波器。
技術(shù)上,考慮噪聲主要分布于狹窄的亮度范圍內(nèi),若先對圖像直方圖進(jìn)行拉伸會(huì)將噪聲分散到更廣范圍,噪聲對比度比場景對比度提升更明顯,反而退化了圖像視覺質(zhì)量。因此考慮先對圖像進(jìn)行引導(dǎo)濾波處理,平滑噪聲,再拉伸直方圖,從而增強(qiáng)霧天圖像質(zhì)量。根據(jù)這一思路,下面分析用于去噪的引導(dǎo)濾波技術(shù)和用于增強(qiáng)對比度的直方圖拉伸技術(shù)。
1.2引導(dǎo)濾波
引導(dǎo)濾波的基本原理是通過一幅引導(dǎo)圖像對輸入圖像進(jìn)行濾波,輸出的圖像在保留輸入圖像整體特征的同時(shí)能充分獲取引導(dǎo)圖像的變化細(xì)節(jié)。
將引導(dǎo)圖像記為I,輸入圖像記為p,輸出圖像記為q。其中引導(dǎo)圖像I和輸入圖像p需根據(jù)具體應(yīng)用事先設(shè)定。
引導(dǎo)濾波的核心思想是假設(shè)q是I中窗口ωk的一個(gè)線性變換,該窗口以像素點(diǎn)k為中心:
qi=akIi+bki∈ωk(1)
其中,(ak,bk)是線性系數(shù),在ωk中被當(dāng)作常數(shù),ωk是半徑為r的正方形窗口。此局部線性模型保證了當(dāng)且僅當(dāng)I存在邊界時(shí)q才有邊界,因?yàn)楂齫=aI。故該濾波器可有效保持邊界信息。
引導(dǎo)濾波通過輸入圖像p的約束確定線性系數(shù)(ak,bk)。按照如下方式建模,輸出q等于輸入p減去某些成分n(噪聲、紋理信息):
qi=pi-ni(2)
此時(shí),最小化q與p之間差值的同時(shí)保持式(1)線性模型。特殊地,最小化窗口ωk的代價(jià)函數(shù):
其中,ε是正則化參數(shù)懲罰過大的ak。式(3)的本質(zhì)是線性回歸方程,它的解為:
其中,μk和σ2k分別是引導(dǎo)圖像I中窗口ωk的均值和方差,|ω|為窗口內(nèi)的像素個(gè)數(shù),pk=1|ω|∑i∈ωkpi是在窗口ωk中p的均值。獲得線性系數(shù)(ak,bk)后,可以通過式(1)計(jì)算濾波輸出qi。
由于一個(gè)像素點(diǎn)i在多個(gè)重疊窗口ωk中累計(jì)計(jì)算,在不同窗口中通過式(1)計(jì)算出的qi值不同。一個(gè)簡單的策略是把qi的所有可能值做平均,所以在計(jì)算出圖像中所有窗口ωk的線性系數(shù)(ak,bk)后,通過式(6)計(jì)算濾波輸出。
由于方形窗口的對稱性,式(6)可簡寫為:
qi=aiIi+bi(7)
其中,ai和bi是包含像素點(diǎn)i的所有窗口的平均系數(shù)。
引導(dǎo)濾波的原理示意圖如圖2所示。
1.3對比度拉伸
圖像增強(qiáng)處理時(shí),為突出感興趣的目標(biāo)或灰度區(qū)間一般采用分段線性函數(shù),對比度拉伸變換是一種簡便有效的分段線性函數(shù)。把整個(gè)灰度區(qū)間劃分成幾個(gè)灰度區(qū)間,拉伸要增強(qiáng)目標(biāo)對應(yīng)的灰度區(qū)間,抑制不感興趣的灰度級,從而達(dá)到增強(qiáng)的目的。本文使用三段線性變換,表達(dá)式為:
其中,f(x,y)為輸入圖像在點(diǎn)(x,y)的像素值,g(x,y)為輸出圖像在點(diǎn)(x,y)的像素值,變換函數(shù)兩個(gè)折點(diǎn)的像素值分別記為l和h,兩個(gè)折點(diǎn)之間的分段直線斜率記為k。
1.4算法步驟
根據(jù)1.1節(jié)的分析得到本文的增強(qiáng)方案,即先對圖像進(jìn)行引導(dǎo)濾波處理,平滑噪聲,再進(jìn)行直方圖拉伸,從而增強(qiáng)圖像質(zhì)量。結(jié)合1.2和1.3節(jié)內(nèi)容,得到本文算法步驟如下:
?。?)輸入:濾波輸入圖像p,引導(dǎo)圖像I=p,半徑r,正則化參數(shù)ε。
?。?)計(jì)算均值和相關(guān)系數(shù)
meanI=fmean(I)
meanp=fmean(p)
corrI=fmean(I.*I)
corrIp=fmean(I.*p)
(3)計(jì)算方差和協(xié)方差
varI=corrI-meanI.*meanI
covIp=corrIp-meanI.*meanp
(4)計(jì)算系數(shù):
a=covIp./(varI+ε)
b=meanp-a.*meanI
?。?)計(jì)算平均系數(shù):
meana=fmean(a)
meanb=fmean(b)
?。?)得到濾波輸出圖像:
q=meana.*I+meanb
?。?)計(jì)算圖像q的上限值h、下限值l和縮放因子k=1h-l。
(8)根據(jù)上限值、下限值和縮放因子對圖像q進(jìn)行灰度級拉伸得到最終結(jié)果。
2實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
為驗(yàn)證有效性和實(shí)用性,通過450幅捕獲的霧天降質(zhì)圖像(大小均為704像素×576像素,彩色和灰度圖像各225幅),將本文算法與CLAHE[4]、BCCR[12]和Ge[13]進(jìn)行比較,并從主客觀方面進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果通過MATLAB2011a仿真得到,運(yùn)行硬件環(huán)境:Intel Core2 T9400 2.53 GHz CPU,4 GB內(nèi)存,64位Windows 7系統(tǒng)。
通過實(shí)驗(yàn)比對,以圖像表現(xiàn)最佳視覺效果為原則,確定各算法的參數(shù): CLAHE方法塊大小t=8,對比度限制因子cl=0.01;BCCR算法邊界約束窗口ω取3,正則化參數(shù)lambda取2;Ge的算法窗口大小px=15,透射率w=0.95;本文算法采用參數(shù)值r=8,ε=0.01,t=0.01。
作為示例,圖3和圖4分別為本方法與其他算法的增強(qiáng)效果對比。
一定程度抑制不利影響,但天空區(qū)域噪聲明顯放大,且圖像色調(diào)偏綠。圖3(c)中圖像較原始圖像平滑,噪聲得到抑制,但邊緣細(xì)節(jié)保持不佳且天空區(qū)域噪聲呈聚團(tuán)效應(yīng)。比較而言,圖3(d)則更好地恢復(fù)出景物色彩和結(jié)構(gòu),亮度提升明顯,同時(shí)噪聲明顯抑制。在灰度圖像上進(jìn)行比對試驗(yàn)。觀察圖4中的5幅圖像,同樣發(fā)現(xiàn)本方法的處理結(jié)果在景物細(xì)節(jié)保留、亮度保持和噪聲抑制3個(gè)方面總體效果優(yōu)于另3種方法。
客觀評價(jià)方面,對450幅圖像逐一測試,記錄均方誤差(MSE)、峰值信噪比(PSNR)、基于局部方差的結(jié)構(gòu)相似度(MSSIM)[14]和時(shí)間4個(gè)參數(shù)。觀察發(fā)現(xiàn)同種算法處理彩色圖像得到的4個(gè)數(shù)據(jù)分別散落分布在4個(gè)較小的區(qū)間內(nèi)(灰度圖像也存在此現(xiàn)象),這一現(xiàn)象與1.1節(jié)對隱含噪聲的霧天圖像的定性分析相互印證,即圖像在像素分布和噪聲類型上存在共性。故對數(shù)據(jù)分別取平均值示于表1、表2、表3中。表1和表2分別為4種算法對彩色圖像處理和灰度圖像的質(zhì)量評價(jià),本文算法的數(shù)據(jù)在MSE、PSNR以及MSSIM方面均為最優(yōu),表明本文提出方法在濾除噪聲和保持與原始圖像結(jié)構(gòu)相似性方面優(yōu)于其他3種算法。由表3時(shí)間評價(jià)可知,本文算法時(shí)效性優(yōu)于BCCR和Ge方法,僅次于CLAHE算法。
3結(jié)論
為增強(qiáng)隱含噪聲的霧天降質(zhì)圖像,本文提出一種簡單有效的方法。通過對霧天獲得的降質(zhì)圖像進(jìn)行引導(dǎo)濾波保邊去噪,然后實(shí)施直方圖拉伸調(diào)節(jié)圖像亮度,最終實(shí)現(xiàn)圖像視覺質(zhì)量的有效提高。實(shí)驗(yàn)結(jié)果表明,該方法在提高霧天圖像景象可見度的同時(shí)有效濾除噪聲干擾,增強(qiáng)圖像邊緣保持良好,細(xì)節(jié)清晰可辨,時(shí)效性高,特別適合于光電雷達(dá)監(jiān)控系統(tǒng)晝光傳感器所捕獲的含霧圖像的增強(qiáng)。
參考文獻(xiàn)
?。?] 吳迪,朱青松.圖像去霧的最新研究進(jìn)展[J].自動(dòng)化學(xué)報(bào),2015,41(2):221239.
[2] KIM J Y, KIM L S, HWANG S H.An advanced contrast enhancement using partially overlapped subblock histogram equalization[J]. Circuits and Systems for Video Technology, 2002, 11(4): 475484.
?。?] KAUR M, KAUR J.Survey of contrast enhancement techniques based on histogram equalization[J].International Journal of Advanced Computer Science and Application,2011,2(7):137141.
[4] ZUIDERVELD K. Contrast limited adaptive histogram equalization[M]. Graphics Gems IV. San Diego, CA, USA: Academic Press Professional,1994:474485.
?。?] McCARTNEY E J, TRANSLATED P N, Mao Jietai, et al. Optics of the atmosphere [M]. Beijing: Science Press, 1988.
?。?] TAN R T.Visibility in bad weather from a single image[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2008:18.
?。?] FATTAL R.Single image dehazing[C]. Special Interest Group for Computer GRAPHICS(SIGGRAPH),2008: 1-9.
?。?] He Kaiming,Sun Jian,Tang Xiaoou.Single image haze removal using dark channel prior[J].IEEE Transactions on pattern analysis and machine intelligence, 2011,33(12):23412353.
[9] 游謙,黎英,李玉成.基于雙邊濾波的RGB通道去霧算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(6):157160.
?。?0] 唐美玲,張小剛,陳華,等.一種自適應(yīng)中值濾波去霧算法[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(10):186190.
[11] MATLIN E, MILANFAR P.Removal of haze and noise from a single image[C]. The International Society for Optical Engineering,2012:82968306.
?。?2] Meng Gaofeng, Wang Ying, Duan Jiangyong,et al.Efficient image dehazing with boundary constraint and contextual regularization[C].IEEE International Conference on Computer Vision(ICCV),2013:617624.
[13] 葛廣一,魏振忠.圖像去霧過程中的噪聲抑制方法[J].紅外與激光工程,2014,43(8):27652771.
?。?4] 王宇慶,劉維亞,王勇.一種基于局部方差和結(jié)構(gòu)相似度的圖像質(zhì)量評價(jià)方法[J].光電子·激光,2008,19(11):15461553.