引言
光線在傳播過(guò)程中會(huì)因大氣中懸浮的微小顆粒和塵埃而發(fā)生多次散射，導(dǎo)致捕獲的圖像質(zhì)量退化，出現(xiàn)模糊、對(duì)比度下降、色彩失真等問(wèn)題［1］。在計(jì)算機(jī)視覺(jué)領(lǐng)域中，模型訓(xùn)練離不開(kāi)清晰圖像的支持，尤其是涉及語(yǔ)義分割、目標(biāo)檢測(cè)等相關(guān)任務(wù)，因此清晰圖像的獲取尤為重要。圖像去霧旨在通過(guò)一系列處理，將模糊的霧霾圖像還原成清晰的無(wú)霧圖像，從而為相關(guān)任務(wù)提供技術(shù)支持。
圖像去霧技術(shù)根據(jù)核心原理可分為三類(lèi)：基于圖像增強(qiáng)、基于物理模型及基于深度學(xué)習(xí)的方法［2］。早期圖像去霧技術(shù)主要依賴(lài)于圖像增強(qiáng)，通過(guò)調(diào)整圖像的對(duì)比度或頻域從而在視覺(jué)上改善清晰度，但未能從根本上消除霧霾。例如，Wu等人提出利用小波變換方法將圖像分解為高頻與低頻分量［3］，其中高頻分量包含了邊緣紋理等信息，通過(guò)處理高頻系數(shù)增強(qiáng)圖像細(xì)節(jié)，提升圖像清晰度；Oakley等人提出直方圖均衡化［4］，通過(guò)調(diào)整圖像的灰度直方圖分布，增強(qiáng)圖像對(duì)比度；Zhang等人基于Retinex理論［5］，將去霧看作是解耦反射分量和光照分量的過(guò)程，通過(guò)分離光照干擾以恢復(fù)場(chǎng)景反射特性，從而改善圖像質(zhì)量。然而這類(lèi)方法在處理非均勻霧霾或復(fù)雜場(chǎng)景時(shí)易出現(xiàn)色彩失真或過(guò)增強(qiáng)等問(wèn)題。相比之下，基于物理模型的去霧方法，則是從大氣光的成像原理出發(fā)，用大氣散射模型描述霧霾圖像的成因，如式(1)所示:
I(x)=J(x)t(x)+A(1-t(x))(1)
其中I表示霧霾圖像，J表示無(wú)霧圖像，t表示傳輸率，A表示大氣光。由于t和A是未知變量，求解無(wú)霧圖像J則成為一個(gè)病態(tài)問(wèn)題，因此這類(lèi)方法往往需要引入先驗(yàn)知識(shí)。經(jīng)典的有He等人［6］提出的暗通道先驗(yàn)，指出無(wú)霧的清晰圖像在RGB顏色空間上至少有一個(gè)通道上的像素值接近于0；Berman等人［7］提出“霧線”先驗(yàn)，指出RGB顏色空間中顏色相似的像素點(diǎn)會(huì)在有霧的情況由原先的簇狀聚集轉(zhuǎn)變成直線；Zhu等人［8］提出顏色衰減先驗(yàn)，指出像素的亮度和飽和度的差值和霧霾濃度呈正相關(guān)。引入這些先驗(yàn)知識(shí)，再結(jié)合大氣散射模型，可求解出無(wú)霧圖像J。但這些先驗(yàn)知識(shí)往往都是依賴(lài)于特定條件或場(chǎng)景，通過(guò)研究大量數(shù)據(jù)總結(jié)得出，一旦場(chǎng)景發(fā)生改變，先驗(yàn)可能會(huì)失效，進(jìn)而影響最終的去霧效果。如He等人提出的暗通道先驗(yàn)，當(dāng)圖像中存在大面積的天空區(qū)域時(shí)，去霧后會(huì)產(chǎn)生嚴(yán)重的失真和Halo效應(yīng)［9］，如圖1所示。隨著技術(shù)的發(fā)展，研究者為了避免這一局限性，開(kāi)始將深度學(xué)習(xí)應(yīng)用于去霧任務(wù)，前期主要采用兩段式，如Cai等人［10］提出的DehazeNet網(wǎng)絡(luò)，先利用卷積計(jì)算透射率t，再結(jié)合物理模型求解出無(wú)霧圖像。盡管級(jí)聯(lián)估計(jì)能夠逐步細(xì)化透射率與大氣光參數(shù)，但該過(guò)程易發(fā)生參數(shù)誤差疊加［11］。于是，研究者們進(jìn)一步提出端到端的去霧方法，如Li等人［12］提出的AOD-Uet，直接將霧圖作為輸入，無(wú)霧圖像作為輸出，利用神經(jīng)網(wǎng)絡(luò)計(jì)算二者之間的映射關(guān)系，擺脫了物理模型的束縛。
圖1暗通道去霧結(jié)果
目前，基于深度學(xué)習(xí)的端到端的去霧方法已經(jīng)成為主流，通過(guò)數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)霧霾圖像到清晰圖像間的映射關(guān)系，其中基于編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，由于其可擴(kuò)展性以及低復(fù)雜性，在去霧任務(wù)中受到廣泛青睞。然而自然場(chǎng)景下的霧霾分布呈現(xiàn)顯著的空間非均勻性，傳統(tǒng)的編碼器-解碼器結(jié)構(gòu)處理這種復(fù)雜場(chǎng)景時(shí)存在明顯局限性：一是編碼器在下采樣過(guò)程中，雖然能夠提取高層語(yǔ)義特征，但往往會(huì)丟失大量高頻細(xì)節(jié)信息，尤其是在霧霾濃度較高的遠(yuǎn)景區(qū)域，圖像的紋理和邊緣細(xì)節(jié)容易被過(guò)度平滑；二是解碼器在上采樣階段，難以精確重建與深度相關(guān)的霧霾分布特征，尤其是在景深變化劇烈的區(qū)域，容易出現(xiàn)不自然的過(guò)渡效果；三是網(wǎng)絡(luò)信息傳遞單向，缺乏不同層級(jí)特征的動(dòng)態(tài)交互，導(dǎo)致全局與局部特征協(xié)同不足。這些問(wèn)題最終導(dǎo)致重建圖像出現(xiàn)偽影、色彩失真以及對(duì)比度不足，從而削弱了去霧效果［13］。
為解決上述問(wèn)題，本文提出了一種基于改進(jìn)UNet的多尺度層級(jí)融合去霧網(wǎng)絡(luò)(MHFEUN)，主要貢獻(xiàn)如下：
(1)針對(duì)編碼器下采樣過(guò)程中高頻細(xì)節(jié)丟失問(wèn)題，基于UNet改進(jìn)結(jié)構(gòu)，引入多尺度輸入機(jī)制，通過(guò)不同尺度圖像捕獲層級(jí)特征，補(bǔ)充高頻細(xì)節(jié)信息。
(2)針對(duì)解碼器上采樣過(guò)程中特征重建問(wèn)題，提出了特征增強(qiáng)塊(Feature Enhancement Blocks, FEB)，通過(guò)融合高效通道注意力(Efficient Channel Attention, ECA)機(jī)制和像素注意力(Pixel Attention, PA)機(jī)制，精準(zhǔn)聚焦景深劇烈變化區(qū)域的關(guān)鍵特征，避免空間信息丟失。
(3)針對(duì)全局與局部特征協(xié)同欠缺問(wèn)題，提出了多尺度特征融合模塊(Multiscale Feature Fusion Module, MSFM)，以自適應(yīng)特征交互機(jī)制替代傳統(tǒng)線性連接，促進(jìn)不同層級(jí)特征動(dòng)態(tài)交互，實(shí)現(xiàn)全局與局部特征的充分協(xié)同。
本文詳細(xì)內(nèi)容請(qǐng)下載：
http://ihrv.cn/resource/share/2000006859
作者信息：
季云云1，熊亮2
(1.馬鞍山學(xué)院大數(shù)據(jù)與人工智能學(xué)院，安徽馬鞍山243100；
2.國(guó)軒高科動(dòng)力能源有限公司，安徽合肥230041)
