文獻(xiàn)標(biāo)識碼： A
DOI：10.16157/j.issn.0258-7998.183313
中文引用格式： 安鶴男，張昌林，涂志偉，等. 雨密度感知分類引導(dǎo)擴(kuò)張網(wǎng)絡(luò)對單張圖片去雨[J].電子技術(shù)應(yīng)用，2019，45(2)：1-4.
英文引用格式： An Henan，Zhang Changlin，Tu Zhiwei，et al. Rain density classification guides the expansion network for rain removal from a single images[J]. Application of Electronic Technique，2019，45(2)：1-4.
0 引言
醫(yī)學(xué)圖像病例分析、土壤覆蓋率檢測等眾多領(lǐng)域都假設(shè)圖片足夠清晰。然而，在自然界中，類似霧、陰雨等惡劣的氣候壞境是不可避免的，這些惡劣天氣會嚴(yán)重降低圖片背景清晰度，破壞計算機(jī)視覺系統(tǒng)的性能。因此，從單張雨圖像中去除雨線條紋對于室外場景的監(jiān)控系統(tǒng)有重要意義。
由于圖像中的雨密度分布不均勻特點，文獻(xiàn)[1]、[2]等去除雨線條紋算法在處理不同雨密度方面上傾向于去除雨線條紋，忽略了雨線條紋與背景信息的內(nèi)在重疊，導(dǎo)致背景細(xì)節(jié)丟失?，F(xiàn)有基于深度學(xué)習(xí)對單張圖片去除雨方法主要局限于學(xué)習(xí)某些固定特征的雨線，針對不同密度和形狀的雨，學(xué)習(xí)能力不足，以致去雨后背景細(xì)節(jié)丟失。針對這些問題，本文提出的雨密度感知引導(dǎo)擴(kuò)張去雨網(wǎng)絡(luò)(簡稱RDSGER)解決對不同雨密度的圖片調(diào)整學(xué)習(xí)能力。本文將雨圖大致分為三類：大雨、中雨、小雨。圖1為數(shù)據(jù)集3種不同密度的雨圖。
1 相關(guān)工作
基于視頻的方法近幾年來取得不錯效果。例如：文獻(xiàn)[3]方法通過在極短的時間內(nèi)視頻中的雨線相位保持一致的特點來檢測雨線，利用經(jīng)典的高斯混合模型來提取雨線[4-5]。
與基于視頻去除雨的方法相比，單張圖片去除雨的方法缺少上下文時間序列信息，因此對單張圖片去除雨的研究更具挑戰(zhàn)性。傳統(tǒng)的基于補丁[6-7]、稀疏編碼[8-9]等方法將雨線看成高頻成分從單張圖像中分離，去雨同時會平滑背景細(xì)節(jié)信息。隨著深度學(xué)習(xí)在各個領(lǐng)域的突破性進(jìn)展[10-11]，基于深度學(xué)習(xí)的單張圖片去雨也取得了重大突破。例如：文獻(xiàn)[12]利用小波變換和暗通道方法對單張圖片去雨；文獻(xiàn)[2]使用負(fù)殘差網(wǎng)絡(luò)提取雨線特征信息對單張圖片去雨。
2 提出方法
單張去除雨線條紋可以建模為如式(1)所示：
其中，x表示為干凈無雨圖片，s表示為雨線條紋，y表示為相應(yīng)x背景的有雨圖片。本文提出的RDSGER網(wǎng)絡(luò)主要包括兩個模塊：細(xì)節(jié)雨密度分類器和擴(kuò)張網(wǎng)絡(luò)去雨。細(xì)節(jié)雨密度分類器針對不同雨密度圖片正確分類；另一方面，雨密度分類信息引導(dǎo)擴(kuò)張網(wǎng)絡(luò)學(xué)習(xí)雨線特征并去除雨紋。所提出的RDSGER方法的整個網(wǎng)絡(luò)架構(gòu)如圖2所示。
2.1 雨密度感知分類器
圖像中的雨線條紋具有不同尺寸特征，單個去雨網(wǎng)絡(luò)學(xué)習(xí)不同密度的雨線特征能力不足。對不同雨密度圖片匹配相適應(yīng)的去雨網(wǎng)絡(luò)，有利于網(wǎng)絡(luò)學(xué)習(xí)雨線的所有特征。本文提出細(xì)節(jié)雨密度感知分類網(wǎng)絡(luò)智能針對不同雨密度圖片分類評估。雨密度大致分為三類：大雨、中雨和小雨，標(biāo)簽分別對應(yīng)0、1、2。
基于CNN模型的圖片分類研究取得突破進(jìn)展。例如：Res-Net[13]、VGG-16[14]等對圖片分類方法主要集中圖片的局部特征，泛化圖片特征加速訓(xùn)練。然而雨線條紋遍布整張圖片，使用CNN方法對圖片雨線所有特征捕獲不足，分類正確率不高。針對這一問題，本文提出細(xì)節(jié)雨密度分類網(wǎng)絡(luò)，利用細(xì)節(jié)網(wǎng)絡(luò)針對雨區(qū)中的雨線特征定位并提取雨線條紋。圖2上方為雨密度感知分類網(wǎng)絡(luò)。細(xì)節(jié)層可用有雨圖片減去經(jīng)過導(dǎo)向濾波[15-16]的結(jié)果表示。細(xì)節(jié)層中大部分區(qū)域像素基本接近為0，只有雨線條紋和背景對象邊緣細(xì)節(jié)保留在細(xì)節(jié)層中。這樣不僅消除背景信息對分類影響，同時有利于CNN聚合雨線特征提高分類正確率。分類器使用殘差網(wǎng)絡(luò)resnet-34[13]。
訓(xùn)練優(yōu)化分類器的損失函數(shù)如式(2)所示：
其中，D為雨密度感知分類器所有參數(shù)；y表示為不同密度的雨圖片；label表示不同雨密度的標(biāo)簽，即大雨、中雨、小雨分別對應(yīng)0、1、2；Lmse(，)為均方差。
2.2 擴(kuò)張去雨網(wǎng)絡(luò)
不同的雨密度圖片具有的不同特征信息，使用同一大小卷積核聚合不同雨線特征能力較弱。本文提出的擴(kuò)張網(wǎng)絡(luò)擴(kuò)大卷積核的感受，同時聚合多尺寸雨線信息，以增強(qiáng)對不同雨密度圖片雨線特征提取。圖2中擴(kuò)張網(wǎng)絡(luò)[1]是由擴(kuò)張塊1（擴(kuò)張因子為1）、擴(kuò)張塊2（擴(kuò)張因子為2）、擴(kuò)張塊3（擴(kuò)張因子為3）組成的。每個擴(kuò)張塊的組成方式如下所示：
(1)擴(kuò)張塊1由1個擴(kuò)張降采樣層、4個卷積層、1個上采樣層組成。
(2)擴(kuò)張塊2由2個擴(kuò)張降采樣層、2個卷積層、2個上采樣層組成。
(3)擴(kuò)張塊3由3個擴(kuò)張降采樣層、3個上采樣層組成。
擴(kuò)張降采樣層的圖片尺寸縮小為原來的一半，卷積層尺寸保持不變，上采樣層的圖片尺寸擴(kuò)大一倍。為了進(jìn)一步聚合來自不同尺寸雨線的特征，在每個擴(kuò)張塊的內(nèi)部使用跳轉(zhuǎn)鏈接（即第1塊輸出與第5塊輸出級聯(lián)，第2塊輸出與第4塊輸出級聯(lián)）以學(xué)習(xí)不同區(qū)域雨線特征，保留完整背景細(xì)節(jié)信息。圖3所示為擴(kuò)張塊1的內(nèi)部原理圖。
雨密度感知分類信息有利于引導(dǎo)擴(kuò)張網(wǎng)絡(luò)針對不同密度雨的圖片調(diào)整學(xué)習(xí)能力，同時為了進(jìn)一步保留完整背景信息。因此將上下文信息有雨圖片和擴(kuò)張網(wǎng)絡(luò)以及雨密度分類網(wǎng)絡(luò)級聯(lián)后輸入到雨線特征提取網(wǎng)絡(luò)來捕獲雨線條紋。將有雨圖片減去雨線特征提取網(wǎng)絡(luò)捕獲的雨線條紋，得到去雨圖片。最后對圖片背景細(xì)節(jié)進(jìn)一步優(yōu)化，采用兩個不同深度的卷積核（卷積核大小分別為通道數(shù)為16，通道數(shù)為3）進(jìn)行細(xì)節(jié)信息優(yōu)化。圖2所示下方為擴(kuò)張去雨網(wǎng)絡(luò)框架。
擴(kuò)張去雨網(wǎng)絡(luò)損失函數(shù)如式(3)所示：
其中，f為擴(kuò)張去雨網(wǎng)絡(luò)的所有參數(shù)，y為有雨圖片，x為相應(yīng)干凈無雨圖片，Lmse(，)為均方差。
3 實驗結(jié)果與分析
為了評估網(wǎng)絡(luò)的性能，本文與其他3種去除雨線條紋方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）做定量和定性對比。3種方法分別為：聯(lián)合擴(kuò)張網(wǎng)絡(luò)對圖片去雨（簡稱JORDER）[1]、深度細(xì)節(jié)網(wǎng)絡(luò)對單張圖片去雨（簡稱Detail-net）[2]、基于小波變化方法對單張圖片去雨（SRR-net）[12]。
3.1 訓(xùn)練數(shù)據(jù)集
實驗數(shù)據(jù)集基于文獻(xiàn)[17]數(shù)據(jù)集上訓(xùn)練。訓(xùn)練數(shù)據(jù)集包含3種不同雨密度圖片各4 000張，每類數(shù)據(jù)集中雨線分布為不同形狀和方向。測試數(shù)據(jù)集總共600張包含真實雨圖片。
3.2 網(wǎng)絡(luò)參數(shù)設(shè)計
3.2.1 擴(kuò)張網(wǎng)絡(luò)參數(shù)設(shè)計
擴(kuò)張塊1：降采樣層和卷積層使用3個大小分別為1、3、1的卷積層，上采樣層使用兩個大小為1、3的卷積層；擴(kuò)張塊2：降采樣層和卷積層使用3個大小分別為1、3、1的卷積層，上采樣層使用兩個大小為1、5卷積層；擴(kuò)張塊3：降采樣層和卷積層使用3個大小分別為1、3、1卷積層，上采樣層使用兩個大小為1、7的卷積層。
3.2.2 訓(xùn)練分類器網(wǎng)絡(luò)參數(shù)
圖片大小隨機(jī)裁剪為512×512，使用Adam優(yōu)化器，小批量數(shù)據(jù)為64，學(xué)習(xí)率初始化為0.003。Pytorch作為本文網(wǎng)絡(luò)訓(xùn)練框架。
3.2.3 擴(kuò)張去雨網(wǎng)絡(luò)參數(shù)
訓(xùn)練期間，圖片大小隨機(jī)裁剪為512×512，使用Adam優(yōu)化器，小批量數(shù)據(jù)大小為1，學(xué)習(xí)率初始化為0.002。
3.3 細(xì)節(jié)雨密度分類器結(jié)果
本文提出的細(xì)節(jié)雨密度分類器與基于CNN算法的resnet-34和VGG-16率比較如表1所示?？梢钥闯霰疚奶岢龅募?xì)節(jié)網(wǎng)絡(luò)消除背景細(xì)節(jié)對分類干擾，提高了對不同雨密度正確率。
3.4 合成數(shù)據(jù)集測試結(jié)果及分析
為了評估本文方法有效性，在本文測試數(shù)據(jù)集上與其他3種方法做定性和定量對比。表2所示為600張數(shù)據(jù)集方法的平均PNSR和SSIM對比結(jié)果，可以看出本文在PNSR和SSIM性能上的優(yōu)異性。
為了直觀視覺感受本文提出方法的有效性，從合成的3種不同密度雨與其他3種方法測試做定性對比。如圖4所示，可以看出JORDER處理中小雨圖片雨線去除較干凈，但仍殘留雨線條紋，處理大雨時過度平滑背景。從第一行和第二行的第三列中看出，SRR-net處理大雨圖片時過度平滑背景細(xì)節(jié)特征，detail-net方法處理大雨圖片時留下過多的雨線條紋。本文提出方法在去除雨線條紋的同時能夠有效保留更多背景細(xì)節(jié)。
3.5 真實雨測試結(jié)果
在真實雨場景下與其他3種方法進(jìn)行測試對比，結(jié)果如圖5所示。從第二行和第三行的第二列看出，Detail-net方法對真實場景去除雨會殘留雨線條紋；從第一行的第三、第四列雨滴細(xì)節(jié)變黑看出，SRR-net和JORDER方法去除雨線條紋會平滑背景細(xì)節(jié)。本文相較于其他3種方法去雨效果明顯，背景細(xì)節(jié)保留相對完整。
4 結(jié)論
單一神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同雨線特征能力弱，本文提出的細(xì)節(jié)雨密度感知擴(kuò)張去雨網(wǎng)絡(luò)有效引導(dǎo)一定范圍雨密度的圖片匹配相適應(yīng)網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)對不同密度雨線特征調(diào)整學(xué)習(xí)能力，同時去雨后圖片保留了較完整背景細(xì)節(jié)。在合成和真實數(shù)據(jù)集進(jìn)行測試對比，結(jié)果證明了本文擴(kuò)張去除雨線條紋網(wǎng)絡(luò)的有效性。
參考文獻(xiàn)
[1] YANG W，TAN R T，F(xiàn)ENG J，et al.Deep joint rain detection and removal from a single image[J].arXiv：1609.07769，2017.
[2] FU X，HUANG J，ZENG D，et al.Removing rain from single images via a deep detail network[C].IEEE Conference on Computer Vision and Pattern Recognition，2017：1357-1366.
[3] SANTHASEELAN V，ASARI V K.Utilizing local phase information to remove rain from video[J].International Journal of Computer Vision，2015，112(1)：71-89.
[4] BOSSU J，HAUTIERE N，TAREL J P.Rain or snow detection in image sequences through use of[J].International Journal of Computer Vision，2011，93(3)：348-367.
[5] DEYU M，LIXUAN Y，QIAN Z，et al.Should we encode rain streaks in video as deterministic or stochastic?[C].IEEE International Conference on Computer Vision，IEEE Computer Society，2017：2516-2525.
[6] LI Y，TAN R T，GUO X，et al.Rain streak removal using layer priors[C].IEEE Conference on Computer Vision and Pattern Recognition，2016：2736-2744.
[7] HUANG D A，KANG L W，YANG M C，et al.Context-aware single image rain removal[C].IEEE International Conference on Multimedia & Expo，2012：164-169.
[8] LUO Y，XU Y，JI H.Removing rain from a single image via discriminative sparse coding[C].IEEE International Conference on Computer Vision，2015：3397-3405.
[9] SON C H，ZHANG X P.Rain removal via shrinkage of sparse codes and learned rain dictionary[C].IEEE International Conference on Multimedia & Expo Workshops，2016：1-6.
[10] 黃睿，陸許明，鄔依林.基于TensorFlow深度學(xué)習(xí)手寫體數(shù)字識別及應(yīng)用[J].電子技術(shù)應(yīng)用，2018，44(10)：6-10.
[11] 王雅欣，史瀟瀟.基于生成對抗網(wǎng)絡(luò)的人臉熱紅外圖像生成[J].信息技術(shù)與網(wǎng)絡(luò)安全，2018，37（8）：40-44.
[12] SHEN L，YUE Z，CHEN Q，et al.Deep joint rain and haze removal from single images[J].arXiv：1801.06769v1，2018.
[13] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.
[14] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv：1409.1556，2014.
[15] HE K，SUN J，TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，35(6)：1397-1409.
[16] ZHANG Q，SHEN X，XU L，et al.Rolling guidance filter[C].European Conference on Computer Vision，2014：815-830.
[17] ZHANG H，PATEL V M.Density-aware single image de-raining using a multi-stream dense Network[J].arXiv：1802.07412，2018.
作者信息:
安鶴男，張昌林，涂志偉，趙光軍，劉 佳，李 蔚
（深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院，廣東 深圳518061）