《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 雨密度感知分類引導(dǎo)擴(kuò)張網(wǎng)絡(luò)對(duì)單張圖片去雨
雨密度感知分類引導(dǎo)擴(kuò)張網(wǎng)絡(luò)對(duì)單張圖片去雨
2019年電子技術(shù)應(yīng)用第2期
安鶴男，張昌林，涂志偉，趙光軍，劉 佳，李 蔚
深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院，廣東 深圳518061
摘要： 由于圖像中的雨線條紋具有不同形狀、尺寸且分布不均勻，單一神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)分布不均勻的雨密度能力弱，去雨效果不顯著，對(duì)此提出雨密度感知引導(dǎo)擴(kuò)張網(wǎng)絡(luò)對(duì)單張圖片去除雨的方法。網(wǎng)絡(luò)分為兩部分：(1)雨密度感知網(wǎng)絡(luò)對(duì)不同密度雨的圖片進(jìn)行分類（大雨、中雨、小雨）；(2)聯(lián)合雨密度感知分類信息引導(dǎo)擴(kuò)張網(wǎng)絡(luò)學(xué)習(xí)不同的雨密度特征細(xì)節(jié)，用于檢測(cè)雨線和去雨。實(shí)驗(yàn)證明了該方法在合成和真實(shí)數(shù)據(jù)集上去雨的有效性。
中圖分類號(hào)： TP183
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.183313
中文引用格式： 安鶴男，張昌林，涂志偉，等. 雨密度感知分類引導(dǎo)擴(kuò)張網(wǎng)絡(luò)對(duì)單張圖片去雨[J].電子技術(shù)應(yīng)用，2019，45(2)：1-4.
英文引用格式： An Henan，Zhang Changlin，Tu Zhiwei，et al. Rain density classification guides the expansion network for rain removal from a single images[J]. Application of Electronic Technique，2019，45(2)：1-4.
Rain density classification guides the expansion network for rain removal from a single images
An Henan，Zhang Changlin，Tu Zhiwei，Zhao Guangjun，Liu Jia，Li Wei
School of Electronic Science and Technology，Shenzhen University，Shenzhen 518061，China
Abstract： Since the rain line stripes in the image have different shapes and sizes and are unevenly distributed, the rain density of the single neural network learning uneven distribution is weak, and the rain removal effect is not significant. This paper proposes a rain density sensing guide expansion network to remove rain from a single images. The network is divided into two parts. The first part is the rain density perception network classifying the images of different density rains(Heavy rain, Medium rain, Light rain). The second part is the expansion network guided by the joint rain density perception classification information learning different rain density characteristics details for detecting rain lines and removing rain. Experiments show the effectiveness of the method in the de-rain on synthetic and real data sets.
Key words : single images；rain density classification network；expansion network；de-rain

0 引言

    醫(yī)學(xué)圖像病例分析、土壤覆蓋率檢測(cè)等眾多領(lǐng)域都假設(shè)圖片足夠清晰。然而，在自然界中，類似霧、陰雨等惡劣的氣候壞境是不可避免的，這些惡劣天氣會(huì)嚴(yán)重降低圖片背景清晰度，破壞計(jì)算機(jī)視覺系統(tǒng)的性能。因此，從單張雨圖像中去除雨線條紋對(duì)于室外場(chǎng)景的監(jiān)控系統(tǒng)有重要意義。

    由于圖像中的雨密度分布不均勻特點(diǎn)，文獻(xiàn)[1]、[2]等去除雨線條紋算法在處理不同雨密度方面上傾向于去除雨線條紋，忽略了雨線條紋與背景信息的內(nèi)在重疊，導(dǎo)致背景細(xì)節(jié)丟失?，F(xiàn)有基于深度學(xué)習(xí)對(duì)單張圖片去除雨方法主要局限于學(xué)習(xí)某些固定特征的雨線，針對(duì)不同密度和形狀的雨，學(xué)習(xí)能力不足，以致去雨后背景細(xì)節(jié)丟失。針對(duì)這些問題，本文提出的雨密度感知引導(dǎo)擴(kuò)張去雨網(wǎng)絡(luò)(簡(jiǎn)稱RDSGER)解決對(duì)不同雨密度的圖片調(diào)整學(xué)習(xí)能力。本文將雨圖大致分為三類：大雨、中雨、小雨。圖1為數(shù)據(jù)集3種不同密度的雨圖。

rgzn1-t1.gif

1 相關(guān)工作

    基于視頻的方法近幾年來取得不錯(cuò)效果。例如：文獻(xiàn)[3]方法通過在極短的時(shí)間內(nèi)視頻中的雨線相位保持一致的特點(diǎn)來檢測(cè)雨線，利用經(jīng)典的高斯混合模型來提取雨線[4-5]。

    與基于視頻去除雨的方法相比，單張圖片去除雨的方法缺少上下文時(shí)間序列信息，因此對(duì)單張圖片去除雨的研究更具挑戰(zhàn)性。傳統(tǒng)的基于補(bǔ)丁[6-7]、稀疏編碼[8-9]等方法將雨線看成高頻成分從單張圖像中分離，去雨同時(shí)會(huì)平滑背景細(xì)節(jié)信息。隨著深度學(xué)習(xí)在各個(gè)領(lǐng)域的突破性進(jìn)展[10-11]，基于深度學(xué)習(xí)的單張圖片去雨也取得了重大突破。例如：文獻(xiàn)[12]利用小波變換和暗通道方法對(duì)單張圖片去雨；文獻(xiàn)[2]使用負(fù)殘差網(wǎng)絡(luò)提取雨線特征信息對(duì)單張圖片去雨。

2 提出方法

    單張去除雨線條紋可以建模為如式(1)所示：

    rgzn1-gs1.gif

其中，x表示為干凈無雨圖片，s表示為雨線條紋，y表示為相應(yīng)x背景的有雨圖片。本文提出的RDSGER網(wǎng)絡(luò)主要包括兩個(gè)模塊：細(xì)節(jié)雨密度分類器和擴(kuò)張網(wǎng)絡(luò)去雨。細(xì)節(jié)雨密度分類器針對(duì)不同雨密度圖片正確分類；另一方面，雨密度分類信息引導(dǎo)擴(kuò)張網(wǎng)絡(luò)學(xué)習(xí)雨線特征并去除雨紋。所提出的RDSGER方法的整個(gè)網(wǎng)絡(luò)架構(gòu)如圖2所示。

rgzn1-t2.gif

2.1 雨密度感知分類器

    圖像中的雨線條紋具有不同尺寸特征，單個(gè)去雨網(wǎng)絡(luò)學(xué)習(xí)不同密度的雨線特征能力不足。對(duì)不同雨密度圖片匹配相適應(yīng)的去雨網(wǎng)絡(luò)，有利于網(wǎng)絡(luò)學(xué)習(xí)雨線的所有特征。本文提出細(xì)節(jié)雨密度感知分類網(wǎng)絡(luò)智能針對(duì)不同雨密度圖片分類評(píng)估。雨密度大致分為三類：大雨、中雨和小雨，標(biāo)簽分別對(duì)應(yīng)0、1、2。

    基于CNN模型的圖片分類研究取得突破進(jìn)展。例如：Res-Net[13]、VGG-16[14]等對(duì)圖片分類方法主要集中圖片的局部特征，泛化圖片特征加速訓(xùn)練。然而雨線條紋遍布整張圖片，使用CNN方法對(duì)圖片雨線所有特征捕獲不足，分類正確率不高。針對(duì)這一問題，本文提出細(xì)節(jié)雨密度分類網(wǎng)絡(luò)，利用細(xì)節(jié)網(wǎng)絡(luò)針對(duì)雨區(qū)中的雨線特征定位并提取雨線條紋。圖2上方為雨密度感知分類網(wǎng)絡(luò)。細(xì)節(jié)層可用有雨圖片減去經(jīng)過導(dǎo)向?yàn)V波[15-16]的結(jié)果表示。細(xì)節(jié)層中大部分區(qū)域像素基本接近為0，只有雨線條紋和背景對(duì)象邊緣細(xì)節(jié)保留在細(xì)節(jié)層中。這樣不僅消除背景信息對(duì)分類影響，同時(shí)有利于CNN聚合雨線特征提高分類正確率。分類器使用殘差網(wǎng)絡(luò)resnet-34[13]。

    訓(xùn)練優(yōu)化分類器的損失函數(shù)如式(2)所示：

    rgzn1-gs2.gif

其中，D為雨密度感知分類器所有參數(shù)；y表示為不同密度的雨圖片；label表示不同雨密度的標(biāo)簽，即大雨、中雨、小雨分別對(duì)應(yīng)0、1、2；Lmse(，)為均方差。

2.2 擴(kuò)張去雨網(wǎng)絡(luò)

    不同的雨密度圖片具有的不同特征信息，使用同一大小卷積核聚合不同雨線特征能力較弱。本文提出的擴(kuò)張網(wǎng)絡(luò)擴(kuò)大卷積核的感受，同時(shí)聚合多尺寸雨線信息，以增強(qiáng)對(duì)不同雨密度圖片雨線特征提取。圖2中擴(kuò)張網(wǎng)絡(luò)[1]是由擴(kuò)張塊1（擴(kuò)張因子為1）、擴(kuò)張塊2（擴(kuò)張因子為2）、擴(kuò)張塊3（擴(kuò)張因子為3）組成的。每個(gè)擴(kuò)張塊的組成方式如下所示：

    (1)擴(kuò)張塊1由1個(gè)擴(kuò)張降采樣層、4個(gè)卷積層、1個(gè)上采樣層組成。

    (2)擴(kuò)張塊2由2個(gè)擴(kuò)張降采樣層、2個(gè)卷積層、2個(gè)上采樣層組成。

    (3)擴(kuò)張塊3由3個(gè)擴(kuò)張降采樣層、3個(gè)上采樣層組成。

    擴(kuò)張降采樣層的圖片尺寸縮小為原來的一半，卷積層尺寸保持不變，上采樣層的圖片尺寸擴(kuò)大一倍。為了進(jìn)一步聚合來自不同尺寸雨線的特征，在每個(gè)擴(kuò)張塊的內(nèi)部使用跳轉(zhuǎn)鏈接（即第1塊輸出與第5塊輸出級(jí)聯(lián)，第2塊輸出與第4塊輸出級(jí)聯(lián)）以學(xué)習(xí)不同區(qū)域雨線特征，保留完整背景細(xì)節(jié)信息。圖3所示為擴(kuò)張塊1的內(nèi)部原理圖。

rgzn1-t3.gif

    雨密度感知分類信息有利于引導(dǎo)擴(kuò)張網(wǎng)絡(luò)針對(duì)不同密度雨的圖片調(diào)整學(xué)習(xí)能力，同時(shí)為了進(jìn)一步保留完整背景信息。因此將上下文信息有雨圖片和擴(kuò)張網(wǎng)絡(luò)以及雨密度分類網(wǎng)絡(luò)級(jí)聯(lián)后輸入到雨線特征提取網(wǎng)絡(luò)來捕獲雨線條紋。將有雨圖片減去雨線特征提取網(wǎng)絡(luò)捕獲的雨線條紋，得到去雨圖片。最后對(duì)圖片背景細(xì)節(jié)進(jìn)一步優(yōu)化，采用兩個(gè)不同深度的卷積核（卷積核大小分別為通道數(shù)為16，通道數(shù)為3）進(jìn)行細(xì)節(jié)信息優(yōu)化。圖2所示下方為擴(kuò)張去雨網(wǎng)絡(luò)框架。

    擴(kuò)張去雨網(wǎng)絡(luò)損失函數(shù)如式(3)所示：

    rgzn1-gs3.gif

其中，f為擴(kuò)張去雨網(wǎng)絡(luò)的所有參數(shù)，y為有雨圖片，x為相應(yīng)干凈無雨圖片，Lmse(，)為均方差。

3 實(shí)驗(yàn)結(jié)果與分析

    為了評(píng)估網(wǎng)絡(luò)的性能，本文與其他3種去除雨線條紋方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）做定量和定性對(duì)比。3種方法分別為：聯(lián)合擴(kuò)張網(wǎng)絡(luò)對(duì)圖片去雨（簡(jiǎn)稱JORDER）[1]、深度細(xì)節(jié)網(wǎng)絡(luò)對(duì)單張圖片去雨（簡(jiǎn)稱Detail-net）[2]、基于小波變化方法對(duì)單張圖片去雨（SRR-net）[12]。

3.1 訓(xùn)練數(shù)據(jù)集

    實(shí)驗(yàn)數(shù)據(jù)集基于文獻(xiàn)[17]數(shù)據(jù)集上訓(xùn)練。訓(xùn)練數(shù)據(jù)集包含3種不同雨密度圖片各4 000張，每類數(shù)據(jù)集中雨線分布為不同形狀和方向。測(cè)試數(shù)據(jù)集總共600張包含真實(shí)雨圖片。

3.2 網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

3.2.1 擴(kuò)張網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

    擴(kuò)張塊1：降采樣層和卷積層使用3個(gè)大小分別為1、3、1的卷積層，上采樣層使用兩個(gè)大小為1、3的卷積層；擴(kuò)張塊2：降采樣層和卷積層使用3個(gè)大小分別為1、3、1的卷積層，上采樣層使用兩個(gè)大小為1、5卷積層；擴(kuò)張塊3：降采樣層和卷積層使用3個(gè)大小分別為1、3、1卷積層，上采樣層使用兩個(gè)大小為1、7的卷積層。

3.2.2 訓(xùn)練分類器網(wǎng)絡(luò)參數(shù)

    圖片大小隨機(jī)裁剪為512×512，使用Adam優(yōu)化器，小批量數(shù)據(jù)為64，學(xué)習(xí)率初始化為0.003。Pytorch作為本文網(wǎng)絡(luò)訓(xùn)練框架。

3.2.3 擴(kuò)張去雨網(wǎng)絡(luò)參數(shù)

    訓(xùn)練期間，圖片大小隨機(jī)裁剪為512×512，使用Adam優(yōu)化器，小批量數(shù)據(jù)大小為1，學(xué)習(xí)率初始化為0.002。

3.3 細(xì)節(jié)雨密度分類器結(jié)果

    本文提出的細(xì)節(jié)雨密度分類器與基于CNN算法的resnet-34和VGG-16率比較如表1所示?？梢钥闯霰疚奶岢龅募?xì)節(jié)網(wǎng)絡(luò)消除背景細(xì)節(jié)對(duì)分類干擾，提高了對(duì)不同雨密度正確率。

rgzn1-b1.gif

3.4 合成數(shù)據(jù)集測(cè)試結(jié)果及分析

    為了評(píng)估本文方法有效性，在本文測(cè)試數(shù)據(jù)集上與其他3種方法做定性和定量對(duì)比。表2所示為600張數(shù)據(jù)集方法的平均PNSR和SSIM對(duì)比結(jié)果，可以看出本文在PNSR和SSIM性能上的優(yōu)異性。

rgzn1-b2.gif

    為了直觀視覺感受本文提出方法的有效性，從合成的3種不同密度雨與其他3種方法測(cè)試做定性對(duì)比。如圖4所示，可以看出JORDER處理中小雨圖片雨線去除較干凈，但仍殘留雨線條紋，處理大雨時(shí)過度平滑背景。從第一行和第二行的第三列中看出，SRR-net處理大雨圖片時(shí)過度平滑背景細(xì)節(jié)特征，detail-net方法處理大雨圖片時(shí)留下過多的雨線條紋。本文提出方法在去除雨線條紋的同時(shí)能夠有效保留更多背景細(xì)節(jié)。

rgzn1-t4.gif

3.5 真實(shí)雨測(cè)試結(jié)果

    在真實(shí)雨場(chǎng)景下與其他3種方法進(jìn)行測(cè)試對(duì)比，結(jié)果如圖5所示。從第二行和第三行的第二列看出，Detail-net方法對(duì)真實(shí)場(chǎng)景去除雨會(huì)殘留雨線條紋；從第一行的第三、第四列雨滴細(xì)節(jié)變黑看出，SRR-net和JORDER方法去除雨線條紋會(huì)平滑背景細(xì)節(jié)。本文相較于其他3種方法去雨效果明顯，背景細(xì)節(jié)保留相對(duì)完整。

rgzn1-t5.gif

4 結(jié)論

    單一神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同雨線特征能力弱，本文提出的細(xì)節(jié)雨密度感知擴(kuò)張去雨網(wǎng)絡(luò)有效引導(dǎo)一定范圍雨密度的圖片匹配相適應(yīng)網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)對(duì)不同密度雨線特征調(diào)整學(xué)習(xí)能力，同時(shí)去雨后圖片保留了較完整背景細(xì)節(jié)。在合成和真實(shí)數(shù)據(jù)集進(jìn)行測(cè)試對(duì)比，結(jié)果證明了本文擴(kuò)張去除雨線條紋網(wǎng)絡(luò)的有效性。

參考文獻(xiàn)

[1] YANG W，TAN R T，F(xiàn)ENG J，et al.Deep joint rain detection and removal from a single image[J].arXiv：1609.07769，2017.

[2] FU X，HUANG J，ZENG D，et al.Removing rain from single images via a deep detail network[C].IEEE Conference on Computer Vision and Pattern Recognition，2017：1357-1366.

[3] SANTHASEELAN V，ASARI V K.Utilizing local phase information to remove rain from video[J].International Journal of Computer Vision，2015，112(1)：71-89.

[4] BOSSU J，HAUTIERE N，TAREL J P.Rain or snow detection in image sequences through use of[J].International Journal of Computer Vision，2011，93(3)：348-367.

[5] DEYU M，LIXUAN Y，QIAN Z，et al.Should we encode rain streaks in video as deterministic or stochastic?[C].IEEE International Conference on Computer Vision，IEEE Computer Society，2017：2516-2525.

[6] LI Y，TAN R T，GUO X，et al.Rain streak removal using layer priors[C].IEEE Conference on Computer Vision and Pattern Recognition，2016：2736-2744.

[7] HUANG D A，KANG L W，YANG M C，et al.Context-aware single image rain removal[C].IEEE International Conference on Multimedia & Expo，2012：164-169.

[8] LUO Y，XU Y，JI H.Removing rain from a single image via discriminative sparse coding[C].IEEE International Conference on Computer Vision，2015：3397-3405.

[9] SON C H，ZHANG X P.Rain removal via shrinkage of sparse codes and learned rain dictionary[C].IEEE International Conference on Multimedia & Expo Workshops，2016：1-6.

[10] 黃睿，陸許明，鄔依林.基于TensorFlow深度學(xué)習(xí)手寫體數(shù)字識(shí)別及應(yīng)用[J].電子技術(shù)應(yīng)用，2018，44(10)：6-10.

[11] 王雅欣，史瀟瀟.基于生成對(duì)抗網(wǎng)絡(luò)的人臉熱紅外圖像生成[J].信息技術(shù)與網(wǎng)絡(luò)安全，2018，37（8）：40-44.

[12] SHEN L，YUE Z，CHEN Q，et al.Deep joint rain and haze removal from single images[J].arXiv：1801.06769v1，2018.

[13] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.

[14] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv：1409.1556，2014.

[15] HE K，SUN J，TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，35(6)：1397-1409.

[16] ZHANG Q，SHEN X，XU L，et al.Rolling guidance filter[C].European Conference on Computer Vision，2014：815-830.

[17] ZHANG H，PATEL V M.Density-aware single image de-raining using a multi-stream dense Network[J].arXiv：1802.07412，2018.




作者信息:

安鶴男，張昌林，涂志偉，趙光軍，劉  佳，李  蔚

（深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院，廣東 深圳518061）

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。