《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 設(shè)計(jì)應(yīng)用 > 端對(duì)端深度學(xué)習(xí)無(wú)損去圖像散射研究
端對(duì)端深度學(xué)習(xí)無(wú)損去圖像散射研究
2020年信息技術(shù)與網(wǎng)絡(luò)安全第9期
漆建軍
廣東外語(yǔ)外貿(mào)大學(xué) 信息科學(xué)技術(shù)學(xué)院,廣東 廣州510006
摘要: 針對(duì)光線通過(guò)介質(zhì)會(huì)產(chǎn)生散射現(xiàn)象,提出了一種基于神經(jīng)網(wǎng)絡(luò)的端對(duì)端圖像去散射方案,對(duì)于散射退化的圖片進(jìn)行退散射的處理,此方案不需要復(fù)雜的光學(xué)設(shè)備,應(yīng)用場(chǎng)景廣泛,在仿真和實(shí)際實(shí)驗(yàn)中都取得了預(yù)期的結(jié)果。提出了一套利用拍攝屏幕來(lái)建立散射退化圖片和無(wú)散射圖片的數(shù)據(jù)集的方法,且這一方法在許多其他的圖像處理圖像恢復(fù)工作中有應(yīng)用價(jià)值。
中圖分類號(hào): TP751
文獻(xiàn)標(biāo)識(shí)碼: A
DOI: 10.19358/j.issn.2096-5133.2020.09.010
引用格式: 漆建軍. 端對(duì)端深度學(xué)習(xí)無(wú)損去圖像散射研究[J].信息技術(shù)與網(wǎng)絡(luò)安全,2020,39(9):49-55.
End-to-end deep learning based non-invasive image descattering
Qi Jianjun
School of Information Science and Technology,Guangdong University Forien Studies,Guangzhou 510006,China
Abstract: The image quality will decay when light goes through the scattering media or reflect on the rough surface. In this paper, we purpose an end-to-end deep learning descattering method. This method does not need complex optical device and perform very well in complex scene. This method has a state-of-art performance in both the simulation dataset and real experiment dataset. In this paper, we also creatively put forward a pipeline to collect the hazing and ground truth dataset by capturing the screen, which can also be used in many other field.
Key words : descattering;deep learning;end to end;image reconstruction

0 引言

    在采集自然界圖片的時(shí)候經(jīng)常會(huì)遇見散射造成的圖像損失,對(duì)于散射有很多情況,比如:當(dāng)光線經(jīng)過(guò)細(xì)小不規(guī)則分布的顆粒組成的介質(zhì)的時(shí)候,光子與細(xì)小顆粒發(fā)生碰撞,造成行進(jìn)的線路發(fā)生改變,產(chǎn)生散射,最后到達(dá)傳感器平面的時(shí)候不同線路延時(shí)的光子疊加,會(huì)造成圖像模糊,造成對(duì)比度與清晰度下降的現(xiàn)象;光照射在粗糙的物體表面,發(fā)生了漫反射,反射的圖像會(huì)有類似散斑的現(xiàn)象,這樣的衰減圖片對(duì)于自動(dòng)駕駛、計(jì)算機(jī)視覺、醫(yī)學(xué)成像都有非常不利的影響[1]。為了恢復(fù)圖像,POPOFF S M等利用測(cè)定傳輸矩陣解卷[2]和生成共軛波前補(bǔ)償,但是測(cè)量傳輸矩陣需要費(fèi)時(shí)的測(cè)量,硬件相對(duì)復(fù)雜,使用環(huán)境相對(duì)單一,而且只能在照明光具有一定相干性的前提下進(jìn)行[3]。為此,特提出一種使用深度學(xué)習(xí)的方法,通過(guò)學(xué)習(xí)大量散射圖與無(wú)散射圖對(duì)比,讓網(wǎng)絡(luò)學(xué)習(xí)到散射圖和無(wú)散射圖之間的映射關(guān)系,避免了費(fèi)時(shí)的傳輸矩陣測(cè)量。并且這樣的方法不需要對(duì)于樣本進(jìn)行染色或者標(biāo)記,不會(huì)對(duì)樣本產(chǎn)生破壞[4]。為此,將傳統(tǒng)的雙層卷積結(jié)構(gòu)進(jìn)行改進(jìn),采用了dense結(jié)構(gòu)的Unet網(wǎng)絡(luò),不管是在去散射的指標(biāo)效果還是視覺效果上都有比較大的提升。因?yàn)樯疃葘W(xué)習(xí)需要大量的訓(xùn)練數(shù)據(jù),訓(xùn)練數(shù)據(jù)的好壞對(duì)于學(xué)習(xí)結(jié)果起到至關(guān)重要的作用,還提出了一套通過(guò)拍攝屏幕的方法來(lái)搜集數(shù)據(jù)集的方法,主要?jiǎng)?chuàng)新有如下幾點(diǎn)。

    (1)提出了一套相機(jī)拍攝屏幕創(chuàng)建深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)的流程,包含屏幕相機(jī)校準(zhǔn)和圖像匹配的方法,此方法也可以廣泛用于其他圖像處理和圖像恢復(fù)的任務(wù)。

    (2)提出了一種基于深度學(xué)習(xí)的端對(duì)端去散射網(wǎng)絡(luò),相比于傳統(tǒng)測(cè)定傳輸矩陣的方法更加省時(shí)省力,且對(duì)于成像的樣本沒(méi)有損害,不需要染色或者其他標(biāo)記。

    (3)使用環(huán)境相對(duì)廣泛,采集裝置相對(duì)簡(jiǎn)單,僅僅使用普通手機(jī)就可以進(jìn)行采集,且對(duì)于照明光源沒(méi)有太多要求。

    (4)改進(jìn)了像素到像素圖像恢復(fù)雙層卷積的Unet結(jié)構(gòu),采用了dense的連接結(jié)構(gòu),使網(wǎng)絡(luò)具有更好的恢復(fù)圖像性能。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://ihrv.cn/resource/share/2000003096




作者信息:

漆建軍

(廣東外語(yǔ)外貿(mào)大學(xué) 信息科學(xué)技術(shù)學(xué)院,廣東 廣州510006)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。