0 引言

    圖像語(yǔ)義分割是計(jì)算機(jī)視覺(jué)領(lǐng)域中最具挑戰(zhàn)性的問(wèn)題之一。隨著場(chǎng)景理解^[1-2]、重構(gòu)^[3]和圖像處理等計(jì)算機(jī)視覺(jué)領(lǐng)域最熱門話題的興起，圖像語(yǔ)義分割作為上述熱門話題的基礎(chǔ)，也受到了越來(lái)越多該領(lǐng)域科研人員的重視。

    在深度學(xué)習(xí)應(yīng)用于語(yǔ)義分割之前，傳統(tǒng)的機(jī)器學(xué)習(xí)算法如隨機(jī)決策森林(Random Decision Forests)等方法被應(yīng)用于語(yǔ)義分割領(lǐng)域。在PASCAL VOC 2007數(shù)據(jù)集上，SHOTTON J等人使用了基于紋理特征的隨機(jī)決策森林算法^[4]取得了42%的評(píng)價(jià)像素精確率。另一種用于解決語(yǔ)義分割問(wèn)題的方法是使用概率圖模型。首先利用參數(shù)統(tǒng)計(jì)方法^[5-8]基于幾個(gè)簡(jiǎn)單的特征對(duì)圖像進(jìn)行過(guò)度分割，然后利用馬爾可夫隨機(jī)場(chǎng)（MRF）方法，通過(guò)提取復(fù)雜的手工特征將這些超像素分類為不同的幾何類。在PASCAL VOC 2010挑戰(zhàn)賽上，Gonfaus等人使用基于概率圖模型條件隨機(jī)場(chǎng)構(gòu)建的系統(tǒng)取得了第一名的好成績(jī)。

    隨著深度學(xué)習(xí)的崛起，越來(lái)越多的學(xué)者將深度學(xué)習(xí)方法引入至計(jì)算機(jī)視覺(jué)領(lǐng)域中，如圖像分類^[9]等。2015年，LONG J等人提出了全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)^[10]，創(chuàng)造性地提出了一種全新的端到端的網(wǎng)絡(luò)應(yīng)用于語(yǔ)義分割中，并取得了遠(yuǎn)超于傳統(tǒng)方法的像素準(zhǔn)確率。作為將深度學(xué)習(xí)應(yīng)用于語(yǔ)義分割的開(kāi)山之作，之后大部分方法都是基于FCN網(wǎng)絡(luò)的改進(jìn)版。本文將對(duì)基于深度學(xué)習(xí)的圖像語(yǔ)義分割算法進(jìn)行綜述。

1 常用術(shù)語(yǔ)及基本概念介紹

    圖像語(yǔ)義分割是像素級(jí)別的問(wèn)題，因此在訓(xùn)練集中需要對(duì)圖像的每個(gè)像素附加一個(gè)標(biāo)簽。用公式來(lái)表示即為：從標(biāo)簽空間L={l₁，l₂，…，l_k}表示一組隨機(jī)變量X={x₁，x₂，…，x_N}。每個(gè)標(biāo)簽l表示不同的類或?qū)ο?，例如，飛機(jī)、汽車、交通標(biāo)志等。這個(gè)標(biāo)記空間具有k個(gè)可能的狀態(tài)，這些狀態(tài)通常擴(kuò)展到k+1個(gè)，并將l0作為背景或空類。x表示圖像的像素，像素個(gè)數(shù)為N。

    除了問(wèn)題表述之外，重要的是要注釋一些背景概念，如常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)常常被用作深度學(xué)習(xí)語(yǔ)義分割系統(tǒng)的基礎(chǔ)。此外，了解常見(jiàn)的訓(xùn)練技術(shù)，如遷移學(xué)習(xí)，以及對(duì)數(shù)據(jù)進(jìn)行的預(yù)處理等都有助于讀者理解綜述。

1.1 常見(jiàn)的深層網(wǎng)絡(luò)架構(gòu)

    當(dāng)前最常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)如GoogLeNet、VGG等網(wǎng)絡(luò)為計(jì)算機(jī)視覺(jué)領(lǐng)域作出了巨大的貢獻(xiàn)，在語(yǔ)義分割中也通常使用這些常見(jiàn)的深層次網(wǎng)絡(luò)作為基本框架。

1.1.1 VGG

    Visual Geometry Group(VGG)是由牛津大學(xué)視覺(jué)幾何組引入的CNN模型。他們提出了各種深層CNN的模型和配置^[11]，其中之一被提交到ImageNet大型視覺(jué)識(shí)別挑戰(zhàn)(ILSVRC)-2013，因?yàn)樵撃Ｐ褪怯?3個(gè)卷積層和3個(gè)全連接層疊加而成的，所以也稱其為VGG-16。由于其達(dá)到92.7％的TOP-5測(cè)試精度而成為流行的網(wǎng)絡(luò)。圖1顯示了VGG-16的結(jié)構(gòu)。VGG-16和它的前身之間的主要區(qū)別是在第一層使用一組具有小感受野的卷積層而不是使用一個(gè)大感受野的卷積核。這導(dǎo)致使用了更少的參數(shù)和更多的非線性層，從而使決策函數(shù)更具有鑒別力并使得模型更容易訓(xùn)練。

1.1.2 GoogLeNet

    GoogLeNet是由SZEGEDY C等人[12]設(shè)計(jì)的一個(gè)網(wǎng)絡(luò)。該網(wǎng)絡(luò)以93.3%的TOP-5測(cè)試準(zhǔn)確率贏得了ILSVRC-2014挑戰(zhàn)賽。這種CNN體系結(jié)構(gòu)的特點(diǎn)是它的復(fù)雜性，它由22層和一個(gè)新引入的模塊（見(jiàn)圖2）組成。這種新方法證明了CNN層可以用比典型的順序堆疊方式更多的方式進(jìn)行構(gòu)建。實(shí)際上，這些模塊包括網(wǎng)絡(luò)中的網(wǎng)絡(luò)層、池化層、大型卷積層和小型卷積層，它們都是并行計(jì)算的，最后進(jìn)行1×1卷積運(yùn)算，以減少維數(shù)。由于這些模塊，該網(wǎng)絡(luò)通過(guò)顯著減少參數(shù)和操作的數(shù)量來(lái)節(jié)省內(nèi)存和計(jì)算成本。

1.2 遷移學(xué)習(xí)與微調(diào)

    在實(shí)際生產(chǎn)或?qū)嶒?yàn)中，從零開(kāi)始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)常常是不可行的。首先需要足夠大的數(shù)據(jù)集，這往往不容易實(shí)現(xiàn)；其次，從頭訓(xùn)練的網(wǎng)絡(luò)一般是不易收斂的，或需要的收斂時(shí)間過(guò)長(zhǎng)。即使上述條件都滿足，現(xiàn)有的研究結(jié)果^[13-14]也表明了從預(yù)先訓(xùn)練的權(quán)重開(kāi)始而不是從隨機(jī)初始化的權(quán)重開(kāi)始訓(xùn)練效果會(huì)更好。針對(duì)這個(gè)問(wèn)題，遷移學(xué)習(xí)是一個(gè)很好的解決方法，所謂遷移學(xué)習(xí)就是將已經(jīng)在其他數(shù)據(jù)集上訓(xùn)練好的模型參數(shù)遷移到我們的模型中代替隨機(jī)初始的參數(shù)，并用新的樣本學(xué)習(xí)訓(xùn)練對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)(Fine-tune)，這樣可以大大減少訓(xùn)練時(shí)間，也可以彌補(bǔ)數(shù)據(jù)量不足的缺陷。

1.3 數(shù)據(jù)預(yù)處理

    數(shù)據(jù)增強(qiáng)是一種常見(jiàn)的數(shù)據(jù)預(yù)處理手段，WONG S C^[15]等人已經(jīng)證明數(shù)據(jù)增強(qiáng)技術(shù)有利于大多數(shù)的機(jī)器學(xué)習(xí)訓(xùn)練任務(wù)。常見(jiàn)的圖像數(shù)據(jù)增強(qiáng)手段有：平移、旋轉(zhuǎn)、翹曲、縮放、顏色空間移動(dòng)、裁剪等。這些轉(zhuǎn)換的目的是生成更多的樣本以創(chuàng)建更大的數(shù)據(jù)集，防止過(guò)擬合，平衡數(shù)據(jù)庫(kù)中的類等，提高了模型的魯棒性。

2 基于深度學(xué)習(xí)的語(yǔ)義分割算法

    在深度學(xué)習(xí)技術(shù)引入至計(jì)算機(jī)視覺(jué)領(lǐng)域后獲得了巨大的成功，尤其是在基于Convolutional Neural Networks(CNNs)的圖像分類、目標(biāo)檢測(cè)^[16-18]等領(lǐng)域上效果極佳。這也激勵(lì)了研究人員探索這類網(wǎng)絡(luò)能否應(yīng)用于像素級(jí)別的標(biāo)記問(wèn)題，比如圖像語(yǔ)義分割。本文將介紹語(yǔ)義分割領(lǐng)域最具有代表性的3種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 全卷積網(wǎng)絡(luò)FCN

    全卷積網(wǎng)絡(luò)是由LONG J等人于2014年提出的^[19]，是最常用的語(yǔ)義分割網(wǎng)絡(luò)之一，其結(jié)構(gòu)圖如圖3所示。

    作為基于深度學(xué)習(xí)的圖像語(yǔ)義分割的開(kāi)山之作，目前所有最成功的語(yǔ)義分割網(wǎng)絡(luò)都是基于FCN來(lái)進(jìn)行改進(jìn)的。FCN網(wǎng)絡(luò)利用CNNs在圖像上的強(qiáng)大學(xué)習(xí)能力提出了一個(gè)全卷積化概念，將現(xiàn)有的一些常用分類深度網(wǎng)絡(luò)模型如VGG16、GoogLeNet等網(wǎng)絡(luò)的全連接層全部用卷積層來(lái)替代，這樣做的好處是因?yàn)闆](méi)有了全連接層，最終輸出的結(jié)果是一張圖片而不是一維向量，實(shí)現(xiàn)了端對(duì)端的語(yǔ)義分割；其次，通過(guò)去除全連接層能實(shí)現(xiàn)任意大小圖片的輸入，從而保證輸入與輸出圖片大小相等。具體過(guò)程如圖4所示。由于卷積層后接有池化層，池化層又稱下采樣層，會(huì)對(duì)圖片的分辨率大小產(chǎn)生影響。為了保證輸入圖片與輸出圖片的大小相等，F(xiàn)CN網(wǎng)絡(luò)使用反卷積^[20-21]的方式進(jìn)行上采樣以維持圖片的分辨率。

    FCN網(wǎng)絡(luò)還創(chuàng)造性地提出了一種跳躍結(jié)構(gòu)。它把全卷積化后的VGG16中pool5層的輸出進(jìn)行上采樣作為模型FCN-32s的結(jié)果，這樣得出的圖片比較粗糙，效果較差。于是FCN將pool5的輸出進(jìn)行二倍上采樣后與pool4的輸出進(jìn)行特征融合，將融合后的特征圖上采樣作為模型FCN-16s的結(jié)果，同理將pool3與pool4、pool5的特征進(jìn)行融合得到的結(jié)果進(jìn)行上采樣，得到最終結(jié)果FCN-8s。具體操作如圖5所示。

    圖6是未融合特征與融合了高低層次特征后的結(jié)果對(duì)比，可以看出融合了低層次空間信息的FCN-8s效果最好，其次是FCN-16s，F(xiàn)CN-32s由于特征圖分辨率太小，在下采樣過(guò)程中損失了很多信息導(dǎo)致其效果最差。

    FCN有很多優(yōu)點(diǎn)，如能接收任意大小圖片輸入、運(yùn)算高效等，但其缺點(diǎn)也是很明顯的。首先FCN-8s的結(jié)果與FCN-32s相比優(yōu)化了很多，但與人工標(biāo)注的圖相比還是較為模糊，細(xì)節(jié)方面有待提高。其次FCN網(wǎng)絡(luò)對(duì)像素分類時(shí)并未充分考慮圖片的上下文關(guān)系，即像素與像素之間的關(guān)系，缺乏空間一致性。

2.2 Deeplab

    Deeplab^[22]是Google團(tuán)隊(duì)提出的一種用于圖像語(yǔ)義分割的深度學(xué)習(xí)模型，是目前性能最好的語(yǔ)義分割模型之一。其模型結(jié)構(gòu)圖如圖7所示。

    Deeplab仍然采用了FCN的全卷積化結(jié)構(gòu)，將VGG16網(wǎng)絡(luò)的全連接層用卷積層替代。但與FCN不同的是，Deeplab未使用“跳躍結(jié)構(gòu)”，為了防止下采樣過(guò)程中損失太多信息，Deeplab將VGG16中第4、5兩個(gè)池化層的stride由2改為1，這樣最終產(chǎn)生的特征圖由原圖大小的1/32擴(kuò)大至原圖的1/8。為了維持改動(dòng)后像素特征的感受野大小，deeplab提出一種“Hole算法”將空洞卷積^[23]引入網(wǎng)絡(luò)中，其具體操作示意圖如圖8所示。這樣通過(guò)“Hole算法”提升特征的感受野解決了因改動(dòng)池化步長(zhǎng)造成的感受野變小問(wèn)題，最終能得到較為稠密的高分辨率特征圖。

    在模型的最后，Deeplab采用全連接的條件隨機(jī)場(chǎng)(CRF)^[24]來(lái)對(duì)得到的特征圖進(jìn)行邊緣優(yōu)化。其效果圖如圖9所示。

    與FCN相比，Deeplab通過(guò)引入空洞卷積解決了特征圖分辨率太低的問(wèn)題，并引入后端的全連接CRF來(lái)優(yōu)化邊緣，彌補(bǔ)了FCN網(wǎng)絡(luò)圖像細(xì)節(jié)較差的缺點(diǎn)。

2.3 PSPNet

    場(chǎng)景解析一直是計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)充滿挑戰(zhàn)性的問(wèn)題，傳統(tǒng)的FCN網(wǎng)絡(luò)在進(jìn)行場(chǎng)景解析時(shí)因其上下文理解能力不足，對(duì)一些容易混淆的類別或一些不顯眼的小尺寸物體經(jīng)常造成誤分的情況。PSPNet^[25]通過(guò)引入Pyramid Pooling Module在場(chǎng)景分割問(wèn)題上取得了很好的結(jié)果。其結(jié)構(gòu)圖如圖10所示。

    PSPNet的骨干網(wǎng)絡(luò)是經(jīng)過(guò)修改后的ResNet101網(wǎng)絡(luò)^[26]。與Deeplab一樣，PSPNet也引入了空洞卷積來(lái)提取稠密的特征圖。在Pyramid Pooling模塊，PSPNet將空洞卷積得到的特征圖進(jìn)行了不同層級(jí)的池化，每個(gè)池化后的特征圖經(jīng)過(guò)一個(gè)卷積層來(lái)降低通道數(shù)，然后將每個(gè)特征圖進(jìn)行雙線性插值的上采樣方法恢復(fù)到池化前的大小，最后將全部特征圖拼接在一起。這樣做的好處是通過(guò)不同層級(jí)的池化再融合，讓網(wǎng)絡(luò)能對(duì)圖像的上下文信息進(jìn)行更好的整合，以得到含有整體信息的特征圖。

    與FCN網(wǎng)絡(luò)相比，PSPNet能更好地學(xué)習(xí)到圖像的上下文信息，初步解決了語(yǔ)義分割模型常見(jiàn)的類別錯(cuò)誤、小目標(biāo)不易識(shí)別等問(wèn)題。圖11為PSPNet與FCN網(wǎng)絡(luò)的結(jié)果對(duì)比圖。

3 結(jié)論

    本文綜述了圖像語(yǔ)義分割深度學(xué)習(xí)算法的常用術(shù)語(yǔ)、基本概念以及幾種有代表性的深度學(xué)習(xí)模型，并通過(guò)不同模型結(jié)構(gòu)的對(duì)比將各個(gè)模型的優(yōu)缺點(diǎn)進(jìn)行了綜合性評(píng)估。深度學(xué)習(xí)的引入使得圖像語(yǔ)義分割算法再次成為當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，加快了語(yǔ)義分割領(lǐng)域的發(fā)展。雖然現(xiàn)有的語(yǔ)義分割模型已經(jīng)能到達(dá)較好的分割結(jié)果，但仍有很多問(wèn)題未能得到解決。比如語(yǔ)義分割的樣本標(biāo)注要求極高，想要獲得足夠的樣本數(shù)據(jù)需要高昂的成本費(fèi)用；深度學(xué)習(xí)模型的理論解釋性較差，且模型種類單一，想要?jiǎng)?chuàng)新出新的模型將會(huì)十分困難。盡管深度學(xué)習(xí)在學(xué)術(shù)領(lǐng)域內(nèi)還是一個(gè)飽受爭(zhēng)議的方法，但我們不能否認(rèn)其功能的強(qiáng)大性，而且基于深度學(xué)習(xí)的圖像語(yǔ)義分割算法仍屬于起步階段，可以預(yù)見(jiàn)未來(lái)幾年內(nèi)一定會(huì)有更加優(yōu)秀的深度學(xué)習(xí)算法和研究路線的出現(xiàn)。

參考文獻(xiàn)

[1] LIANG G Q，CA J N，LIU X F，et al.Smart world: a better world[J].Science China Information Science，2016，59(4)：043401.

[2] WANG J L，LU Y H，LIU J B，et al.A robust three-stage approach to large-scale urban scene recognition[J].Science China.Information Science，2017，60(10)：103101.

[3] WANG W，HU L H，HU Z Y.Energy-based multi-view piecewise planar stereo[J].Science China Information Science，2017，60：032101.

[4] SHOTTON J，JOHNSON M，CIPOLLA R.Semantic texton forests for image categorization and seg-mentation[C].IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

[5] SAXENA A，SUN M，NG A Y.Make3d: learning 3d scene structure from a single still image[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2009，31(5)：824-840.

[6] GOULD S，F(xiàn)ULTON R，KOLLER D.Decomposing a scene into geometric and semantically consistent regions[C].Proceedings of the IEEE International Conference on Computer Vision，2009：1-8.

[7] GUPTA A，EFROS A A，HEBERT M.Blocks world revisited:image understanding using qualitative geometry and mechanics[C].Proceedings of European Conference on Computer Vision，2010：482-496.

[8] ZHAO Y B，ZHU S C.Image parsing via stochastic scene grammar[C].Proceedings of the Conference and Workshop on Neural Information Processing System，2011：73-81.

[9] 許少尉，陳思宇.基于深度學(xué)習(xí)的圖像分類方法[J].電子技術(shù)應(yīng)用，2018，44(6)：116-119.

[10] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation[C].The IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2015.

[11] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].2014 arXiv：1409.1556.

[12] SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

[13] AHMED A，YU K，XU W，et al.Training hierarchical feed-forward visual recognition models using transfer learning from pseudo-tasks[C].European Conference on Computer Vision，Springer，2008：69-82.

[14] OQUAB M，BOTTOU L，LAPTEV I，et al.Learning and transferring mid-level image representations using convolutional neural networks[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014：1717-1724.

[15] WONG S C，GATT A，STAMATESCU V，et al.Understanding data augmentation for classification：when to warp?[C].2016 International Conference on Digital Image Computing：Techniques and Applications(DICTA).IEEE，2016：1-6.

[16] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[C].Advances in Neural Information Processing Systems，2012：1097-1105.

[17] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].2014 arXiv：1409.1556.

[18] SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

[19] SHELHAMER E，LONG J，DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，39(4)：640-651.

[20] ZEILER M D，TAYLOR G W，F(xiàn)ERGUS R.Adaptive deconvolutional networks for mid and high level feature learning[C].2011 IEEE International Conference on Computer Vision(ICCV).IEEE，2011：2018-2025.

[21] ZEILER M D，F(xiàn)ERGUS R.Visualizing and understanding convolutional networks[C].European Conference on Computer Vision，Springer，2014：818-833.

[22] LIANG-CHIEH C，PAPANDREOU G，KOKKINOS I，et al.Semantic image segmentation with deep convolutional nets and fully connected CRFs[C].International Conference on Learning Representations，2015.

[23] YU F，KOLTUN V.Multi-scale context aggregation by dilated convolutions[J].arXiv:1511.07122vz.

[24] CHEN L C，PAPANDREOU G，KOKKINOS I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J].arXiv:1606.00915v2.

[25] ZHAO H，SHI J，QI X，et al.Pyramid scene parsing network[J].arXiv preprint arXiv，2016：1612.01105.

[26] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.

作者信息:

王  宇，張煥君，黃海新

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，遼寧 沈陽(yáng)110159)