0  引言

熱紅外圖像是紅外傳感器根據(jù)熱輻射采集的圖像，具有良好的目標探測能力。與可見光圖像相比，熱紅外圖像因不受光照影響具有更好的魯棒性，近年來在表情識別研究中開始受到關(guān)注^［1-3］。然而，熱紅外數(shù)據(jù)的采集需要昂貴的設(shè)備，與可見光圖像相比獲取成本高昂。因而，本文提出基于生成對抗網(wǎng)絡(luò)從可見光人臉圖像生成熱紅外人臉圖像的方法。

傳統(tǒng)的生成模型對機器學(xué)習(xí)來說具有不同的限制。比如，對真實樣本進行最大似然估計的生成模型，嚴重依賴于所選取樣本的分布情況；采用近似法學(xué)習(xí)的生成模型難以求得最優(yōu)解，只能逼近目標函數(shù)的下界；馬爾科夫鏈方法雖然既可以用于生成模型的訓(xùn)練又可用于新樣本的生成,但是計算復(fù)雜度較高。隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型在各個領(lǐng)域取得突破性進展^［4-6］。GOODFELLOW I等人根據(jù)博弈論提出了生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)^［7］，創(chuàng)造性地結(jié)合了生成模型和判別模型進行數(shù)據(jù)生成。但GAN的生成方式太過自由，在圖片像素較多的情況下容易失控。針對這一問題，MIRZA M^［8］在GAN的基礎(chǔ)上提出條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Networks，cGAN）。而ISOLA P^［9］受cGAN和文獻［10］啟發(fā)，將GAN的目標函數(shù)與傳統(tǒng)損失函數(shù)相結(jié)合提出Pix2Pix方法，該方法在多種任務(wù)中有著出色的表現(xiàn)。

本文提出基于生成對抗網(wǎng)絡(luò)生成熱紅外人臉圖像的方法，與Pix2Pix^［9］一樣在cGAN目標函數(shù)的基礎(chǔ)上加上傳統(tǒng)損失函數(shù)作為懲罰項，即任務(wù)目標，懲罰項為可見圖片與生成樣本間的相似程度。實驗在USTC-NVIE^［11］庫上進行，在以可見光圖像為條件進行熱紅外圖像生成的基礎(chǔ)上，利用SVM模型進行表情識別，驗證生成的熱紅外圖片能否被模型識別以及作為擴充樣本是否可以提升模型的訓(xùn)練效果。

1  方法介紹

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文的網(wǎng)絡(luò)框架如圖1所示，由生成器（Generator，G）和判別器（Discriminator，D）組成。生成器使用隨機噪聲z在可見光圖片y的約束下生成樣本圖片G（z,y）傳遞給判別器。生成的樣本圖片與可見光圖片的L1距離被作為懲罰項反饋給生成模型，以此保證最終的生成圖片與可見光圖片的相似程度。判別器接收到的輸入既有生成的樣本圖片G（z,y）也有真實的熱紅外圖片，它的任務(wù)就是判斷接收到的圖片在該可見光圖片y約束的情況下有多大概率是真實的。本文生成器模型采用U-Net神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖1中生成器G中框圖所示。判別器模型則采用神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1中判別器D框圖所示。

1.1.1 生成器

本文采用U-Net結(jié)構(gòu)作為生成器的網(wǎng)絡(luò)結(jié)構(gòu)。在ISOLA P提出U-Net結(jié)構(gòu)前，圖像到圖像的轉(zhuǎn)化任務(wù)中編碼解碼結(jié)構(gòu)的使用最為廣泛，其結(jié)構(gòu)如圖2所示。編碼解碼結(jié)構(gòu)在編碼時，使用卷積層和激活函數(shù)減少信息量。解碼時則執(zhí)行與編碼過程相反的操作。但在數(shù)據(jù)流傳遞的過程中，會出現(xiàn)輸出與輸入之間信息遺失的情況。因此ISOLA P提出了U-Net生成器結(jié)構(gòu)^［9］ ，其結(jié)構(gòu)如圖1中生成器結(jié)構(gòu)所示。U-Net的結(jié)構(gòu)和編碼解碼類似，但該結(jié)構(gòu)在編解碼過程的鏡像層間加了跳步連接（通過復(fù)制編碼層的特征圖譜傳遞給對應(yīng)的解碼層實現(xiàn)），以此解決生成器輸出輸入之間信息傳遞的問題。

1.1.2 判別器

ISOLA P^［9］為了追求細節(jié)的生成效果，采用馬爾科夫鏈模型作為判別器。然而熱紅外人臉圖像并不追求分毫畢現(xiàn)的效果，因此本文采用神經(jīng)網(wǎng)絡(luò)作為判別器結(jié)構(gòu)，其結(jié)構(gòu)如圖1中的判別器所示。輸入經(jīng)過這個卷積神經(jīng)網(wǎng)絡(luò)輸出判定該輸入是真實圖像的概率。

1.2 目標函數(shù)

本文的目的是通過生成對抗網(wǎng)絡(luò)以可見光人臉圖像為素材生成熱紅外人臉圖像。考慮到同一張圖的可見光圖像與熱紅外圖像的五官分布一致，而且文獻［10］表明，將cGAN的目標函數(shù)和傳統(tǒng)的目標結(jié)合可以提高生成圖像的質(zhì)量，因此本文在生成時還考慮生成圖像與可見光圖像之間的相似程度，即有條件約束的生成對抗網(wǎng)絡(luò)，其目標函數(shù)為：

min_Gmax_DV（D,G）=V′（D,G）+λL_L1                                  (1)

式(1)中V′（D,G）就是cGAN的目標函數(shù)，即不考慮生成圖像與可見光圖像相似程度的目標函數(shù)：

本文將可見光圖片y和生成器輸出G（z,y）之間的L1距離作為兩張圖片相似程度的懲罰項：

式(2)和式(3)中z是隨機噪聲，x是目標圖像，y是可見光圖像，G（z,y）指生成器的輸出，D（·）指判別器輸出的概率。判別器的目標是最大化式(1)，即maxDV（D,G）,而生成器的目標是最小化式(2)的第二項與λLL1之和，其中，λ是超參數(shù)。

1.3 訓(xùn)練和優(yōu)化

為了訓(xùn)練生成對抗網(wǎng)絡(luò)，需要反復(fù)迭代多次，每次迭代需要交換固定判別器和生成器中的一個模型參數(shù)，更新另一個模型的參數(shù)。

判別器的訓(xùn)練過程如下：

（1）從隨機噪聲z中采樣； 

（2）對訓(xùn)練樣本進行采樣，采樣的可見光圖片作為條件y，對應(yīng)的熱紅外圖片作為真實數(shù)據(jù)樣本x；

（3）更新判別器模型的參數(shù)；

（4）所有樣本都采樣過一遍后，固定判別器模型參數(shù)，開始新一輪的生成器參數(shù)更新。

生成器的訓(xùn)練過程如下： 

（1）從隨機噪聲z中采樣；

（2）對訓(xùn)練樣本的可見光圖片進行采樣作為條件變量y；

（3）計算y與輸出G(z, y)之間的L1距離；

（4）更新生成器模型的參數(shù)；

（5）所有樣本都采樣過一遍后，固定生成器模型參數(shù)，開始新一輪的判別器參數(shù)更新。

本文使用隨機梯度下降法進行參數(shù)優(yōu)化，進行足夠多次交替訓(xùn)練的迭代之后，停止訓(xùn)練。

2  實驗條件及結(jié)果分析

2.1 實驗條件

本文在USTC-NVIE^［8］數(shù)據(jù)庫上進行實驗，該數(shù)據(jù)庫在左、中、右三種光源下，共收集了126名志愿者6種基本面部表情（高興、悲傷、驚喜、恐懼、憤怒和厭惡）的可見光和熱紅外圖像。

在進行實驗之前，需要對圖片進行預(yù)處理。使用haar級聯(lián)特征對可見光圖像進行人臉定位和截取；對熱紅外圖像則使用大津法（OSTU）和垂直投影曲線進行人臉定位和截取。最終，截取了1 051對有表情的可見光人臉圖像和熱紅外人臉圖像對以及980對無表情的可見光和熱紅外圖像對，并調(diào)整所有圖像的大小為256×256。本文將成對的可見光人臉圖像和熱紅外圖像稱為一個樣本。

2.1.1 對照實驗設(shè)置

本文設(shè)置了3組對照模型進行效果對比，加上本文提出的模型，共4組模型，都采用神經(jīng)網(wǎng)絡(luò)作為判別器，但生成器結(jié)構(gòu)和目標函數(shù)各不相同。為了方便表述，后文稱公式(2)為目標函數(shù)Ⅰ，稱公式(1)為目標函數(shù)Ⅱ；以編碼解碼為生成器結(jié)構(gòu)的生成框架為網(wǎng)絡(luò)結(jié)構(gòu)I，以U-Net為生成器結(jié)構(gòu)的生成框架為網(wǎng)絡(luò)結(jié)構(gòu)II。則本文的4組實驗?zāi)Ｐ头謩e是網(wǎng)絡(luò)結(jié)構(gòu)I目標函數(shù)I、網(wǎng)絡(luò)結(jié)構(gòu)I目標函數(shù)II、網(wǎng)絡(luò)結(jié)構(gòu)II目標函數(shù)I以及本文提出的方法網(wǎng)絡(luò)結(jié)構(gòu) II目標函數(shù)II。

本文使用的判別器神經(jīng)網(wǎng)絡(luò)如圖1中的判別器框架所示，所有卷積核大小都為4×4，除最后一層的步長為1，使用Sigmoid激活函數(shù)輸出概率，其他卷積層的步長都為2，都使用LeakyReLU作為激活函數(shù)并且都需要進行批量正則化（Batch Normalization, BN）。

對于兩種生成器網(wǎng)絡(luò)結(jié)構(gòu)，除了跳步連接的差別外，所有卷積層的卷積核大小都為4×4，步長都為2，都使用ReLU函數(shù)作為激活函數(shù)，并且都需要進行批量正則化。從輸入開始各編碼層的輸出通道數(shù)為32→64→128→256→512→512→512→512，編碼之后一直到輸出的各解碼層的輸出通道數(shù)為512→512→512→ 512→ 256→128→64→32→3。

設(shè)置的4組模型除進行生成實驗外還進行表情識別實驗。

2.1.2 生成實驗條件

生成實驗中，數(shù)據(jù)集被分為訓(xùn)練集、驗證集和測試集。其中，訓(xùn)練集有1 222個樣本，包含了全部的980對無表情圖片和242對有表情圖片。驗證集和測試集樣本則都是有表情的圖片，分別有384個樣本和425個樣本。

為了評估測試集的目標圖片和生成圖片的差異，本文使用高斯Parzen窗^［12］作為衡量標準。

2.1.3 識別實驗條件

為了驗證生成圖像能否被模型識別，本文使用SVM作為識別模型，以生成實驗的訓(xùn)練集和驗證集中的熱紅外圖像為訓(xùn)練集，總共有1 606幅熱紅外圖像。訓(xùn)練SVM模型分別識別測試集的生成圖像和原本熱紅外圖像（目標圖像）的表情標簽。

最后，為了驗證生成圖片作為擴充樣本的效果，仍使用SVM模型，除了生成實驗的訓(xùn)練集和驗證集外，再加入213幅生成的圖像，總共1 819幅熱紅外圖像作為訓(xùn)練集。剩下的212幅生成圖像的目標圖像作為測試集。

2.2 實驗結(jié)果和分析

2.2.1 生成實驗結(jié)果

圖3為一個樣本的可見圖像、生成的紅外圖像及其目標圖像的示例。對比4種模型的生成圖片與目標圖片可以發(fā)現(xiàn)，本文提出的模型（網(wǎng)絡(luò)結(jié)構(gòu)II目標函數(shù)II）的生成圖片與目標圖片更相似。表1是生成圖片與目標圖片基于Parzen窗的對數(shù)似然估計，結(jié)果表明本文提出的方法的生成圖片（圖3（e））與目標圖片更相似。結(jié)合表1的結(jié)果以及圖3的成像效果考慮，生成效果還是比較令人滿意的。

2.2.2 識別實驗結(jié)果

表2是使用SVM模型識別生成圖片的實驗結(jié)果，實驗結(jié)果表明生成的圖片可以被識別模型識別，并且與目標圖片被識別的效果相似。本文提出的方法（網(wǎng)絡(luò)結(jié)構(gòu)II目標函數(shù)II）的準確率是所有生成圖片中最高的。

表3分別是沒有進行樣本擴充與使用生成圖片作為擴充樣本訓(xùn)練的模型對真實熱紅外圖像的識別結(jié)果。實驗結(jié)果表明生成的圖片作為擴充樣本對模型識別效果的提升起了積極的作用。與沒有擴充樣本的模型相比，四組擴充訓(xùn)練集樣本的模型，識別準確率分別提升了1.28%、2.7%、1.97%以及3.24%。訓(xùn)練集只進行了12.36%的擴充，提升效果令人滿意。由此可見使用生成對抗網(wǎng)絡(luò)生成圖片可以作為擴增樣本提升模型訓(xùn)練效果。四組擴充識別實驗中，本文提出的方法（網(wǎng)絡(luò)結(jié)構(gòu)II目標函數(shù)II）生成的圖片作為擴增樣本訓(xùn)練效果最好。

綜合生成實驗以及識別實驗可以發(fā)現(xiàn)本文提出的方法比其他模型的結(jié)果更好。如果分別觀察各組實驗的網(wǎng)絡(luò)結(jié)構(gòu)和目標函數(shù)，可以發(fā)現(xiàn)不論是生成實驗還是識別實驗，目標函數(shù)相同的情況下，使用U-Net的（網(wǎng)絡(luò)結(jié)構(gòu)II）模型，實驗結(jié)果都比使用編碼解碼器（網(wǎng)絡(luò)結(jié)構(gòu)I）的結(jié)果要好。而網(wǎng)絡(luò)結(jié)構(gòu)相同的情況下，使用目標函數(shù)II的結(jié)果都比使用目標函數(shù)I的結(jié)果要好。綜上所述，本文所提方法表現(xiàn)出的優(yōu)越性是來自模型結(jié)構(gòu)以及目標函數(shù)的雙重作用。

3  結(jié)論

為了解決近年來備受研究關(guān)注的熱紅外圖像采集困難的問題，本文提出采用條件生成對抗網(wǎng)絡(luò)結(jié)合L1損失從可見光圖像中生成熱紅外圖像的方法。USTC-NVIE庫上的實驗結(jié)果表明，生成對抗網(wǎng)絡(luò)框架可用來從可見光圖像生成熱紅外圖像，并且生成的圖片作為擴充樣本可提升模型訓(xùn)練的效果。

參考文獻

［1］ BETTADAPURA V. Face expression recognition and analysis: the state of the art［J］. arXiv preprint arXiv:1203.6722. 2012.

［2］ YOSHITOMI Y, KIM S I, Kawano T, et al. Effect of sensor fusion for recognition of emotional states using voice, face image and thermal image of face［C］//Proceedings in 9th IEEE International Workshop on Robot and Human Interactive Communication, 2000. IEEE, 2000: 178-183.

［3］ JARLIER S, GRANDJEAN D, DELPLANQUE S, et al. Thermal analysis of facial muscles contractions［J］. IEEE Transactions on Affective Computing, 2011, 2 (1): 2-9.

［4］ DAHL G E, YU D, DENG L, et al. Context-dependent pre-trained deep neural networks for large vocabulary speech recognition［J］. IEEE Transactions on Audio, Speech, and Language Processing, 2012, 20 (1): 30-42.

［5］ RUSSAKOVSKY O, DENG J, SU H, et al. Imagenet large scale visual recognition challenge［J］.International Journal of Computer Vision, 2015, 115 (3): 211-252.

［6］ HINTON G, DENG L, YU D, et al. Deep neural networks for acoustic modeling in speech recognition:the shared views of four research groups［J］. IEEE Signal Processing Magazine, 2012,29 (6): 82-97.

［7］ GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets［C］//Advances in Neural Information Processing Systems, 2014: 2672-2680.

［8］ MIRZA M,OSINDERO S. Conditional generative adversarial nets［J］. arXiv preprint arXiv:1411.1784. 2014.

［9］ ISOLA P, ZHU J Y, ZHOU T, et al. Image-to-image translation with conditional adversarial networks［J］.arXiv preprint arXiv:1611.07004. 2016. 

［10］ PATHAK D,KRAHENBUHL P, DONAHUE J, et al. Context encoders: feature learning by in painting［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 2536-2544. 

［11］ WANG S, LIU Z,LV S, et al. A natural visible and infrared facial expression database for expression recognition and emotion inference［J］. IEEE Transactions on Multimedia, 2010, 12(7): 682-691. 

［12］ BREULEUX O, BENGIO Y, VINCENT P. Quickly generating representative samples from an rbm derived process［J］. Neural Computation, 2011, 23 (8): 2058-2073.

（收稿日期：2018-04-14）

作者簡介：

王雅欣（1991-），女，碩士研究生，主要研究方向：情感計算。

史瀟瀟（1991-），女，碩士，主要研究方向：情感計算。