《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 人工智能 > 設(shè)計應(yīng)用 > 基于GANs無監(jiān)督回歸三維參數(shù)化人臉模型
基于GANs無監(jiān)督回歸三維參數(shù)化人臉模型
2020年信息技術(shù)與網(wǎng)絡(luò)安全第11期
張星星1，李金龍2
1.中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽 合肥230026； 2.中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026
摘要： 針對神經(jīng)網(wǎng)絡(luò)回歸訓(xùn)練過程中三維人臉數(shù)據(jù)稀缺的問題，提出了基于生成對抗網(wǎng)絡(luò)(GANs)回歸三維參數(shù)化人臉模型(3DMM)的無監(jiān)督學(xué)習(xí)方式。首先利用GANs的對抗生成訓(xùn)練使生成器回歸的3DMM參數(shù)符合真實感人臉形狀的參數(shù)分布。隨后將生成的三維人臉網(wǎng)格渲染成二維圖片，利用身份編碼器對輸入人臉及渲染人臉分別提取身份特征向量，通過不斷縮小向量之間的距離使得生成的三維人臉網(wǎng)格靠近輸入人臉的身份特征。實驗結(jié)果表明，該方法在重建結(jié)果頂點位置準(zhǔn)確性上相對于現(xiàn)有的方法有明顯的提升，且擁有較好的RMSE值，能夠較好應(yīng)用于三維人臉重建任務(wù)。
中圖分類號： TP391.41
文獻(xiàn)標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2020.11.008
引用格式： 張星星，李金龍. 基于GANs無監(jiān)督回歸三維參數(shù)化人臉模型[J].信息技術(shù)與網(wǎng)絡(luò)安全，2020，39(11)：50-55.
GANs-based unsupervised regression for 3D morphable model
Zhang Xingxing1，Li Jinlong2
1.School of Software Engineering，University of Science and Technology of China，Hefei 230026，China； 2.School of Computer Science and Technology，University of Science and Technology of China， Hefei 230026，China
Abstract： Aming at the problem of scarcity of 3D face ground-truth data in the training process of neural network regressing for 3D facial mesh, an unsupervised learning method based on Generative Adversarial Networks(GANs), which regresses for 3D Morphable Model(3DMM) parameters, is proposed. Firstly, the adversarial training process of GANs is used to make the generated 3DMM parameters conform to the realistic 3DMM parameters distribution. Then, the generated 3D facial mesh is rendered into a 2D image. Later, the identity encoder is used to extract the identity feature embeddings from the input face and the rendered face respectively. By continuously minimizing the distance between the two embeddings, the generated 3D facial mesh is enforced to maintain the identical features of the input face. The experimental results show that the proposed method has a significant improvement in the accuracy of vertex position compared with the existing methods, and has a good RMSE value, which can be well applied to 3D face reconstruction tasks.
Key words : 3D face reconstruction；generative adversarial networks；unsupervised

0 引言

    三維人臉重建是指通過一張或多張同一個人的照片來構(gòu)建該人的三維人臉網(wǎng)格。該課題一直是計算機視覺和圖形學(xué)的熱門關(guān)注焦點，擁有廣泛的應(yīng)用場景，如人臉身份識別、醫(yī)學(xué)方案展示、三維人臉動畫等。

    在三維人臉重建領(lǐng)域，VETTER T和BLANTZ V在1999年提出的三維人臉參數(shù)化模型(3DMM)[1]具有重要意義。3DMM采集了200位實驗對象的臉部激光掃描數(shù)據(jù)集，并對該數(shù)據(jù)集進行主成分分析(PCA)。通過對PCA所提取的基向量進行線性組合從而構(gòu)成一張新的人臉。

    傳統(tǒng)的三維人臉重建基于迭代方法[2]，即針對輸入人臉，利用人臉關(guān)鍵點，反復(fù)調(diào)整基向量的參數(shù)使得三維人臉渲染后提取的人臉關(guān)鍵點與二維人臉關(guān)鍵點接近，以此達(dá)到具有輸入人臉特征的三維人臉網(wǎng)格。然而，該方法較為依賴人臉關(guān)鍵點的檢測結(jié)果，在人臉姿勢較大或有遮擋物時，效果較差，迭代過程耗時也較長。

    近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，越來越多的研究開始運用基于回歸的方法重建三維人臉。然而，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，一個亟需解決的問題便是三維人臉訓(xùn)練數(shù)據(jù)稀少。針對這一問題，部分研究提出利用合成數(shù)據(jù)[3-4]，即先隨機初始化3DMM的參數(shù)作為參照的三維人臉，而后將該三維人臉投影成的二維人臉作為輸入數(shù)據(jù)，進而擴大訓(xùn)練數(shù)據(jù)集。因為合成數(shù)據(jù)投影形成的二維圖片不能反映真實世界的復(fù)雜度，故GENOVA K[5]提議采用真實圖片及合成圖片的混合數(shù)據(jù)集進行兩步訓(xùn)練。TEWARI A[6]利用編碼解碼器結(jié)構(gòu)直接從單張圖片重建三維人臉，解碼器是基于專業(yè)知識精心設(shè)計的，但可擴展性較低。TRAN A T[7]等人提議利用迭代方法形成的三維人臉作為神經(jīng)網(wǎng)絡(luò)所需的配對三維人臉數(shù)據(jù)進行訓(xùn)練。

    本文基于前人的思想，提出采用GANs神經(jīng)網(wǎng)絡(luò)回歸3DMM模型參數(shù)進行三維人臉重建任務(wù)。在解決三維人臉數(shù)據(jù)稀少問題上，本文提出兩種并列的監(jiān)督信號：(1)二維監(jiān)督信號：利用三維人臉投影后的二維人臉與輸入的二維人臉身份差異及皮膚顏色差異，來提供二維層面的監(jiān)督信號，使得二者相近；(2)三維監(jiān)督信號：利用重構(gòu)的三維人臉頂點分布與普遍三維人臉頂點分布差異，來提供三維層面的監(jiān)督信號，以使得重構(gòu)后的三維人臉具備真實感人臉形狀。由于僅依賴二維監(jiān)督信號可能會導(dǎo)致一些重構(gòu)后三維人臉頂點離正常人臉頂點偏差較大，雖然投影結(jié)果依舊初具人臉形狀，仍能被系統(tǒng)識別，但視覺感受卻與普遍人臉形狀相差較大。其原因在于缺少三維監(jiān)督信號，使得重構(gòu)后的三維人臉頂點分布近似于普遍三維人臉頂點分布。本文擬采用生成對抗網(wǎng)絡(luò)(GANs)[8]來提供三維監(jiān)督信號，利用生成器及判別器的對抗生成，指引人臉頂點分布接近于真實感人臉頂點分布。




本文詳細(xì)內(nèi)容請下載:http://ihrv.cn/resource/share/2000003177




作者信息:

張星星1，李金龍2

(1.中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽 合肥230026；

2.中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。