《電子技術應用》
您所在的位置：首頁 > 人工智能 > 設計應用 > 基于Star-Gan的人臉互換算法
基于Star-Gan的人臉互換算法
《信息技術與網絡安全》2020年第5期
易旭，白天
中國科學技術大學 軟件學院
摘要： 基于Star-Gan的人臉互換算法易旭，白天(中國科學技術大學 軟件學院，安徽 合肥 230026)基于深度學習的人臉互換算法會因背景人臉環(huán)境的明亮程度、人臉表情、姿勢等因素影響換臉效果，現(xiàn)階段的人臉互換模型存在固有的弊端。采用Patch-Gan(Generative Adversarial Networks)的判別器結構能通過全卷積網絡增強人臉局部一致性的效果。生成器將Unet結構的編碼器的特征輸出作為輸入，能考慮多層信息細節(jié)。整體模型架構采用Star-Gan的模型，引入實例歸一化層能保證圖像的獨立性。最后在Face-Forensics++人臉互換數(shù)據(jù)集上進行驗證，結果表明，融合的模型有較好的生成效果和細節(jié)。
中圖分類號：TP183 文獻標識碼：A DOI： 10.19358/j.issn.2096-5133.2020.05.003
引用格式：易旭，白天.基于Star-Gan的人臉互換算法［J］.信息技術與網絡安全，2020,39（5）：12-16.
Yi Xu，Bai Tian
School of Software Engineering,University of Science and Technology of China
Abstract： The effect of face swap algorithm based on deep learning will be affected by the brightness of the background face environment,facial expression,posture and other factors.There are inherent disadvantages in the current face swap models.The discriminator structure based on PatchGan can enhance the local consistency of human face through full convolution network.The generator takes the feature output of the Unet encoder as the input,and considers the multilayer information details.Among them,StarGan model is adopted as the overall model architecture,and case normalization layer is introduced to ensure the image independence.Finally,it is validated on FaceForensics++ face exchange data set.The results show that the optimized model has better generation effect and details.
Key words : deep learning;face swap;generative adversarial networks

隨著深度學習技術的興起，圖像處理相關的研究有了一項強有力的技術支持。人臉互換在圖像處理方面作為一個里程碑式的技術，意味著計算機能夠理解人臉圖像。如何通過對抗生成網絡實現(xiàn)人臉互換，提升生成效果是現(xiàn)如今計算機視覺的一大熱點。

對于傳統(tǒng)的方法Face-swap［1］，人臉互換只是把目標人臉截取，粘貼到原始人臉上面，使用圖像融合的相關算法（如泊松融合）消除邊界，后續(xù)的改進一般是在圖像融合方面進行突破。

近年來，隨著深度神經網絡技術的成熟，KORSHUNOVA I［2］提出基于深度學習的人臉互換，將兩個人臉的身份信息看成是兩個不同圖片風格，為一個目標人物訓練一個深度神經網絡提取人臉特征，換臉其實就是替換人臉的高維隱空間向量，而后再用訓練好的人臉生成器進行生成，這種方式要求同一身份大量的人臉數(shù)據(jù)，其訓練得到的模型只適用于這兩個身份。YUVAL N［3］提出先使用3DMM模型擬合人臉，再互換人臉，解決了需要大量同一身份人臉圖片的問題，但3DMM仍然有人臉匹配失敗的問題，最終導致模型出錯。NATSUME R［4-5］提出了FSnet和RSGAN,使用編碼器學習整體人臉的編碼，對所有的人臉只學習一個單一的人臉身份編碼器網絡，但由于輸出的編碼是一個高維的人臉身份向量，特征信息依然高度糾纏。

本文借鑒前人的思想，使用Star-Gan模型作為生成器，利用Arcface［6］身份編碼器提取人臉高維身份特征，針對人臉細節(jié)的生成，使用基于U-net［7］的人臉特征編碼器模型為多層級的輸入，解決人臉特征糾纏的問題，使用PatchGan的思想改造判別器網絡結構，引入實例歸一化層提升生成效果。



本文詳細內容請下載：http://ihrv.cn/resource/share/2000003093


作者信息：易旭，白天(中國科學技術大學 軟件學院，安徽 合肥 230026)

此內容為AET網站原創(chuàng)，未經授權禁止轉載。