《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 設(shè)計(jì)應(yīng)用 > 融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的深度偽造檢測(cè)算法
融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的深度偽造檢測(cè)算法
信息技術(shù)與網(wǎng)絡(luò)安全
楊雨鑫1,周 欣1,2,熊淑華1,何小海1,卿粼波1
(1.四川大學(xué) 電子信息學(xué)院,四川 成都610065;2.中國(guó)信息安全測(cè)評(píng)中心,北京100085)
摘要: 人臉深度偽造檢測(cè)技術(shù)對(duì)于打擊虛假圖像/視頻泛濫具有至關(guān)重要的意義。提出了一種融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法,算法結(jié)合了傳統(tǒng)特征具有可解釋性與神經(jīng)網(wǎng)絡(luò)高準(zhǔn)確率的優(yōu)點(diǎn),利用圖像灰度共生矩陣以及XceptionNet組成雙特征提取模塊,然后在全卷積網(wǎng)絡(luò)中充分考慮雙流融合特征信息,最終根據(jù)網(wǎng)絡(luò)多損失實(shí)現(xiàn)圖像真?zhèn)畏诸惻袥Q。在FaceForensics++數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測(cè)試,實(shí)驗(yàn)結(jié)果表明,相比現(xiàn)有深度學(xué)習(xí)算法,檢測(cè)準(zhǔn)確率有明顯提升。而且由于引入的紋理特征具有一定的可解釋性,表現(xiàn)出良好的鑒別性能。
中圖分類號(hào): TP181
文獻(xiàn)標(biāo)識(shí)碼: A
DOI: 10.19358/j.issn.2096-5133.2021.02.006
引用格式: 楊雨鑫,周欣,熊淑華,等. 融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的深度偽造檢測(cè)算法[J].信息技術(shù)與網(wǎng)絡(luò)安全,2021,40(2):33-38,44.
Research on deepfakes detection combining traditional features and neural network
Yang Yuxin1,Zhou Xin1,2,Xiong Shuhua1,He Xiaohai1,Qing Linbo1
(1.College of Electronics and Information Engineering,Sichuan University,Chengdu 610065,China; 2.China Information Technology Security Evaluation Center,Beijing 100085,China)
Abstract: DeepFakes detection is significant to combat the spread of forgery video. Aiming at the task of deepfakes detection, a method combining traditional features and neural network is proposed. The method combines the interpretability of traditional features and high accuracy of the neural network. This paper used the gray level co-occurrence matrix and XceptionNet to form two feature extraction modules, then learned the dual-stream fusion feature information in the fully convolutional network. The image was distinguished according to multiple losses in the network finally. Our method was tested over benchmarks of the FaceForensics++ datasets. The experimental results show that compared with the state-of-the-art deep learning algorithms, the detection accuracy has been significantly improved. It shows promising discrimination performance due to the introduction of texture feature interpretability.
Key words : deepfakes;image forensics;feature fusion;gray level co-occurrence matrix(GLCM);convolutional neural network(CNN)

0 引言

         深度偽造是利用深度學(xué)習(xí)算法生成偽造人臉圖像/視頻技術(shù)的總稱。這種視覺(jué)合成技術(shù)根據(jù)實(shí)現(xiàn)方式的不同,具體細(xì)分為DeepFake、Face2Face[1]、FaceSwap[2]等。該技術(shù)可以將圖像中已有的面部表情和動(dòng)作提取出來(lái),合成另一張人臉替代原圖臉部區(qū)域,最終制造出人眼難以區(qū)分的虛假圖像/視頻。

         2019年,SnapChat和ZAO等應(yīng)用程序?qū)崿F(xiàn)了用戶與電影明星換臉的功能,深度偽造技術(shù)快速進(jìn)入公眾視野并引發(fā)關(guān)注。與此同時(shí),普通人可以利用開源的深度偽造程序生成逼真的人臉圖像/視頻,使得眾多公眾人物陷入遭受深度偽造技術(shù)攻擊的風(fēng)險(xiǎn)之中。龍坤[3]等人從國(guó)家政治安全、經(jīng)濟(jì)安全、社會(huì)安全、國(guó)民安全方面論述了深度偽造技術(shù)帶來(lái)的潛在危害,美國(guó)國(guó)防高級(jí)研究計(jì)劃署也在同年針對(duì)虛假圖像/視頻發(fā)起檢測(cè)項(xiàng)目。因此,針對(duì)深度偽造算法生成圖像的檢測(cè)工作變得越來(lái)越重要。



本文詳細(xì)內(nèi)容請(qǐng)下載:http://ihrv.cn/resource/share/2000003376




作者信息:

楊雨鑫1,周  欣1,2,熊淑華1,何小海1,卿粼波1

(1.四川大學(xué) 電子信息學(xué)院,四川 成都610065;2.中國(guó)信息安全測(cè)評(píng)中心,北京100085)


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。