研究人員提出針對(duì)基于人工智能的人臉識(shí)別引擎的對(duì)抗攻擊Demo。
近日,Adversa公司研究人員分析發(fā)現(xiàn)了攻擊面部識(shí)別系統(tǒng)的新方法——ADVERSARIAL OCTOPUS。研究發(fā)現(xiàn)當(dāng)前基于人工智能的面部識(shí)別工具易被攻擊,可能會(huì)引發(fā)嚴(yán)重的后果。此外,許多面部識(shí)別系統(tǒng)都存在偏見(jiàn),可能會(huì)產(chǎn)生錯(cuò)誤的結(jié)果。
攻擊細(xì)節(jié)
研究人員開(kāi)發(fā)了一個(gè)針對(duì)人工智能驅(qū)動(dòng)的人臉識(shí)別系統(tǒng)的攻擊方式,只需將照片做出修改,就可以讓人工智能系統(tǒng)錯(cuò)誤識(shí)別為其他人。產(chǎn)生這種情況的原因是當(dāng)前人臉識(shí)別算法和應(yīng)用存在不足,攻擊可以用于基于計(jì)算機(jī)視覺(jué)算法的投毒攻擊場(chǎng)景和繞過(guò)場(chǎng)景等。
這種新型攻擊可以繞過(guò)人臉識(shí)別服務(wù)、應(yīng)用和API,其中包括當(dāng)前最先進(jìn)的人臉識(shí)別算法引擎——PimEyes。主要的特征是其融合了不同的方法來(lái)提高效率。
針對(duì)PimEyes的攻擊框架是基于以下方法:
為提高可遷移性,用不同的面部識(shí)別模型以及隨機(jī)噪聲來(lái)進(jìn)行訓(xùn)練;
為提高準(zhǔn)確率,計(jì)算審計(jì)網(wǎng)絡(luò)每層的對(duì)抗變化,并使用隨機(jī)面部檢測(cè)幀;
此外,還對(duì)每個(gè)像素進(jìn)行微小變化,并使用特殊的函數(shù)來(lái)平滑對(duì)抗噪聲。
攻擊demo
研究人員提出的攻擊方式是黑盒的、一次性成功的、靜默的、可遷移的,可以繞過(guò)人臉識(shí)別AI模型和API,其中包括目前最先進(jìn)的在線人臉識(shí)別搜索引擎PimEye.com。
誰(shuí)可以利用這些漏洞?
該攻擊是一種黑客攻擊方法,也就是說(shuō)對(duì)搜索引擎的算法沒(méi)有任何的了解,該漏洞利用是可遷移的,可以應(yīng)用于其他使用人臉的人工智能應(yīng)用。攻擊者可以對(duì)個(gè)人照片進(jìn)行修改來(lái)對(duì)許多算法進(jìn)行投毒和繞過(guò)。犯罪分子可以竊取個(gè)人身份,并繞過(guò)銀行、貿(mào)易平臺(tái)和其他遠(yuǎn)程認(rèn)證系統(tǒng)使用的基于人工智能的生物認(rèn)證或身份驗(yàn)證系統(tǒng)。犯罪分子還可以使用該攻擊將其活動(dòng)隱藏在社交媒體中。
攻擊的適用范圍是什么?
該攻擊的主要特征是適用于多個(gè)不同的AI實(shí)現(xiàn),其中包括在線API和物理設(shè)備。此外,攻擊還可以針對(duì)不同的目標(biāo)環(huán)境來(lái)進(jìn)行調(diào)整。這也就是起名Adversarial Octopus的原因。
如何應(yīng)對(duì)此類攻擊?
為應(yīng)對(duì)此類攻擊,研究人員建議:
首先是對(duì)抗測(cè)試。類似針對(duì)人工智能系統(tǒng)的傳統(tǒng)滲透測(cè)試。對(duì)抗測(cè)試對(duì)于所有的人工智能系統(tǒng)來(lái)說(shuō)都應(yīng)該是必須的。
通過(guò)對(duì)抗訓(xùn)練、模型加固、數(shù)據(jù)清洗和其他防御手段來(lái)在對(duì)抗場(chǎng)景下開(kāi)發(fā)和訓(xùn)練人工智能。
檢測(cè)人工智能在關(guān)鍵決策應(yīng)用中的新威脅,并持續(xù)追蹤對(duì)抗機(jī)器學(xué)習(xí)最新進(jìn)展。