研究人員提出針對基于人工智能的人臉識別引擎的對抗攻擊Demo。
近日,Adversa公司研究人員分析發(fā)現了攻擊面部識別系統(tǒng)的新方法——ADVERSARIAL OCTOPUS。研究發(fā)現當前基于人工智能的面部識別工具易被攻擊,可能會引發(fā)嚴重的后果。此外,許多面部識別系統(tǒng)都存在偏見,可能會產生錯誤的結果。
攻擊細節(jié)
研究人員開發(fā)了一個針對人工智能驅動的人臉識別系統(tǒng)的攻擊方式,只需將照片做出修改,就可以讓人工智能系統(tǒng)錯誤識別為其他人。產生這種情況的原因是當前人臉識別算法和應用存在不足,攻擊可以用于基于計算機視覺算法的投毒攻擊場景和繞過場景等。
這種新型攻擊可以繞過人臉識別服務、應用和API,其中包括當前最先進的人臉識別算法引擎——PimEyes。主要的特征是其融合了不同的方法來提高效率。
針對PimEyes的攻擊框架是基于以下方法:
為提高可遷移性,用不同的面部識別模型以及隨機噪聲來進行訓練;
為提高準確率,計算審計網絡每層的對抗變化,并使用隨機面部檢測幀;
此外,還對每個像素進行微小變化,并使用特殊的函數來平滑對抗噪聲。
攻擊demo
研究人員提出的攻擊方式是黑盒的、一次性成功的、靜默的、可遷移的,可以繞過人臉識別AI模型和API,其中包括目前最先進的在線人臉識別搜索引擎PimEye.com。
誰可以利用這些漏洞?
該攻擊是一種黑客攻擊方法,也就是說對搜索引擎的算法沒有任何的了解,該漏洞利用是可遷移的,可以應用于其他使用人臉的人工智能應用。攻擊者可以對個人照片進行修改來對許多算法進行投毒和繞過。犯罪分子可以竊取個人身份,并繞過銀行、貿易平臺和其他遠程認證系統(tǒng)使用的基于人工智能的生物認證或身份驗證系統(tǒng)。犯罪分子還可以使用該攻擊將其活動隱藏在社交媒體中。
攻擊的適用范圍是什么?
該攻擊的主要特征是適用于多個不同的AI實現,其中包括在線API和物理設備。此外,攻擊還可以針對不同的目標環(huán)境來進行調整。這也就是起名Adversarial Octopus的原因。
如何應對此類攻擊?
為應對此類攻擊,研究人員建議:
首先是對抗測試。類似針對人工智能系統(tǒng)的傳統(tǒng)滲透測試。對抗測試對于所有的人工智能系統(tǒng)來說都應該是必須的。
通過對抗訓練、模型加固、數據清洗和其他防御手段來在對抗場景下開發(fā)和訓練人工智能。
檢測人工智能在關鍵決策應用中的新威脅,并持續(xù)追蹤對抗機器學習最新進展。