總部位于以色列特拉維夫的人工智能(AI)公司Adversa.AI的使命是建立對(duì)人工智能的信任，并保護(hù)人工智能免受網(wǎng)絡(luò)威脅、隱私問題和安全事件的影響。該公司開發(fā)出了攻擊類的產(chǎn)品：針對(duì)人臉識(shí)別系統(tǒng)的攻擊，可以欺騙算法錯(cuò)誤解讀圖像。

　　Adversa.AI開發(fā)了一種欺騙或愚弄了PimEyes（被《華盛頓郵報(bào)》描述為地球上最有能力的人臉?biāo)阉鞴ぞ咧唬┑暮诤泄?，該公司的首席?zhí)行官兼聯(lián)合創(chuàng)始人亞歷克斯·波利亞科夫（Alex Polyakov）（這個(gè)人也可以是任何人）竟然是埃隆·馬斯克（也可以是其他人）。反方稱這種攻擊為“對(duì)抗性章魚”，因?yàn)橄裾卖~一樣，它具有強(qiáng)適應(yīng)性、隱形特性和精確性。

　　Adversa首席技術(shù)官和聯(lián)合創(chuàng)始人Eugene Neelou向SecurityWeek解釋了原因?！疤岣呷藗儗?duì)人工智能算法安全的普遍認(rèn)識(shí)很重要——無論是面部識(shí)別，就像這次的案例，還是其他人工智能驅(qū)動(dòng)的應(yīng)用：：從互聯(lián)網(wǎng)平臺(tái)、社交網(wǎng)絡(luò)到自動(dòng)駕駛汽車、語音輔助等等?！彼羞@些都基于深度學(xué)習(xí)，而深度學(xué)習(xí)在安全方面存在根本性問題?！?/p>

　　當(dāng)人工智能和機(jī)器學(xué)習(xí)首次被引入網(wǎng)絡(luò)安全領(lǐng)域時(shí)，它們常常被視為——有時(shí)也被推銷——終結(jié)黑客攻擊的靈丹妙藥。但這永遠(yuǎn)不會(huì)是真的。歷史表明，每當(dāng)一種新技術(shù)被引入計(jì)算領(lǐng)域，很快就會(huì)出現(xiàn)針對(duì)或使用同一技術(shù)的攻擊。

　　Neelou繼續(xù)說道：：”（對(duì)抗式章魚）方法是在AI紅隊(duì)的一個(gè)項(xiàng)目中開發(fā)的，該項(xiàng)目涉及創(chuàng)建多種方法來繞過基于AI的面部識(shí)別解決方案。“”我們決定檢查一下我們的攻擊在多大程度上適用于大規(guī)模的互聯(lián)網(wǎng)應(yīng)用程序，而且這種攻擊在PimEyes（以及其他平臺(tái)）上表現(xiàn)得出奇地好。“

　　過去幾年里，人們對(duì)人工智能安全威脅的認(rèn)識(shí)迅速增長(zhǎng)。2019年11月，微軟發(fā)表了一篇題為《機(jī)器學(xué)習(xí)中的故障模式》（Failure Modes In Machine Learning）的論文，其中對(duì)人工智能系統(tǒng)中有意和無意的故障進(jìn)行了令人驚訝的詳細(xì)分類。

　　Adversa.AI公司于2021年4月21日發(fā)表了一份題為《安全可信的人工智能之路》的報(bào)告。報(bào)告指出：”最近人工智能的指數(shù)級(jí)增長(zhǎng)促使政府、學(xué)術(shù)界和產(chǎn)業(yè)界在過去兩年中發(fā)表的研究比過去20年多?！叭欢?，盡管人們?cè)絹碓揭庾R(shí)到人工智能可能被濫用，但公眾對(duì)它可能帶來的后果知之甚少——除了色情行業(yè)大量使用的深度造假。

　　”對(duì)抗章魚“就是為了改變這一點(diǎn)而開發(fā)。Neelou解釋道：”我們的目標(biāo)是強(qiáng)調(diào)在現(xiàn)實(shí)場(chǎng)景中保護(hù)關(guān)鍵任務(wù)AI系統(tǒng)的問題。“這就是為什么我們開發(fā)了適用于真實(shí)環(huán)境的高級(jí)攻擊方法，面部識(shí)別是我們的研究目標(biāo)之一?！?/p>

　　選擇的攻擊方法是向圖像中注入噪聲?！巴ㄟ^注入噪音來欺騙人工智能系統(tǒng)并不是什么新鮮事。這種類型的攻擊被稱為躲避，是利用人工智能系統(tǒng)的最常見方式。”學(xué)術(shù)界記錄了數(shù)千起躲避攻擊事件。然而，目前的分類方法大多集中在通用圖像分類上，存在各種局限性?！秾?duì)抗性章魚》有許多不同之處，但最重要的是它不需要任何關(guān)于AI算法的知識(shí)?！?/p>

　　簡(jiǎn)化了——也許是過于簡(jiǎn)化了——這個(gè)過程，它針對(duì)波利亞科夫的兩張照片。其中一張?jiān)颊掌簧蟼鞯絇imEyes，以確保這張臉在數(shù)據(jù)庫中。第二種是將Adversa的噪聲注入到圖像中，讓面部識(shí)別算法識(shí)別出這張照片就是特斯拉和SpaceX的首席執(zhí)行官埃隆·馬斯克。從視覺上看，這張照片仍然是純粹的波利亞科夫，但當(dāng)PimEyes在互聯(lián)網(wǎng)上發(fā)現(xiàn)它時(shí)，它攝取了這張照片，并將其解讀為埃隆·馬斯克。

　　對(duì)抗章魚就是為了改變這一點(diǎn)而造的。Neelou解釋道：”我們的目標(biāo)是強(qiáng)調(diào)在現(xiàn)實(shí)場(chǎng)景中保護(hù)關(guān)鍵任務(wù)AI系統(tǒng)的問題?！斑@就是為什么我們開發(fā)了適用于真實(shí)環(huán)境的高級(jí)攻擊方法，面部識(shí)別是我們的研究目標(biāo)之一?！?/p>

　　對(duì)抗性章魚把理論變成了現(xiàn)實(shí)。Neelou說：“已知有針對(duì)生物識(shí)別安全的演示攻擊和深度偽造事件?！薄拔覀兊墓舴椒赡苁菆?zhí)行此類攻擊的另一種方式。然而，我們認(rèn)為偽造數(shù)字身份也可以成為詐騙者有利可圖的目標(biāo)。我們認(rèn)為這種威脅不僅僅是生物識(shí)別技術(shù)——有許多人工智能算法會(huì)根據(jù)照片做出關(guān)鍵決定。他們可以成為更大的目標(biāo)?！?/p>

　　一個(gè)相關(guān)的博客寫道：“黑客活動(dòng)分子可能會(huì)對(duì)人工智能驅(qū)動(dòng)的互聯(lián)網(wǎng)平臺(tái)造成嚴(yán)重破壞，這些平臺(tái)使用人臉屬性作為任何決策或進(jìn)一步訓(xùn)練的輸入。攻擊者可以通過操縱大型互聯(lián)網(wǎng)公司的個(gè)人資料圖片毒害或逃避它們的算法。微軟總結(jié)的機(jī)器學(xué)習(xí)有意的故障/失敗和無意的故障的總結(jié)。

　　網(wǎng)絡(luò)犯罪分子可以竊取個(gè)人身份，繞過銀行、交易平臺(tái)或其他提供認(rèn)證遠(yuǎn)程協(xié)助的服務(wù)中人工智能驅(qū)動(dòng)的生物識(shí)別或身份驗(yàn)證系統(tǒng)。這種攻擊在任何可以應(yīng)用傳統(tǒng)深度偽造的情況下都可以更加隱蔽。

　　恐怖分子或持不同政見者可能秘密地利用它在社交媒體上隱藏他們的互聯(lián)網(wǎng)活動(dòng)，不讓執(zhí)法部門知道。它就像是我們當(dāng)前生活的虛擬世界的面具或假身份?！?/p>

　　Neelou認(rèn)為，問題在于所有深度學(xué)習(xí)算法從根本上來說都是脆弱的，目前還沒有可靠且通用的防御手段。Adversa已經(jīng)測(cè)試了開源人工智能模型和人工智能在線api，發(fā)現(xiàn)其中大多數(shù)都很脆弱。如果人臉識(shí)別供應(yīng)商將人工智能作為其核心技術(shù)，這可能是他們產(chǎn)品安全的最薄弱環(huán)節(jié)，因?yàn)橥{是新的。

　　”與傳統(tǒng)軟件不同，每個(gè)人工智能系統(tǒng)都是獨(dú)特的，沒有通用的安全補(bǔ)丁，“Neelou告訴《安全周刊》?！惫颈仨氃谒麄兊腁I開發(fā)過程中納入安全測(cè)試——也就是AI紅隊(duì)測(cè)試。他們還應(yīng)該將其實(shí)踐整合到網(wǎng)絡(luò)安全生命周期中，包括預(yù)測(cè)、預(yù)防、檢測(cè)和響應(yīng)能力。要想通過手工操作、使用開源工具或付費(fèi)購買商業(yè)解決方案來保護(hù)自己的人工智能系統(tǒng)，這取決于組織?！暗F(xiàn)實(shí)是，人工智能系統(tǒng)需要比現(xiàn)在更安全——這正是設(shè)計(jì)《對(duì)抗章魚》的目的。

　　目前，Adversa沒有公布攻擊方法的細(xì)節(jié)。但是，Neelou表示：”隨著研究科學(xué)家專注于保護(hù)人工智能，我們計(jì)劃發(fā)布一份白皮書，介紹我們的攻擊方法的技術(shù)細(xì)節(jié)?！霸谶@一點(diǎn)上，貓將不是簡(jiǎn)單的鴿子，因?yàn)閷?duì)抗性章魚，貓可能看起來是鴿子之一。

　　Adversa.AI公司在其項(xiàng)目聲明中表示，他們的AI紅隊(duì)以增加對(duì)AI的信任為使命，不斷探索評(píng)估和保護(hù)關(guān)鍵任務(wù)AI應(yīng)用的新方法。

　　最近，他們發(fā)現(xiàn)了一種攻擊面部識(shí)別系統(tǒng)的新方法，并決定在實(shí)踐中展示它。他們的演示表明，目前人工智能驅(qū)動(dòng)的面部識(shí)別工具很容易受到攻擊，可能會(huì)導(dǎo)致嚴(yán)重的后果。

　　面部識(shí)別系統(tǒng)中存在一些眾所周知的問題，比如可能導(dǎo)致欺詐甚至錯(cuò)誤起訴的偏見。然而，他們認(rèn)為，針對(duì)人工智能系統(tǒng)的攻擊需要更多的關(guān)注。其目標(biāo)是提高認(rèn)識(shí)，并幫助企業(yè)和政府處理新興的對(duì)抗性機(jī)器學(xué)習(xí)問題。