總部位于以色列特拉維夫的人工智能(AI)公司Adversa.AI的使命是建立對人工智能的信任，并保護人工智能免受網(wǎng)絡(luò)威脅、隱私問題和安全事件的影響。該公司開發(fā)出了攻擊類的產(chǎn)品：針對人臉識別系統(tǒng)的攻擊，可以欺騙算法錯誤解讀圖像。

　　Adversa.AI開發(fā)了一種欺騙或愚弄了PimEyes（被《華盛頓郵報》描述為地球上最有能力的人臉搜索工具之一）的黑盒攻擊，該公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人亞歷克斯·波利亞科夫（Alex Polyakov）（這個人也可以是任何人）竟然是埃隆·馬斯克（也可以是其他人）。反方稱這種攻擊為“對抗性章魚”，因為像章魚一樣，它具有強適應(yīng)性、隱形特性和精確性。

　　Adversa首席技術(shù)官和聯(lián)合創(chuàng)始人Eugene Neelou向SecurityWeek解釋了原因?！疤岣呷藗儗θ斯ぶ悄芩惴ò踩钠毡檎J識很重要——無論是面部識別，就像這次的案例，還是其他人工智能驅(qū)動的應(yīng)用：：從互聯(lián)網(wǎng)平臺、社交網(wǎng)絡(luò)到自動駕駛汽車、語音輔助等等?！彼羞@些都基于深度學(xué)習(xí)，而深度學(xué)習(xí)在安全方面存在根本性問題。“

　　當人工智能和機器學(xué)習(xí)首次被引入網(wǎng)絡(luò)安全領(lǐng)域時，它們常常被視為——有時也被推銷——終結(jié)黑客攻擊的靈丹妙藥。但這永遠不會是真的。歷史表明，每當一種新技術(shù)被引入計算領(lǐng)域，很快就會出現(xiàn)針對或使用同一技術(shù)的攻擊。

　　Neelou繼續(xù)說道：：”（對抗式章魚）方法是在AI紅隊的一個項目中開發(fā)的，該項目涉及創(chuàng)建多種方法來繞過基于AI的面部識別解決方案?！啊蔽覀儧Q定檢查一下我們的攻擊在多大程度上適用于大規(guī)模的互聯(lián)網(wǎng)應(yīng)用程序，而且這種攻擊在PimEyes（以及其他平臺）上表現(xiàn)得出奇地好?！?/p>

　　過去幾年里，人們對人工智能安全威脅的認識迅速增長。2019年11月，微軟發(fā)表了一篇題為《機器學(xué)習(xí)中的故障模式》（Failure Modes In Machine Learning）的論文，其中對人工智能系統(tǒng)中有意和無意的故障進行了令人驚訝的詳細分類。

　　Adversa.AI公司于2021年4月21日發(fā)表了一份題為《安全可信的人工智能之路》的報告。報告指出：”最近人工智能的指數(shù)級增長促使政府、學(xué)術(shù)界和產(chǎn)業(yè)界在過去兩年中發(fā)表的研究比過去20年多?！叭欢M管人們越來越意識到人工智能可能被濫用，但公眾對它可能帶來的后果知之甚少——除了色情行業(yè)大量使用的深度造假。

　　”對抗章魚“就是為了改變這一點而開發(fā)。Neelou解釋道：”我們的目標是強調(diào)在現(xiàn)實場景中保護關(guān)鍵任務(wù)AI系統(tǒng)的問題?！斑@就是為什么我們開發(fā)了適用于真實環(huán)境的高級攻擊方法，面部識別是我們的研究目標之一。”

　　選擇的攻擊方法是向圖像中注入噪聲?！巴ㄟ^注入噪音來欺騙人工智能系統(tǒng)并不是什么新鮮事。這種類型的攻擊被稱為躲避，是利用人工智能系統(tǒng)的最常見方式。”學(xué)術(shù)界記錄了數(shù)千起躲避攻擊事件。然而，目前的分類方法大多集中在通用圖像分類上，存在各種局限性?！秾剐哉卖~》有許多不同之處，但最重要的是它不需要任何關(guān)于AI算法的知識。“

　　簡化了——也許是過于簡化了——這個過程，它針對波利亞科夫的兩張照片。其中一張原始照片被上傳到PimEyes，以確保這張臉在數(shù)據(jù)庫中。第二種是將Adversa的噪聲注入到圖像中，讓面部識別算法識別出這張照片就是特斯拉和SpaceX的首席執(zhí)行官埃隆·馬斯克。從視覺上看，這張照片仍然是純粹的波利亞科夫，但當PimEyes在互聯(lián)網(wǎng)上發(fā)現(xiàn)它時，它攝取了這張照片，并將其解讀為埃隆·馬斯克。

　　對抗章魚就是為了改變這一點而造的。Neelou解釋道：”我們的目標是強調(diào)在現(xiàn)實場景中保護關(guān)鍵任務(wù)AI系統(tǒng)的問題?！斑@就是為什么我們開發(fā)了適用于真實環(huán)境的高級攻擊方法，面部識別是我們的研究目標之一?！?/p>

　　對抗性章魚把理論變成了現(xiàn)實。Neelou說：“已知有針對生物識別安全的演示攻擊和深度偽造事件?！薄拔覀兊墓舴椒赡苁菆?zhí)行此類攻擊的另一種方式。然而，我們認為偽造數(shù)字身份也可以成為詐騙者有利可圖的目標。我們認為這種威脅不僅僅是生物識別技術(shù)——有許多人工智能算法會根據(jù)照片做出關(guān)鍵決定。他們可以成為更大的目標?！?/p>

　　一個相關(guān)的博客寫道：“黑客活動分子可能會對人工智能驅(qū)動的互聯(lián)網(wǎng)平臺造成嚴重破壞，這些平臺使用人臉屬性作為任何決策或進一步訓(xùn)練的輸入。攻擊者可以通過操縱大型互聯(lián)網(wǎng)公司的個人資料圖片毒害或逃避它們的算法。微軟總結(jié)的機器學(xué)習(xí)有意的故障/失敗和無意的故障的總結(jié)。

　　網(wǎng)絡(luò)犯罪分子可以竊取個人身份，繞過銀行、交易平臺或其他提供認證遠程協(xié)助的服務(wù)中人工智能驅(qū)動的生物識別或身份驗證系統(tǒng)。這種攻擊在任何可以應(yīng)用傳統(tǒng)深度偽造的情況下都可以更加隱蔽。

　　恐怖分子或持不同政見者可能秘密地利用它在社交媒體上隱藏他們的互聯(lián)網(wǎng)活動，不讓執(zhí)法部門知道。它就像是我們當前生活的虛擬世界的面具或假身份。“

　　Neelou認為，問題在于所有深度學(xué)習(xí)算法從根本上來說都是脆弱的，目前還沒有可靠且通用的防御手段。Adversa已經(jīng)測試了開源人工智能模型和人工智能在線api，發(fā)現(xiàn)其中大多數(shù)都很脆弱。如果人臉識別供應(yīng)商將人工智能作為其核心技術(shù)，這可能是他們產(chǎn)品安全的最薄弱環(huán)節(jié)，因為威脅是新的。

　　”與傳統(tǒng)軟件不同，每個人工智能系統(tǒng)都是獨特的，沒有通用的安全補丁，“Neelou告訴《安全周刊》?！惫颈仨氃谒麄兊腁I開發(fā)過程中納入安全測試——也就是AI紅隊測試。他們還應(yīng)該將其實踐整合到網(wǎng)絡(luò)安全生命周期中，包括預(yù)測、預(yù)防、檢測和響應(yīng)能力。要想通過手工操作、使用開源工具或付費購買商業(yè)解決方案來保護自己的人工智能系統(tǒng)，這取決于組織?！暗F(xiàn)實是，人工智能系統(tǒng)需要比現(xiàn)在更安全——這正是設(shè)計《對抗章魚》的目的。

　　目前，Adversa沒有公布攻擊方法的細節(jié)。但是，Neelou表示：”隨著研究科學(xué)家專注于保護人工智能，我們計劃發(fā)布一份白皮書，介紹我們的攻擊方法的技術(shù)細節(jié)。“在這一點上，貓將不是簡單的鴿子，因為對抗性章魚，貓可能看起來是鴿子之一。

　　Adversa.AI公司在其項目聲明中表示，他們的AI紅隊以增加對AI的信任為使命，不斷探索評估和保護關(guān)鍵任務(wù)AI應(yīng)用的新方法。

　　最近，他們發(fā)現(xiàn)了一種攻擊面部識別系統(tǒng)的新方法，并決定在實踐中展示它。他們的演示表明，目前人工智能驅(qū)動的面部識別工具很容易受到攻擊，可能會導(dǎo)致嚴重的后果。

　　面部識別系統(tǒng)中存在一些眾所周知的問題，比如可能導(dǎo)致欺詐甚至錯誤起訴的偏見。然而，他們認為，針對人工智能系統(tǒng)的攻擊需要更多的關(guān)注。其目標是提高認識，并幫助企業(yè)和政府處理新興的對抗性機器學(xué)習(xí)問題。