人工智能并不總是被用來(lái)做好事。特別是，網(wǎng)絡(luò)攻擊者可以使用AI來(lái)增強(qiáng)他們的攻擊和擴(kuò)大他們的行動(dòng)。微軟（Microsoft）、普渡大學(xué)（Purdue）和本-古里安大學(xué)（Ben-Gurion University）、佐治亞理工學(xué)院、新加坡南洋理工大學(xué)等大學(xué)的研究人員最近發(fā)表了一項(xiàng)調(diào)查，探討了這種“攻擊性人工智能”（offensive AI）對(duì)組織的威脅。調(diào)查確定了攻擊對(duì)手可以用來(lái)支持其攻擊的不同能力，并根據(jù)嚴(yán)重程度對(duì)每種能力進(jìn)行排名，提供對(duì)攻擊對(duì)手的深度洞察。

　　這項(xiàng)調(diào)查考察了現(xiàn)有的關(guān)于攻擊性人工智能的研究，以及來(lái)自MITRE、IBM、空客、博世、日立、富士和華為等公司的回應(yīng)，確定了攻擊對(duì)手使用人工智能的三個(gè)主要?jiǎng)訖C(jī)：覆蓋率、速度和成功率。人工智能使攻擊者能夠通過(guò)破壞機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)來(lái)“毒害”機(jī)器學(xué)習(xí)模型，并通過(guò)側(cè)信道分析竊取憑證。它可以用于漏洞檢測(cè)、滲透測(cè)試和證書(shū)泄漏檢測(cè)等人工智能方法的武器化。安帝科技摘編部分關(guān)鍵內(nèi)容供大家學(xué)習(xí)參考。

　　前言

　　網(wǎng)絡(luò)攻擊活化的今天，能源、效能、政府機(jī)構(gòu)、醫(yī)療和金融等機(jī)構(gòu)一直都是網(wǎng)絡(luò)攻擊的重點(diǎn)目標(biāo)。這些網(wǎng)絡(luò)攻擊都是由經(jīng)驗(yàn)豐富的黑客手動(dòng)實(shí)施的。近年來(lái)，人工智能（AI）的發(fā)展迅猛，這使得軟件工具的創(chuàng)造成為可能，這些軟件工具有助于實(shí)現(xiàn)預(yù)測(cè)、信息檢索和媒體合成等任務(wù)的自動(dòng)化。在此期間，學(xué)術(shù)界和工業(yè)界的成員利用AI來(lái)改善網(wǎng)絡(luò)防御狀況和威脅分析。然而，AI是一把雙刃劍，攻擊者可以利用它來(lái)改進(jìn)他們的惡意活動(dòng)。

　　最近，人們做了很多工作來(lái)識(shí)別和減輕對(duì)基于AI的系統(tǒng)的攻擊（對(duì)抗性機(jī)器學(xué)習(xí)）。然而，一個(gè)具有人工智能能力的對(duì)手能做的遠(yuǎn)不止毒害或愚弄機(jī)器學(xué)習(xí)模型這么簡(jiǎn)單。對(duì)手可以改進(jìn)他們的戰(zhàn)術(shù)來(lái)發(fā)動(dòng)攻擊，這在以前是不可能的。例如，通過(guò)深度學(xué)習(xí)，可以通過(guò)模仿上級(jí)的面孔和聲音來(lái)執(zhí)行高效的魚(yú)叉式網(wǎng)絡(luò)釣魚(yú)攻擊。也有可能通過(guò)網(wǎng)絡(luò)、限制命令和控制（C&C）通信，使用自動(dòng)化執(zhí)行橫向移動(dòng)來(lái)提高隱形能力。其他能力包括使用人工智能來(lái)發(fā)現(xiàn)軟件中的零日漏洞，自動(dòng)化逆向工程，有效地利用側(cè)通道，構(gòu)建真實(shí)的假角色，并以更高的效率執(zhí)行更多的惡意活動(dòng)。

　　一、何為攻擊性AI？

　　攻擊性AI有兩種形式：使用AI的攻擊和攻擊AI。例如，對(duì)手可以（1）使用AI來(lái)提高攻擊的效率（例如，信息收集、攻擊自動(dòng)化和漏洞發(fā)現(xiàn)）或（2）使用AI的知識(shí)來(lái)對(duì)防御者的AI產(chǎn)品和解決方案進(jìn)行漏洞利用（例如，逃避防御或在產(chǎn)品中植入木馬）。后一種形式的攻擊性人工智能通常被稱為對(duì)抗性機(jī)器學(xué)習(xí)。

　　一是使用AI技術(shù)的網(wǎng)絡(luò)攻擊；雖然有很多在網(wǎng)絡(luò)攻擊中使用的AI任務(wù)，但最為常見(jiàn)的不外乎是預(yù)測(cè)、生成、分析、獲取和決策。

　　預(yù)測(cè)。這是根據(jù)以前觀察到的數(shù)據(jù)做出預(yù)測(cè)的任務(wù)。常見(jiàn)的例子有分類(lèi)、異常檢測(cè)和回歸。攻擊性目的預(yù)測(cè)的例子，比如基于動(dòng)作識(shí)別智能手機(jī)上的按鍵，選擇攻擊鏈中最薄弱的環(huán)節(jié)以及定位可利用的軟件漏洞。

　　生成。這是創(chuàng)造符合目標(biāo)分布內(nèi)容的任務(wù)，在某些情況下，這需要人類(lèi)的現(xiàn)實(shí)主義。攻擊性AI使用生成的例子包括篡改媒體證據(jù)、智能口令猜測(cè)和流量整形以避免檢測(cè)。深度偽造是這類(lèi)攻擊性人工智能的另一個(gè)例子。深度偽造是一種由DL模型創(chuàng)建的可信媒體。該技術(shù)可以通過(guò)模擬受害者的聲音或面部來(lái)實(shí)施網(wǎng)絡(luò)釣魚(yú)攻擊。

　　分析。這是從數(shù)據(jù)或模型中挖掘或提取有用見(jiàn)解的任務(wù)。攻擊性AI分析的一些例子是使用可解釋的人工智能技術(shù)來(lái)識(shí)別如何更好地隱藏人工制品（例如，在惡意軟件中），以及在組織中聚集或嵌入信息來(lái)識(shí)別資產(chǎn)或目標(biāo)，用于社會(huì)工程。

　　檢索。這是尋找與給定查詢匹配或語(yǔ)義上類(lèi)似的內(nèi)容的任務(wù)。例如，在攻擊中，檢索算法可以用來(lái)跟蹤一個(gè)被破壞的監(jiān)控系統(tǒng)中的一個(gè)對(duì)象或個(gè)人，通過(guò)對(duì)社交媒體帖子進(jìn)行語(yǔ)義分析，找到心懷不滿的員工（作為潛在的內(nèi)部威脅者），并在偵察階段收集開(kāi)源情報(bào)（OSINT）期間對(duì)冗長(zhǎng)的文件進(jìn)行總結(jié)。

　　決策。制定戰(zhàn)略計(jì)劃或協(xié)調(diào)行動(dòng)的任務(wù)。攻擊性人工智能的例子是使用群體智能來(lái)操作一個(gè)自治的僵尸網(wǎng)絡(luò)和使用啟發(fā)式攻擊圖來(lái)規(guī)劃對(duì)網(wǎng)絡(luò)的最優(yōu)攻擊。

　　二是直接針對(duì)AI的網(wǎng)絡(luò)攻擊，即對(duì)抗性機(jī)器學(xué)習(xí)；網(wǎng)絡(luò)攻擊者基于自身的AI知識(shí)，可利用機(jī)器學(xué)習(xí)的漏洞來(lái)破壞ML的機(jī)密性、完整性和可用性。典型的手法有修改訓(xùn)練數(shù)據(jù)、修改測(cè)試數(shù)據(jù)、分析模型的響應(yīng)、修改訓(xùn)練代碼、修改模型參數(shù)等。

　　修改訓(xùn)練數(shù)據(jù)。在這里，攻擊者修改訓(xùn)練數(shù)據(jù)以損害模型的完整性或可用性。拒絕服務(wù)（Denial of service, DoS）投毒攻擊是指攻擊者降低模型的性能，直至其不可用。后門(mén)中毒攻擊或木馬攻擊是指攻擊者教模型識(shí)別觸發(fā)行為的不尋常模式（例如，將樣本分類(lèi)為安全）。這種攻擊的無(wú)觸發(fā)版本會(huì)導(dǎo)致模型在不向樣本本身添加觸發(fā)模式的情況下錯(cuò)誤分類(lèi)測(cè)試樣本。

　　修改測(cè)試數(shù)據(jù)。在這種情況下，攻擊者修改測(cè)試樣本，使它們錯(cuò)誤分類(lèi)。例如，改變惡意電子郵件的字母，使其被誤認(rèn)為是合法的，或改變圖像中的幾個(gè)像素，以逃避面部識(shí)別。因此，這些類(lèi)型的攻擊通常被稱為逃避攻擊。通過(guò)修改測(cè)試樣本來(lái)增加模型的資源消耗，攻擊者也可以降低模型的性能。

　　分析模型的響應(yīng)。在這里，攻擊者向模型發(fā)送大量精心設(shè)計(jì)的查詢，并觀察響應(yīng)，以推斷關(guān)于模型的參數(shù)或訓(xùn)練數(shù)據(jù)的信息。為了了解訓(xùn)練數(shù)據(jù)，有隸屬關(guān)系推理、去匿名化和模型反演攻擊。為了學(xué)習(xí)模型的參數(shù)，有模型竊取/提取、盲點(diǎn)檢測(cè)、狀態(tài)預(yù)測(cè)。

　　修改訓(xùn)練代碼。在這種情況下，攻擊者通過(guò)修改用于訓(xùn)練ML模型的庫(kù)（例如，通過(guò)一個(gè)開(kāi)源項(xiàng)目）來(lái)執(zhí)行供應(yīng)鏈攻擊。例如，一個(gè)受損（訓(xùn)練）函數(shù)插入了一個(gè)后門(mén)。

　　修改模型參數(shù)。在這個(gè)攻擊向量中，攻擊者訪問(wèn)一個(gè)經(jīng)過(guò)訓(xùn)練的模型（例如，通過(guò)一個(gè)模型Zoo或安全漏洞），并篡改其參數(shù)來(lái)插入一個(gè)潛在的行為。這些攻擊可以在軟件或硬件級(jí)別上執(zhí)行（又稱故障攻擊）。

　　根據(jù)場(chǎng)景的不同，攻擊者可能不完全了解或訪問(wèn)目標(biāo)模型：

　　白盒（完全了解）攻擊：攻擊者知道目標(biāo)系統(tǒng)的一切。對(duì)于系統(tǒng)防御者來(lái)說(shuō)，這是最糟糕的情況。雖然在實(shí)踐中不太可能發(fā)生，但這個(gè)設(shè)置很有趣，因?yàn)樗鼮楣粽叩男阅芴峁┝艘粋€(gè)經(jīng)驗(yàn)上限。

　　灰盒（有限了解）攻擊：攻擊者對(duì)目標(biāo)系統(tǒng)（如學(xué)習(xí)算法、體系結(jié)構(gòu)等）只有部分了解，但對(duì)訓(xùn)練數(shù)據(jù)和模型參數(shù)一無(wú)所知。

　　黑盒（零了解）攻擊：攻擊者只知道模型被設(shè)計(jì)用來(lái)執(zhí)行的任務(wù)，以及系統(tǒng)一般使用的是哪種特征（例如，惡意軟件檢測(cè)器是否經(jīng)過(guò)訓(xùn)練，可以執(zhí)行靜態(tài)或動(dòng)態(tài)分析）。攻擊者還可以以黑盒的方式分析模型的響應(yīng)，以獲得對(duì)某些輸入的反饋。

　　二、攻擊性AI的影響

　　傳統(tǒng)的對(duì)手使用手工工作、通用工具和專家知識(shí)來(lái)達(dá)到他們的目標(biāo)。相比之下，具有人工智能能力的對(duì)手可以利用人工智能自動(dòng)化其任務(wù)，增強(qiáng)其工具，并逃避檢測(cè)。這些新能力會(huì)影響網(wǎng)絡(luò)攻殺鏈。

　　首先，讓研究人員討論一下為什么對(duì)手會(huì)考慮在進(jìn)攻一個(gè)組織時(shí)使用AI。

　　進(jìn)攻性人工智能的三大動(dòng)因。在研究人員的調(diào)查中，研究人員發(fā)現(xiàn)對(duì)手使用人工智能攻擊一個(gè)組織有三個(gè)核心動(dòng)機(jī)：覆蓋率、速度和成功率。

　　覆蓋率。通過(guò)使用人工智能，對(duì)手可以通過(guò)自動(dòng)化來(lái)擴(kuò)大其操作規(guī)模，從而減少人力勞動(dòng)，增加成功的機(jī)會(huì)。例如，AI可以用來(lái)自動(dòng)制造和發(fā)起魚(yú)叉式釣魚(yú)攻擊，根據(jù)從OSINT收集的數(shù)據(jù)進(jìn)行提煉和推理，同時(shí)維持對(duì)多個(gè)組織的攻擊，并在網(wǎng)絡(luò)中獲得更多資產(chǎn)以獲得更強(qiáng)的立足點(diǎn)。換句話說(shuō)，人工智能使對(duì)手能夠以更小的勞動(dòng)力以更高的精度攻擊更多的組織。

　　速度。有了AI，對(duì)手可以更快地達(dá)成目標(biāo)。例如，機(jī)器學(xué)習(xí)可用于幫助提取憑證，在橫向移動(dòng)時(shí)智能地選擇下一個(gè)最佳目標(biāo)，監(jiān)視用戶獲取信息（例如，對(duì)竊聽(tīng)的音頻執(zhí)行語(yǔ)音到文本），或在軟件中查找零日漏洞。通過(guò)更快地到達(dá)目標(biāo)，對(duì)手不僅可以節(jié)省其他冒險(xiǎn)活動(dòng)的時(shí)間，還可以減少自己在防御者網(wǎng)絡(luò)中的存在時(shí)間。

　　成功率。通過(guò)增強(qiáng)AI的操作，對(duì)手將增加其成功的可能性。即可以用來(lái)（1）通過(guò)最小化或偽裝網(wǎng)絡(luò)流量（如C2流量）使操作更秘密，利用防御者人工智能模型如ML-based入侵檢測(cè)系統(tǒng)（IDS）的漏洞，（2）識(shí)別攻擊機(jī)會(huì)良好的社會(huì)工程攻擊目標(biāo)和新穎的漏洞，（3）啟用更好的攻擊向量，如在魚(yú)叉式釣魚(yú)攻擊中使用深度偽造（deepfakes），（4）規(guī)劃最優(yōu)攻擊策略，（5）通過(guò)自動(dòng)機(jī)器人協(xié)調(diào)和惡意軟件混淆加強(qiáng)網(wǎng)絡(luò)的持久性。

　　研究人員注意到，這些動(dòng)機(jī)并不相互排斥。例如，使用人工智能來(lái)自動(dòng)化釣魚(yú)活動(dòng)可以增加覆蓋率、速度和成功率。

　　人工智能威脅代理。很明顯，一些具有人工智能能力的威脅代理將能夠執(zhí)行比其他代理更復(fù)雜的人工智能攻擊。例如，國(guó)家行為者可以潛在地啟動(dòng)智能自動(dòng)僵尸網(wǎng)絡(luò)，而黑客激進(jìn)分子可能也很難做到這一點(diǎn)。然而，研究人員多年來(lái)觀察到，人工智能已經(jīng)變得越來(lái)越容易使用，甚至對(duì)新手用戶也是如此。例如，網(wǎng)上有各種各樣的開(kāi)源深度造假技術(shù)，即插即用。因此，隨著人工智能技術(shù)的普及，某些威脅因子之間的復(fù)雜性差距可能會(huì)隨著時(shí)間的推移而縮小。

　　新的攻擊目標(biāo)。除了傳統(tǒng)的攻擊目標(biāo)，具有AI能力的對(duì)手也有新的攻擊目標(biāo)：

　　破壞。對(duì)手可能想要利用其對(duì)AI的了解來(lái)對(duì)組織造成破壞。例如，它可能希望通過(guò)毒害其數(shù)據(jù)集來(lái)改變性能，或者在模型中植入木馬以供后期利用，從而改變組織產(chǎn)品和解決方案中的ML模型。此外，對(duì)手可能想要對(duì)AI系統(tǒng)執(zhí)行對(duì)抗性機(jī)器學(xué)習(xí)攻擊。例如，在監(jiān)視中逃避檢測(cè)，或使財(cái)務(wù)或能源預(yù)測(cè)模型偏向?qū)κ?。最后，?duì)手也可以使用生成AI以現(xiàn)實(shí)的方式添加或修改證據(jù)。例如，修改或栽植監(jiān)控錄像、醫(yī)療掃描或財(cái)務(wù)記錄中的證據(jù)。

　　間諜活動(dòng)。有了人工智能，對(duì)手可以提高其間諜組織和提取/推斷有意義信息的能力。例如，它們可以使用語(yǔ)音到文本算法和情感分析來(lái)挖掘有用的音頻記錄或通過(guò)聲學(xué)或運(yùn)動(dòng)側(cè)通道竊取憑證。人工智能還可以用于從加密的網(wǎng)絡(luò)流量中提取潛在信息，并通過(guò)組織的社交媒體跟蹤用戶。最后，攻擊者可能希望利用群體智能實(shí)現(xiàn)一個(gè)自主的持久立足點(diǎn)。

　　信息盜竊。具有人工智能能力的對(duì)手可能想要竊取目標(biāo)組織訓(xùn)練的模型，用于未來(lái)的白盒對(duì)抗性機(jī)器學(xué)習(xí)攻擊。因此，一些數(shù)據(jù)記錄和專有數(shù)據(jù)集可能作為訓(xùn)練模型的目標(biāo)。特別是，客戶和員工的音頻或視頻記錄可能會(huì)被竊取，以制造令人信服的深度假模仿。最后，通過(guò)人工智能逆向工程工具，知識(shí)產(chǎn)權(quán)可能成為目標(biāo)。

　　新的攻擊能力。通過(guò)研究人員的調(diào)查，研究人員已經(jīng)確定了33個(gè)進(jìn)攻性AI能力（OAC），直接提高對(duì)手的能力，以實(shí)現(xiàn)攻擊步驟。這些OAC可以分為七個(gè)類(lèi)別：（1）自動(dòng)化，（2）活動(dòng)彈性，（3）證書(shū)盜竊，（4）漏洞利用開(kāi)發(fā)，（5）信息收集，（6）社會(huì)工程，和（7）隱身。這些能力中的每一個(gè)都可以與前述介紹的三個(gè)激勵(lì)因素相關(guān)聯(lián)。

　　圖1

　　在圖1中，研究者展示了OACs并映射了它們對(duì)網(wǎng)絡(luò)殺傷鏈的影響（MITRE企業(yè)ATT&CK模型）。圖中的一條邊表示指定的OAC提高了攻擊者實(shí)現(xiàn)給定攻擊步驟的能力。從圖中可以看到進(jìn)攻AI影響著進(jìn)攻模型的各個(gè)方面。

　　這些能力可以通過(guò)以下兩種方式之一實(shí)現(xiàn)：

　　基于人工智能的工具是在對(duì)手的武器庫(kù)中執(zhí)行特定任務(wù)的程序。例如，一個(gè)用于智能預(yù)測(cè)口令、模糊惡意代碼、規(guī)避的流量整形、操縱人物等的工具。這些工具通常以機(jī)器學(xué)習(xí)模型的形式出現(xiàn)。

　　人工智能驅(qū)動(dòng)的機(jī)器人是自動(dòng)機(jī)器人，可以執(zhí)行一個(gè)或多個(gè)攻擊步驟，無(wú)需人工干預(yù)，或與其他機(jī)器人協(xié)調(diào)，有效地實(shí)現(xiàn)自己的目標(biāo)。這些機(jī)器人可能使用群智能和機(jī)器學(xué)習(xí)的組合來(lái)操作。

　　三、AI的直接網(wǎng)絡(luò)威脅

　　一些組織告訴研究人員，他們認(rèn)為開(kāi)發(fā)、社會(huì)工程和信息收集是最具威脅性的人工智能技術(shù)。他們尤其擔(dān)心人工智能被用于模仿，比如深度造假來(lái)實(shí)施釣魚(yú)攻擊和逆向工程，這可能會(huì)讓攻擊者“竊取”專有算法。此外，他們還擔(dān)心，由于人工智能的自動(dòng)化過(guò)程，對(duì)手可能會(huì)從一些緩慢的隱蔽行動(dòng)轉(zhuǎn)變?yōu)樵S多快節(jié)奏的行動(dòng)，以擊垮防御者，增加他們的成功機(jī)會(huì)。

　　但這些擔(dān)憂并沒(méi)有刺激國(guó)防投資。數(shù)據(jù)認(rèn)證初創(chuàng)公司Attestiv對(duì)企業(yè)進(jìn)行的一項(xiàng)調(diào)查顯示，只有不到30%的企業(yè)表示，他們已經(jīng)采取措施減輕深度偽造攻擊的影響。盡管有“深度偽造檢測(cè)挑戰(zhàn)”（Deepfake Detection Challenge）和微軟（Microsoft）的“視頻驗(yàn)證器”（Video Authenticator）等創(chuàng)新，但隨著生成技術(shù)的不斷改進(jìn)，打擊深度偽造可能仍具有挑戰(zhàn)性。

　　事實(shí)上，研究人員預(yù)計(jì)，隨著機(jī)器人獲得了令人信服的深度偽造網(wǎng)絡(luò)釣魚(yú)呼叫的能力，網(wǎng)絡(luò)釣魚(yú)活動(dòng)將變得更加猖獗。他們還表示，未來(lái)幾年，攻擊性人工智能在數(shù)據(jù)收集、模型開(kāi)發(fā)、培訓(xùn)和評(píng)估等領(lǐng)域的應(yīng)用可能會(huì)增加。

　　為了避免這些威脅，研究人員建議企業(yè)專注于開(kāi)發(fā)后處理工具，以保護(hù)軟件在開(kāi)發(fā)后不被分析。他們還建議將安全性測(cè)試、保護(hù)和模型監(jiān)控與MLOps集成起來(lái)，這樣組織就可以更容易地維護(hù)安全的系統(tǒng)。MLOps是“機(jī)器學(xué)習(xí)”和“信息技術(shù)操作”的組合，是一門(mén)新的學(xué)科，涉及數(shù)據(jù)科學(xué)家和IT專業(yè)人員之間的合作，目的是將機(jī)器學(xué)習(xí)算法產(chǎn)品化。

　　研究人員寫(xiě)道：“隨著人工智能的快速發(fā)展和開(kāi)放的可及性，研究人員預(yù)計(jì)將看到對(duì)組織的攻擊策略發(fā)生明顯的轉(zhuǎn)變?！薄叭斯ぶ悄軐⑹箤?duì)手能夠同時(shí)更頻繁地瞄準(zhǔn)更多組織。因此，攻擊對(duì)手可能會(huì)選擇用數(shù)千次擊敗防御者響應(yīng)團(tuán)隊(duì)的嘗試，來(lái)獲得一次成功的機(jī)會(huì)。事實(shí)上，當(dāng)攻擊對(duì)手開(kāi)始使用AI支持的機(jī)器人時(shí)，防御者也將被迫使用機(jī)器人自動(dòng)化防御。讓人類(lèi)保持在控制和決定高層戰(zhàn)略的循環(huán)中是一項(xiàng)現(xiàn)實(shí)的和倫理的要求。然而，需要進(jìn)一步的討論和研究，以形成安全、令人滿意的政策?！?/p>

　　研究人員對(duì)工業(yè)界和學(xué)術(shù)界對(duì)AI對(duì)組織的威脅認(rèn)識(shí)進(jìn)行了調(diào)查統(tǒng)計(jì)?？偟膩?lái)說(shuō)，學(xué)術(shù)界認(rèn)為人工智能對(duì)組織的威脅比對(duì)整個(gè)行業(yè)的威脅更大。有人可能會(huì)說(shuō)，這種差異是因?yàn)楣I(yè)界傾向于更加實(shí)際和立足于當(dāng)前，而學(xué)術(shù)界則考慮潛在的威脅，從而考慮未來(lái)。

　　令人驚訝的是，學(xué)術(shù)界和工業(yè)界都認(rèn)為使用AI隱身是最不具威脅性的OAC類(lèi)別。盡管有大量的研究表明IDS模型是如何脆弱的，但I(xiàn)DS規(guī)避方法被認(rèn)為是智能掃描之后第二大可攻破的OAC。這可能與對(duì)手無(wú)法在實(shí)際網(wǎng)絡(luò)中評(píng)估其基于人工智能的規(guī)避技術(shù)有關(guān)，因此存在檢測(cè)風(fēng)險(xiǎn)。

　　總的來(lái)說(shuō)，工業(yè)界和學(xué)術(shù)界對(duì)于最具威脅性的OACs存在一些分歧。在33個(gè)OAC中，最具威脅的10個(gè)排名如下：

　　四、小結(jié)

　　攻擊性AI的威脅，工業(yè)界和學(xué)術(shù)界存在不同的認(rèn)識(shí)。可以理解為什么對(duì)組織的最高級(jí)別威脅與社會(huì)工程攻擊和軟件分析（漏洞檢測(cè)和逆向工程）有關(guān)。這是因?yàn)檫@些攻擊超出了防御者的控制。例如，人是最薄弱的環(huán)節(jié)，即使經(jīng)過(guò)安全意識(shí)培訓(xùn)。然而，對(duì)于深度偽造，就更難以減輕這些社會(huì)工程攻擊。同樣的道理也適用于軟件分析，在軟件分析中，ML已經(jīng)證明自己可以很好地處理語(yǔ)言，甚至編譯二進(jìn)制文件。學(xué)術(shù)界最關(guān)心生物識(shí)別的原因是它幾乎只使用ML，學(xué)術(shù)界很清楚ML的缺陷。

　　相信不久的將來(lái)，進(jìn)攻性AI事件將會(huì)增加，但只是在攻擊模型的前面和后面（偵查、資源開(kāi)發(fā)和影響——例如篡改記錄）。這是因?yàn)槟壳癆I無(wú)法有效地自主學(xué)習(xí)。因此，不太可能在不久的將來(lái)看到僵尸網(wǎng)絡(luò)能夠自主且動(dòng)態(tài)地與各種復(fù)雜系統(tǒng)（比如一個(gè)組織的網(wǎng)絡(luò)）交互。因此，由于現(xiàn)代的對(duì)手在組織網(wǎng)絡(luò)上的信息有限，他們行動(dòng)受限，數(shù)據(jù)收集、模型開(kāi)發(fā)、培訓(xùn)和評(píng)估均發(fā)生在離線攻擊中。特別地，注意到DL模型非常大，并且需要大量的資源來(lái)運(yùn)行。這使得它們?cè)趥鬏數(shù)骄W(wǎng)絡(luò)或現(xiàn)場(chǎng)執(zhí)行時(shí)易于檢測(cè)。然而，隨著DL的增加，模型的足跡將變得不那么異常。預(yù)計(jì)不久的將來(lái)，網(wǎng)絡(luò)釣魚(yú)活動(dòng)將變得更加猖獗和危險(xiǎn)，因?yàn)槿祟?lèi)和機(jī)器人被賦予了發(fā)出令人信服的深度虛假網(wǎng)絡(luò)釣魚(yú)活動(dòng)的能力。

　　AI是一把雙刃劍。本身用于安全的人工智能技術(shù)也可以被用于攻擊。有些技術(shù)有雙重用途。例如，ML研究拆卸、漏洞檢測(cè)和滲透測(cè)試。有些技術(shù)可以被重新利用。例如，它不是使用可解釋的 AI 來(lái)驗(yàn)證惡意軟件檢測(cè)，而是用于隱藏人工制品。有些技術(shù)是可以逆轉(zhuǎn)的。例如，內(nèi)部檢測(cè)模型可以用來(lái)幫助掩蓋軌跡和避免檢測(cè)。為了幫助提高人們的意識(shí)，建議研究人員注意他們的工作成果的影響，即使是防御技術(shù)。一個(gè)警告是，“劍”可以干好事，也可干壞事，這取決于持劍者。例如，生成AI（深度造假）更適合攻擊者，但異常檢測(cè)更適合防御者。