越來越多的企業(yè)組織開始應(yīng)用人工智能（Artificial Intelligence，縮寫AI）和機(jī)器學(xué)習(xí)（Machine Learning，縮寫ML）項(xiàng)目，保護(hù)這些項(xiàng)目變得日益重要。IBM和Morning Consult聯(lián)合開展的一項(xiàng)調(diào)查顯示，在7500多家受訪跨國(guó)企業(yè)中，35%的企業(yè)已經(jīng)在使用AI，比去年增加了13%，另有42%的企業(yè)在研究可行性。然而近20%的公司表示在保護(hù)AI系統(tǒng)的數(shù)據(jù)方面存在困難，這減慢了采用AI的步伐。

　　保護(hù)AI和ML系統(tǒng)面臨重大挑戰(zhàn)，一些挑戰(zhàn)并不是AI技術(shù)本身造成的。比如說，AI和ML系統(tǒng)需要數(shù)據(jù)，如果數(shù)據(jù)包含敏感或隱私信息，就會(huì)成為攻擊者的目標(biāo)。機(jī)器學(xué)習(xí)模型在網(wǎng)絡(luò)空間環(huán)境下存在受到對(duì)抗性攻擊的潛在風(fēng)險(xiǎn)， 可能成為防御體系中最為薄弱的環(huán)節(jié)， 從而危害整個(gè)系統(tǒng)的安全。

　　什么是對(duì)抗性機(jī)器學(xué)習(xí)

　　對(duì)抗性機(jī)器學(xué)習(xí)并不是一種機(jī)器學(xué)習(xí)，而是攻擊者用來攻擊ML系統(tǒng)的一系列手段。對(duì)抗性機(jī)器學(xué)習(xí)利用了ML模型的漏洞和特殊性來實(shí)施攻擊。比如，對(duì)抗性機(jī)器學(xué)習(xí)可用于使ML交易算法做出錯(cuò)誤的交易決策，使欺詐性操作更難被發(fā)現(xiàn)，并提供錯(cuò)誤的操作建議，以及操縱基于情緒分析的報(bào)告。

　　對(duì)抗性機(jī)器學(xué)習(xí)攻擊分為中毒攻擊、逃避攻擊、提取攻擊和推理攻擊等四種方式。

　　1.中毒攻擊

　　在中毒攻擊中，攻擊者操縱訓(xùn)練數(shù)據(jù)集。比如，故意使數(shù)據(jù)集有偏差，讓機(jī)器以錯(cuò)誤的方式學(xué)習(xí)。例如，你家裝有基于AI的安全攝像頭。攻擊者可能每天凌晨3點(diǎn)路過你家，讓他的狗穿過草坪，從而觸發(fā)安全系統(tǒng)。最終，你關(guān)閉凌晨3點(diǎn)觸發(fā)的這些警報(bào)，以免被狗吵醒。那個(gè)遛狗的人實(shí)際上在提供訓(xùn)練數(shù)據(jù)，讓安全系統(tǒng)知道每天凌晨3點(diǎn)發(fā)生的事是無害的。當(dāng)系統(tǒng)被訓(xùn)練以忽略凌晨3點(diǎn)發(fā)生的任何事情后，攻擊者就趁機(jī)發(fā)起攻擊。

　　2. 逃避攻擊

　　在逃避攻擊中，模型已經(jīng)過訓(xùn)練，但攻擊者可以稍稍改變輸入以實(shí)施攻擊。一個(gè)例子是停車標(biāo)志——當(dāng)攻擊者貼上讓車標(biāo)簽后，機(jī)器解釋為讓車標(biāo)志，而不是停車標(biāo)志。在上面遛狗例子中，竊賊可以穿上狗服闖入你家。逃避攻擊就像是機(jī)器的視錯(cuò)覺。

　　3. 提取攻擊

　　在提取攻擊中，攻擊者獲得AI系統(tǒng)的副本。有時(shí)只需觀察模型的輸入和輸出，就可以提取模型，并試探一下模型，觀察其反應(yīng)。如果可以多次試探模型，就能教自己的模型有同樣的行為方式。

　　比如在2019年，Proofpoint的電子郵件保護(hù)系統(tǒng)曝出漏洞，生成的郵件標(biāo)頭附有一個(gè)分?jǐn)?shù)，表明了郵件是垃圾郵件的可能性有多大。攻擊者使用這些分?jǐn)?shù)，就可以構(gòu)建模仿的垃圾郵件檢測(cè)引擎，以生成逃避檢測(cè)的垃圾郵件。

　　如果一家公司使用商業(yè)AI產(chǎn)品，攻擊者也可以通過購(gòu)買或使用服務(wù)，獲得模型的副本。例如，攻擊者可以使用一些平臺(tái)，針對(duì)防病毒引擎測(cè)試其惡意軟件。在上面遛狗的例子中，攻擊者可以弄一副望遠(yuǎn)鏡觀察安全攝像頭是什么品牌，然后買同一品牌的攝像頭，弄清楚如何繞過防御。

　　4. 推理攻擊

　　在推理攻擊中，攻擊者搞清楚用于訓(xùn)練系統(tǒng)的數(shù)據(jù)集，然后利用數(shù)據(jù)中的漏洞或偏差實(shí)施攻擊。如果能搞清楚訓(xùn)練數(shù)據(jù)，就可以使用常識(shí)或高明的手法來利用它。仍以遛狗的例子為例，攻擊者可能會(huì)監(jiān)視房子，以便摸清楚附近路人車輛情況。當(dāng)攻擊者注意到每天凌晨3點(diǎn)有遛狗者經(jīng)過，安全系統(tǒng)會(huì)忽視遛狗者，就有可能利用這一漏洞實(shí)施攻擊。

　　將來，攻擊者還可能同樣利用智能化的機(jī)器學(xué)習(xí)技術(shù)來攻擊正規(guī)的機(jī)器學(xué)習(xí)應(yīng)用。比如，一種新型AI生成式對(duì)抗系統(tǒng)。這種系統(tǒng)常用于創(chuàng)建深度偽造（deep fake）內(nèi)容，即高度逼真的照片或視頻，讓人誤以為真。攻擊者常常將它們用于在線詐騙，但也可以運(yùn)用同樣的原理生成無法檢測(cè)出來的惡意軟件。

　　在生成式對(duì)抗網(wǎng)絡(luò)中，一方稱為判別器，另一方稱為生成器，它們相互攻擊。比如，防病毒AI可能嘗試查明某個(gè)對(duì)象是不是惡意軟件。生成惡意軟件的AI可能會(huì)嘗試創(chuàng)建第一個(gè)系統(tǒng)無法揪出來的惡意軟件。通過兩個(gè)系統(tǒng)的反復(fù)對(duì)抗，最終結(jié)果可能是生成幾乎不可能被發(fā)現(xiàn)的惡意軟件。

　　如何防御對(duì)抗性機(jī)器學(xué)習(xí)

　　網(wǎng)絡(luò)空間中廣泛存在的對(duì)抗使得機(jī)器學(xué)習(xí)的應(yīng)用面臨嚴(yán)峻挑戰(zhàn)，為了防御對(duì)抗性機(jī)器學(xué)習(xí)攻擊的威脅，安全研究人員已經(jīng)開始了對(duì)抗性機(jī)器學(xué)習(xí)的安全研究，提高機(jī)器學(xué)習(xí)算法在實(shí)際應(yīng)用中的魯棒性，保障機(jī)器學(xué)習(xí)相關(guān)算法的應(yīng)用安全。

　　研究機(jī)構(gòu)Gartner建議，如果企業(yè)有AI和ML系統(tǒng)需要保護(hù)，應(yīng)采取針對(duì)性的安全措施。首先，為了保護(hù)AI模型的完整性，企業(yè)應(yīng)采用可信賴AI的原則，并對(duì)模型進(jìn)行驗(yàn)證檢查；其次，為了保護(hù)AI訓(xùn)練數(shù)據(jù)的完整性，應(yīng)使用數(shù)據(jù)中毒檢測(cè)技術(shù)；此外，很多傳統(tǒng)安全措施也可以被應(yīng)用到AI系統(tǒng)保護(hù)中。比如，保護(hù)數(shù)據(jù)不被訪問或破壞的解決方還可以保護(hù)訓(xùn)練數(shù)據(jù)集不被篡改。

　　MITRE公司以標(biāo)準(zhǔn)化的ATT&CK對(duì)抗性策略和技術(shù)框架而聞名，它也為AI系統(tǒng)創(chuàng)建了一套名為對(duì)抗性機(jī)器學(xué)習(xí)威脅矩陣（Adversarial Machine Learning Threat Matrix）的攻擊框架，該框架后目前被稱為人工智能系統(tǒng)的對(duì)抗性威脅環(huán)境（Adversarial Threat Landscape for Artificial-Intelligence Systems，縮寫ATLAS），涵蓋攻擊ML系統(tǒng)的12個(gè)階段。

　　此外，一些廠商已開始發(fā)布安全工具，幫助用戶保護(hù)AI系統(tǒng)并防御對(duì)抗性機(jī)器學(xué)習(xí)。微軟在2021年5月發(fā)布了Counterfit，這款開源自動(dòng)化工具用于對(duì)AI系統(tǒng)進(jìn)行安全測(cè)試。Counterfit起初是專門針對(duì)單個(gè)AI模型編寫的攻擊腳本庫(kù)，后來變成了一款通用自動(dòng)化工具，用于大規(guī)模攻擊多個(gè)AI系統(tǒng)。該工具可用于使MITRE的ATLAS攻擊框架中的技術(shù)實(shí)現(xiàn)自動(dòng)化，但也可用于AI開發(fā)階段，提早發(fā)現(xiàn)漏洞，以免漏洞進(jìn)入生產(chǎn)環(huán)境。

　　IBM也有一款名為Adversarial Robustness Toolbox的開源對(duì)抗性機(jī)器學(xué)習(xí)防御工具，它現(xiàn)在是Linux基金會(huì)旗下的一個(gè)項(xiàng)目。該項(xiàng)目支持所有流行的ML框架，包括39個(gè)攻擊模塊，分為逃避、中毒、提取和推理四大類。

　　針對(duì)機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)空間防御中可能遭受的攻擊，企業(yè)還應(yīng)該盡早引入機(jī)器學(xué)習(xí)攻擊者模型，目的是科學(xué)評(píng)估其在特定威脅場(chǎng)景下的安全屬性。同時(shí)組織應(yīng)充分了解對(duì)抗性機(jī)器學(xué)習(xí)算法如何在測(cè)試階段發(fā)動(dòng)規(guī)避攻擊、在訓(xùn)練階段發(fā)動(dòng)投毒攻擊、在機(jī)器學(xué)習(xí)全階段發(fā)動(dòng)隱私竊取的常見方法，設(shè)計(jì)并部署在網(wǎng)絡(luò)空間實(shí)際對(duì)抗環(huán)境中，能夠有效強(qiáng)化機(jī)器學(xué)習(xí)模型安全性的防御方法。

更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<