什么是對抗性機器學習 （AML）？AML 是對數(shù)據(jù)或代碼進行有目的的操作，以導致機器學習 （ML） 算法出現(xiàn)故障或出現(xiàn)錯誤預測。AML 的一個流行例子來自 Google 的一個團隊，他們在 GoogLeNet 上進行了一項實驗，GoogLeNet 是一種卷積神經(jīng)網(wǎng)絡架構(gòu)，在 2014 年贏得了 ImageNet 大規(guī)模視覺識別挑戰(zhàn)。該程序可以更高度地預測圖像是否是長臂猿。這種類型的操作相對容易執(zhí)行，只需在原始算法中插入幾位代碼即可。

　　資料來源： 解釋和利用對抗性示例，Goodfellow 等人，ICLR 2015。

　　在論文“大規(guī)模對抗性機器學習”中，Alexey Kurakin、Ian Goodfellow 和 Sam Bengio 強調(diào)機器學習模型通常容易受到對抗性操縱，最重要的是，許多機器學習算法非常容易受到基于模型的小修改或輸入的攻擊。AML 的核心是利用 ML 基礎設施的高度脆弱性來改變預測。AML 技術(shù)的列表越來越多，但其中大多數(shù)攻擊都有可能未被發(fā)現(xiàn)。一些研究人員正在關(guān)注更有效的方法來對 ML 程序進行 AML 攻擊或微調(diào)他們的技術(shù)。其他人則專注于提高其 ML 算法的魯棒性。例如，當算法必須針對“真實世界”數(shù)據(jù)執(zhí)行時，算法的性能指標會降低。研究人員有目的地使用一些 AML 技術(shù)來提高其 ML 算法的魯棒性，以便模型可以處理它在現(xiàn)實世界中可能遇到的自然擾動。一些研究致力于識別和防御 AML 攻擊。例如，DARPA 有一個名為“保證 AI 魯棒性反欺騙”的研究機構(gòu)（GARD ） 是一個框架，組織可以使用它來識別系統(tǒng)漏洞、表征將增強系統(tǒng)健壯性的屬性，并鼓勵創(chuàng)建有效的防御。與 ML 一樣，AML 世界并不新鮮，但由于技術(shù)進步，AML 社區(qū)每天都有重大發(fā)現(xiàn)。這使美國國防部 （DoD） 處于有利地位，可以利用 AML 社區(qū)已經(jīng)進行的研究并創(chuàng)建 AI 紅隊。仍有一些挑戰(zhàn)必須首先解決。

　　美國國防部正在積極努力縮小國防與工業(yè)之間人工智能 （AI） 和機器學習方面的技術(shù)差距，因為商業(yè)行業(yè)處于領(lǐng)先地位。美國人工智能國家安全委員會在其最近發(fā)布的報告中提出了三個重要觀點。 首先，要讓軍方在人工智能和機器學習方面保持競爭優(yōu)勢，美國國防部技術(shù)采購流程和文化思維需要發(fā)生重大轉(zhuǎn)變。其次，美國國防部必須到 2025 年“準備好人工智能”，但缺乏這樣做所需的數(shù)字勞動力和技術(shù)人才。第三，反洗錢是一種真正的威脅，但決策者并未將其列為優(yōu)先事項。這三個發(fā)現(xiàn)是美國國防部應考慮創(chuàng)建 AI 紅隊的關(guān)鍵。

　　解決美國國防部 AI 和 ML 算法存在的漏洞將是 AI 紅隊的主要任務，但隨著團隊的成熟，它可能還會提供其他功能。首先，該團隊將負責評估、演示和推薦可提高美國國防部算法穩(wěn)健性的行動。有了專門的 AI 紅隊，美國國防部將有一個中央團隊來解決和評估 AI 和 ML 漏洞。在短期內(nèi)，這個團隊很可能會嚴重依賴研究社區(qū)和行業(yè)合作伙伴，但美國國防部必須從某個地方開始。通過建立 AI 紅隊，它為 AML 合作伙伴關(guān)系提供了一個國防部聯(lián)絡點。這將包括全國的研究實驗室、外國合作伙伴、其他聯(lián)邦機構(gòu)和學術(shù)機構(gòu)。隨著研究和學術(shù)界在人工智能、機器學習和對抗性機器學習領(lǐng)域不斷取得驚人的飛躍，美國國防部將在談判桌前占有一席之地，分享想法、新 TTP 和項目合作伙伴。此外，美國國防部將能夠縮小其隊伍中的培訓和專業(yè)知識差距。雖然該團隊最初可能因缺乏技術(shù)專長而陷入困境，但他們的運營專長仍然有助于了解 AML 攻擊可能造成的運營影響。

　　在短期內(nèi)，國防部可能不得不依靠外包 ML 和 AI 人才，但在專門處理 AML 問題集的任務后，由運營專家和經(jīng)驗豐富的技術(shù)專業(yè)人員組成的聯(lián)合團隊將迅速開發(fā)必要的 AI 和 ML 技能集。不難看出未來，美國國防部人工智能紅隊的選擇將變得類似于申請空軍武器學?；虺跫壝艽a學職業(yè)。最后，重要的是該組織是由美國國防部領(lǐng)導、國防部賦予任務、國防部派出人員，以及國防部具有創(chuàng)建和執(zhí)行權(quán)力，因為戰(zhàn)爭的某些部分不應外包或承包。通過建立人工智能紅隊，它為美國國防部提供了一支通過戰(zhàn)爭視角專注于人工智能、機器學習和反洗錢的部門。創(chuàng)造的工具和技術(shù)，培養(yǎng)的人才，解決的問題，所創(chuàng)造的成果將受到國防領(lǐng)域的推動。在 AI 和 ML 方面，美國國防部讓行業(yè)處于領(lǐng)先地位。當談到反洗錢時，美國國防部必須得到作為國家安全的授權(quán)。

　　Rena DeHenre 是美國空軍的一名情報官員。她最近在 MIT-Lincoln Labs 完成了研究獎學金，她專注于 AML 及其在網(wǎng)絡領(lǐng)域的影響。她現(xiàn)在是高級航空航天學院的一名學生。