清華大學(xué)聯(lián)合阿里安全、瑞萊智慧 RealAI 等頂尖團(tuán)隊(duì)發(fā)布首個(gè)公平、全面的 AI 對抗攻防基準(zhǔn)平臺(tái)。AI 模型究竟是否安全，攻擊和防御能力幾何？只需提交至該平臺(tái)，就可見能力排行。

　　從發(fā)展的角度來看，人工智能正在從第一代的知識(shí)驅(qū)動(dòng)和第二代的數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)向第三代的多元驅(qū)動(dòng)，知識(shí)、數(shù)據(jù)、算法和算力成為四大因素。安全可控也成為第三代人工智能的核心發(fā)展目標(biāo)，數(shù)據(jù)與算法安全成為學(xué)界和業(yè)界人士重點(diǎn)關(guān)注的研究主題之一。其中，在數(shù)據(jù)安全層面，數(shù)據(jù)泄露和投毒是造成數(shù)據(jù)安全風(fēng)險(xiǎn)的兩個(gè)重要根源；在算法安全層面，對抗樣本對人臉識(shí)別、身份認(rèn)證以及刷臉閘機(jī)等人工智能應(yīng)用的安全性構(gòu)成了巨大的挑戰(zhàn)。

　　近年來，我們更是看到了很多場景中 AI 算法被攻破的典型案例。自 2016 年以來，特斯拉 Model S、Model X 和車輛搭載的 Autopilot 自動(dòng)輔助駕駛系統(tǒng)曾先后被騰訊科恩安全實(shí)驗(yàn)室攻破，高危安全漏洞和 AI 算法的缺陷使車輛處于危險(xiǎn)的狀態(tài)，并嚴(yán)重威脅人身和財(cái)產(chǎn)安全；2021 年，19 款使用 2D 人臉識(shí)別技術(shù)的國產(chǎn)安卓手機(jī)被 RealAI 利用具備對抗攻擊能力的特制眼鏡成功解鎖，由此引發(fā)了人們對人臉支付、線上身份驗(yàn)證等的擔(dān)憂。

　　在 AI 模型和算法面臨種種挑戰(zhàn)的情況下，如何準(zhǔn)確地探知各個(gè) AI 攻防模型的攻防能力變得愈加重要。這時(shí)，如果出現(xiàn)一個(gè)平臺(tái)能夠?qū)?AI 模型和算法的攻防能力做出排名，那么我們就能夠及時(shí)地調(diào)整改進(jìn)，并有的放矢地采取防范措施，也就可以降低技術(shù)落地過程中的安全風(fēng)險(xiǎn)。

　　在 2021 年北京智源大會(huì)上，清華大學(xué)聯(lián)合阿里安全、瑞萊智慧 RealAI 發(fā)布了業(yè)內(nèi)最新的基于深度學(xué)習(xí)模型的對抗攻防基準(zhǔn)平臺(tái)（Adversarial Robustness Benchmark），此基準(zhǔn)可以更加公平、全面地衡量不同 AI 攻防算法的效果，提供方便使用的魯棒性測試工具，全面衡量 AI 攻防模型的攻防能力。用戶可以通過提交模型的方式獲取攻防能力排名。

　　構(gòu)建公平、全面 AI 對抗攻防基準(zhǔn)平臺(tái)的必要性

　　深入研究潛在針對機(jī)器學(xué)習(xí)模型的攻擊算法，對提高機(jī)器學(xué)習(xí)安全性與可信賴性有重要意義。以往，研究者在衡量模型的防御性能時(shí)，基本只在一種攻擊算法下進(jìn)行測試，顯然不夠全面。攻擊算法是經(jīng)常變化的，需要考慮模型在多種攻擊算法和更強(qiáng)攻擊下的防御能力，這樣才能比較系統(tǒng)地評估 AI 模型的防御能力。

　　與此同時(shí)，業(yè)界此前提出的各種「攻擊算法排行榜」只包含一些零散的算法，測量攻擊算法的環(huán)境也只包含單一的防御算法，用于評測的數(shù)據(jù)集也不多，更沒有合適的統(tǒng)計(jì)和度量標(biāo)準(zhǔn)。

　　因此，此次推出的 AI 對抗安全基準(zhǔn)基本上包含了目前主流的人工智能對抗攻防模型，涵蓋了數(shù)十種典型的攻防算法。不同算法比測的過程中盡量采用了相同的實(shí)驗(yàn)設(shè)定和一致的度量標(biāo)準(zhǔn)，從而在最大限度上保證了比較的公平性。

　　AI 算法的攻擊結(jié)果和防御結(jié)果排名示例，左為防御算法排名，右為攻擊算法排名。

　　基準(zhǔn)測試平臺(tái)網(wǎng)站：http://ml.cs.tsinghua.edu.cn/adv-bench

　　通過對 AI 算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能，對于建立 AI 安全基準(zhǔn)具有重要學(xué)術(shù)意義，可以更加公平、全面地衡量不同算法的效果。

　　阿里巴巴安全部技術(shù)總監(jiān)薛暉表示，「參與推進(jìn)這項(xiàng)研究工作，除了幫助 AI 模型進(jìn)行安全性的科學(xué)評估，也是為了促進(jìn) AI 行業(yè)進(jìn)一步打造『強(qiáng)壯』的 AI。

　　AI 攻防基準(zhǔn)平臺(tái)的發(fā)展及意義

　　近幾年來，關(guān)于 AI 對抗攻防的國際賽事不斷涌現(xiàn)，如生成對抗網(wǎng)絡(luò)之父 Ian Goodfellow 牽頭組織的 NIPS 2017 對抗樣本攻防競賽、2018 DEFCON CAAD CTF 對抗攻防賽等。其中，在 NIPS 2017 對抗樣本攻防競賽，朱軍教授團(tuán)隊(duì)包攬全部三個(gè)項(xiàng)目的冠軍。

　　2020 年，清華大學(xué)人工智能研究院研發(fā)并開源了 AI 對抗安全算法平臺(tái) ARES（Adversarial Robustness Evaluation for Safety）。這是一個(gè)用于對抗機(jī)器學(xué)習(xí)研究的 Python 庫，致力于對圖像分類任務(wù)上不同模型的對抗魯棒性進(jìn)行準(zhǔn)確和全面的基準(zhǔn)測試。這個(gè)算法平臺(tái)也是本次發(fā)布的 AI 對抗魯棒測評基準(zhǔn)的主要依托。

　　GitHub 項(xiàng)目地址：https://github.com/thu-ml/ares

　　論文地址：https://arxiv.org/pdf/1912.11852.pdf

　　在該基準(zhǔn)測試中，研究者將 16 種防御模型（CIFAR-10 和 ImageNet 數(shù)據(jù)集上各占一半）和 15 種攻擊方法用于對抗魯棒性評估。下圖（上）為防御模型，圖（下）為攻擊方法（其中 FGSM、BIM 和 MIM 分別采用了白盒和基于遷移的攻擊）。該基準(zhǔn)測試匯集了當(dāng)前主流和代表性的對抗攻擊和防御算法，論文也入選了 CVPR 2020 Oral。

　　除了數(shù)十種典型的攻防算法之外，本次發(fā)布的 AI 安全排行榜也包括了剛剛結(jié)束的 CVPR 2021 人工智能攻防競賽中誕生的排名前 5 代表隊(duì)的攻擊算法。此次競賽吸引到了全球 2000 多支代表隊(duì)提交最新算法，選手基于 ARES 平臺(tái)提交攻擊算法，對已有對抗防御模型進(jìn)行準(zhǔn)確的魯棒性測試，進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可信性。

　　CVPR 2021 人工智能攻防競賽中「賽道 1 防御模型白盒對抗攻擊」排名前 5 的隊(duì)伍。

　　因此，基于前期研究成果以及 CVPR 2021 人工智能攻防競賽中提交的算法，清華大學(xué)聯(lián)合阿里安全、RealAI 發(fā)布了最新的 AI 對抗魯棒性測評基準(zhǔn)平臺(tái)。完整時(shí)間線如下：

　　RealAI 副總裁唐家渝表示：「該基準(zhǔn)評測平臺(tái)利用典型的攻防算法和 CVPR 2021 比賽積累的多個(gè)性能優(yōu)越的算法進(jìn)行互相評估，代表當(dāng)前安全與穩(wěn)定性測量的國際標(biāo)準(zhǔn)?！?/p>

　　清華、阿里安全和 RealAI 三方均強(qiáng)調(diào)，該基準(zhǔn)評測平臺(tái)不是專屬于某一家機(jī)構(gòu)或者公司搭建的平臺(tái)，需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面、權(quán)威的 AI 安全評估平臺(tái)。因此，三方將聯(lián)合不斷在排行榜中注入新的攻擊和防御算法，并且歡迎學(xué)術(shù)界和產(chǎn)業(yè)界的團(tuán)隊(duì)通過 ARES 平臺(tái)提交新的攻防模型。

　　該平臺(tái)的發(fā)布對工業(yè)界和學(xué)術(shù)界都能帶來正面的影響，比如工業(yè)界可以使用該平臺(tái)評估目前 AI 服務(wù)的安全性，發(fā)現(xiàn)模型的安全漏洞。同時(shí)，也可為學(xué)術(shù)界提供一個(gè)全面、客觀、公平、科學(xué)的行業(yè)標(biāo)準(zhǔn)，推動(dòng)整個(gè)學(xué)術(shù)界在 AI 對抗攻防領(lǐng)域的快速發(fā)展。