論文引用格式：

　　寧庭勇， 熊婕， 胡永波。 人工智能應(yīng)用面臨的安全威脅研究[J]. 信息通信技術(shù)與政策， 2021,47（8）：64-68.

　　人工智能應(yīng)用面臨的安全威脅研究

　　寧庭勇  熊婕  胡永波

　?。ㄔ瀑愔锹?lián)股份有限公司，上海 200233）

　　摘要：當(dāng)前自動(dòng)駕駛技術(shù)、智能助理、人臉識(shí)別、智能工廠、智慧城市等人工智能技術(shù)已廣泛落地，但相關(guān)領(lǐng)域安全事件的快速增長(zhǎng)，使得消費(fèi)者和業(yè)界對(duì)人工智能網(wǎng)絡(luò)安全問(wèn)題和威脅的關(guān)注度也在不斷提高。人工智能應(yīng)用的安全與智能化應(yīng)用所帶來(lái)的紅利，猶如一個(gè)硬幣的兩面，永遠(yuǎn)同時(shí)存在且重要性凸顯。通過(guò)對(duì)近年來(lái)人工智能安全的政策、技術(shù)發(fā)展特點(diǎn)及人工智能應(yīng)用落地所面臨的安全威脅進(jìn)行探討，提出了一套可參考的安全框架和落地實(shí)施方法。

　　關(guān)鍵詞：人工智能；模型安全；數(shù)據(jù)安全；人工智能安全；可信人工智能

　　中圖分類號(hào)：TP393.08     文獻(xiàn)標(biāo)識(shí)碼：A

　　引用格式：寧庭勇， 熊婕， 胡永波。 人工智能應(yīng)用面臨的安全威脅研究[J]. 信息通信技術(shù)與政策， 2021,47（8）：64-68.

　　doi：10.12267/j.issn.2096-5931.2021.08.010

　　0  引言

　　縱觀當(dāng)今社會(huì)，人工智能（Artificial Intelligence，AI）已廣泛滲透經(jīng)濟(jì)生產(chǎn)活動(dòng)的各個(gè)環(huán)節(jié)。AI將催生新技術(shù)、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，實(shí)現(xiàn)社會(huì)生產(chǎn)力的整體躍升，推動(dòng)社會(huì)進(jìn)入智能經(jīng)濟(jì)時(shí)代。目前，我國(guó)大型企業(yè)基本都已在持續(xù)規(guī)劃投入實(shí)施AI項(xiàng)目，已有超過(guò)10%的企業(yè)將AI與其主營(yíng)業(yè)務(wù)相結(jié)合，實(shí)現(xiàn)產(chǎn)業(yè)地位的提高和經(jīng)營(yíng)效益的優(yōu)化[1-2]。雖然AI技術(shù)已經(jīng)開始在眾多行業(yè)中找到落地場(chǎng)景，成為助推傳統(tǒng)業(yè)務(wù)數(shù)字化轉(zhuǎn)型的重要工具，但AI技術(shù)在工程化和應(yīng)用落地過(guò)程中還面臨諸多挑戰(zhàn)[3]。例如，產(chǎn)品能力參差不齊、缺乏行業(yè)基準(zhǔn)和標(biāo)桿、用戶選型存在困難、由算法缺陷和應(yīng)用安全隱患所衍生的安全事件頻發(fā)等，這些問(wèn)題制約了AI技術(shù)產(chǎn)業(yè)的深入發(fā)展。

　　1  人工智能領(lǐng)域應(yīng)用面臨安全考驗(yàn)

　　1.1  安全現(xiàn)狀

　　根據(jù)艾瑞咨詢研究院的報(bào)告[2]，過(guò)去幾年AI安全研究論文呈現(xiàn)爆炸式增長(zhǎng)。近兩年，全球政府、學(xué)術(shù)界和工業(yè)界發(fā)布的AI安全性方面的研究論文多達(dá)3500 篇[2]，美國(guó)、中國(guó)、歐盟之間的激烈競(jìng)爭(zhēng)預(yù)計(jì)將在可信AI競(jìng)賽中繼續(xù)?，F(xiàn)實(shí)中的AI安全事件正在快速增長(zhǎng)，尤其在汽車、生物識(shí)別、機(jī)器人技術(shù)和互聯(lián)網(wǎng)行業(yè)。作為AI的早期采用者，最受關(guān)注的行業(yè)是互聯(lián)網(wǎng)（23%）、網(wǎng)絡(luò)安全（17%）、生物識(shí)別技術(shù)（16%）和自治（13%）[1-2]。AI行業(yè)對(duì)于現(xiàn)實(shí)世界的黑客攻擊還沒(méi)有做好充分的準(zhǔn)備，60種最常用的機(jī)器學(xué)習(xí)（ML）模型平均至少有一個(gè)安全漏洞[4]。

　　1.2  芯片、算法和數(shù)據(jù)的安全可控變得十分重要

　　隨著近5年AI滲透率在各行業(yè)的提升，AI的局限和問(wèn)題逐漸暴露，如對(duì)抗樣本帶來(lái)的安全隱患、原理不可解釋等。能真正落地，并用于關(guān)鍵應(yīng)用場(chǎng)景的AI方案必須是安全、可控、可理解的，否則很難說(shuō)服用戶買單，尤其是企業(yè)級(jí)、政府級(jí)客戶。國(guó)內(nèi)近些年在AI安全標(biāo)準(zhǔn)方面建樹不少。中國(guó)信息通信研究院自2018年就啟動(dòng)了AI第三方評(píng)測(cè)工作[3]，針對(duì)產(chǎn)業(yè)實(shí)際問(wèn)題，建設(shè)權(quán)威的測(cè)試數(shù)據(jù)集和軟硬件環(huán)境，牽頭完成AI評(píng)測(cè)標(biāo)準(zhǔn)體系，其中《ITU-T F.748.11（2020）》是國(guó)際首個(gè)AI芯片評(píng)測(cè)標(biāo)準(zhǔn)；2018年7月，中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布由中國(guó)人工智能開源軟件發(fā)展聯(lián)盟起草的《T/CESA 1026-2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范》團(tuán)標(biāo)；2021年3月，中國(guó)金融標(biāo)準(zhǔn)化技術(shù)委員會(huì)正式發(fā)布了由中國(guó)人民銀行提出的《人工智能算法金融應(yīng)用評(píng)價(jià)規(guī)范》（JR/T 0221-2021）行標(biāo)。這些研究和標(biāo)準(zhǔn)研究機(jī)構(gòu)正在從芯片、算法、應(yīng)用等各個(gè)層面不斷地給與市場(chǎng)指導(dǎo)規(guī)范。

　　1.3  人工智能的發(fā)展也在改變網(wǎng)絡(luò)安全的發(fā)展

　　AI技術(shù)的發(fā)展在很大程度上也改變了原有的網(wǎng)絡(luò)攻防模式，自動(dòng)化攻防的出現(xiàn)更是加速了整個(gè)網(wǎng)絡(luò)空間安全領(lǐng)域的發(fā)展。AI與安全是相輔相成的關(guān)系，AI的應(yīng)用給網(wǎng)絡(luò)空間賦予了新的內(nèi)涵，網(wǎng)絡(luò)安全和大數(shù)據(jù)技術(shù)的進(jìn)步也能讓AI在更多的領(lǐng)域得以應(yīng)用[5]。國(guó)內(nèi)主要的安全廠商如安恒信息、深信服、360等都先后在自身的安全產(chǎn)品中加入了大數(shù)據(jù)和AI技術(shù)用以抗衡網(wǎng)絡(luò)攻防中巨量數(shù)據(jù)分析和攻擊特征識(shí)別等問(wèn)題。

　　2  人工智能應(yīng)用安全架構(gòu)

　　2.1  人工智能技術(shù)應(yīng)用所面臨的安全問(wèn)題類別

　　從AI產(chǎn)業(yè)層次來(lái)看，AI分為基礎(chǔ)能力層、感知與認(rèn)知技術(shù)層、領(lǐng)域應(yīng)用賦能層[6]?；A(chǔ)層主要是AI的三大基本要素，即算力、算法和數(shù)據(jù)[7]；技術(shù)層主要是基于AI的研究方向分類，主要分為感知類技術(shù)和認(rèn)知類技術(shù)；應(yīng)用層主要為AI技術(shù)落地在各領(lǐng)域智能化場(chǎng)景實(shí)現(xiàn)AI賦能，具體參見圖1。

　　圖1  人工智能產(chǎn)業(yè)發(fā)展技術(shù)層級(jí)

　　整體上看，AI系統(tǒng)面臨以下幾個(gè)方面的安全挑戰(zhàn)：從軟件及硬件方面來(lái)看，理論上應(yīng)用、模型、平臺(tái)和芯片的編碼都可能存在漏洞或后門，一旦攻擊者發(fā)現(xiàn)，則能夠利用這些漏洞或后門實(shí)施高級(jí)攻擊。從算法模型方面來(lái)看，攻擊者同樣可能在模型中植入后門并實(shí)施高級(jí)攻擊，由于部分模型的不可解釋性，在模型中植入的惡意后門會(huì)很難被檢測(cè)。在模型參數(shù)層面，服務(wù)提供者往往只希望提供模型查詢服務(wù)，而不希望暴露自己訓(xùn)練的模型，但通過(guò)多次查詢，攻擊者能夠構(gòu)建出一個(gè)相似的模型，進(jìn)而獲得模型的相關(guān)信息，甚至可以訓(xùn)練出對(duì)抗樣本用以攻擊原有模型。同樣，如果訓(xùn)練模型時(shí)的樣本覆蓋性不足，會(huì)使模型魯棒性不強(qiáng)，當(dāng)面對(duì)惡意樣本攻擊時(shí)，模型也會(huì)無(wú)法給出正確的判斷結(jié)果。從數(shù)據(jù)安全方面來(lái)看，如果攻擊者能夠在訓(xùn)練階段摻入惡意數(shù)據(jù)，則會(huì)影響模型推理能力，如果攻擊者在推理階段對(duì)要判斷的數(shù)據(jù)加入少量噪音，就會(huì)產(chǎn)生刻意改變判斷結(jié)果的嚴(yán)重問(wèn)題。在用戶提供訓(xùn)練數(shù)據(jù)的場(chǎng)景下，攻擊者有可能通過(guò)反復(fù)查詢訓(xùn)練好的模型獲得用戶的隱私信息進(jìn)而產(chǎn)生敏感數(shù)據(jù)泄露的問(wèn)題[8]。以上這些問(wèn)題有的存在于基礎(chǔ)層，有的存在于技術(shù)層面，大部分都是在應(yīng)用層使用后暴露出來(lái)，如近年來(lái)特斯拉自動(dòng)駕駛發(fā)生的Autopilot安全事故[9]，有很大一部分都是訓(xùn)練樣本不足或現(xiàn)實(shí)環(huán)境中的對(duì)抗樣本識(shí)別出現(xiàn)偏差后造成的嚴(yán)重后果。

　　面對(duì)如上眾多而又廣泛的安全問(wèn)題，AI系統(tǒng)部署到業(yè)務(wù)場(chǎng)景時(shí)需要在三個(gè)層次實(shí)施防御和安全增強(qiáng)。一是注意對(duì)已知攻擊進(jìn)行有針對(duì)性地防御；二是通過(guò)各種措施提升模型健壯性；三是使用數(shù)據(jù)安全技術(shù)保證數(shù)據(jù)的安全和隱私保密；最后，就是在模型部署的業(yè)務(wù)中設(shè)計(jì)各種安全機(jī)制保證架構(gòu)的安全。參考AI應(yīng)用架構(gòu)，其主要分為模型訓(xùn)練環(huán)境和生產(chǎn)環(huán)境兩個(gè)部分，一般情況下兩個(gè)環(huán)境是相對(duì)隔離并運(yùn)行在不同的物理或云環(huán)境中（見圖2）。

　　圖2  人工智能應(yīng)用架構(gòu)

　　2.2  人工智能訓(xùn)練環(huán)境中的安全威脅

　　在訓(xùn)練環(huán)境中，樣本數(shù)據(jù)準(zhǔn)備環(huán)節(jié)要防范數(shù)據(jù)投毒攻擊以造成模型傾斜，為模型提供可解釋性樣本數(shù)據(jù)的同時(shí)要注意反饋機(jī)制規(guī)避虛假數(shù)據(jù)導(dǎo)入，并要保證系統(tǒng)的數(shù)據(jù)自洽性；在模型訓(xùn)練環(huán)節(jié)，要防止閃避和后門攻擊，同時(shí)在模型設(shè)計(jì)方面要保證模型的可驗(yàn)證性及樣本數(shù)據(jù)足夠完整，并要充分考慮數(shù)據(jù)噪聲，訓(xùn)練出足夠健壯的模型；訓(xùn)練出的推理模型要針對(duì)模型竊取攻擊進(jìn)行測(cè)試和驗(yàn)證，并對(duì)模型的可解釋性進(jìn)行充分的分析，同時(shí)針對(duì)應(yīng)用場(chǎng)景需求，可以設(shè)計(jì)多個(gè)模型進(jìn)行適配。

　　2.3  人工智能推理環(huán)境中的安全威脅

　　在生產(chǎn)環(huán)境中，數(shù)據(jù)采集環(huán)節(jié)要防止數(shù)據(jù)過(guò)度采集，對(duì)個(gè)人屬性的生物特征，如人臉、指紋、聲音等信息要適度進(jìn)行脫敏或轉(zhuǎn)換后再進(jìn)行利用，在數(shù)據(jù)傳輸和應(yīng)用環(huán)節(jié)可適當(dāng)采用數(shù)據(jù)加密技術(shù)和訪問(wèn)控制手段進(jìn)行保護(hù)；在業(yè)務(wù)系統(tǒng)模型管理方面，要有專門的模型倉(cāng)庫(kù)管理和監(jiān)控機(jī)制，要保障模型的安全訪問(wèn)和使用情況審計(jì)，對(duì)每個(gè)不同的模型實(shí)例都要有詳細(xì)的訪問(wèn)控制和調(diào)用的日志管理；在最終的業(yè)務(wù)邏輯中，在滿足業(yè)務(wù)穩(wěn)定運(yùn)行的條件約束下，系統(tǒng)需要分析識(shí)別最佳方案并發(fā)送至控制系統(tǒng)進(jìn)行驗(yàn)證并實(shí)施。通常業(yè)務(wù)安全架構(gòu)要對(duì)各個(gè)功能模塊進(jìn)行隔離，并設(shè)置對(duì)模塊之間的訪問(wèn)控制機(jī)制，以減少攻擊程序針對(duì)推理程序的攻擊面。在業(yè)務(wù)系統(tǒng)中，使用持續(xù)監(jiān)控和攻擊檢測(cè)程序，用以綜合分析系統(tǒng)安全狀態(tài)，給出當(dāng)前威脅風(fēng)險(xiǎn)級(jí)別。當(dāng)威脅風(fēng)險(xiǎn)較大時(shí)，綜合決策可以不采納自動(dòng)系統(tǒng)的建議，將最終控制權(quán)交回界面，通過(guò)人員判斷保證在遭受可疑攻擊情況下的可控性。在業(yè)務(wù)系統(tǒng)進(jìn)行關(guān)鍵操作時(shí)，業(yè)務(wù)程序要對(duì)AI推理給出的分析結(jié)果進(jìn)行確定性分析，當(dāng)確定性低于閾值時(shí)交回界面人工處理。在業(yè)務(wù)模型可選的情況下，可以搭建業(yè)務(wù)“多模型架構(gòu)”，通過(guò)對(duì)關(guān)鍵業(yè)務(wù)部署多個(gè)AI模型，避免單個(gè)模型出現(xiàn)異常時(shí)不影響業(yè)務(wù)最終決策，從而提升整個(gè)系統(tǒng)的強(qiáng)壯性。

　　3  人工智能應(yīng)用安全生命周期

　　為了應(yīng)對(duì)AI應(yīng)用所面對(duì)的各種威脅，筆者建議使用AI安全生命周期框架來(lái)啟動(dòng)AI應(yīng)用安全計(jì)劃（見圖3）。

　　圖3  人工智能應(yīng)用安全生命周期

　　在AI應(yīng)用安全生命周期中，4個(gè)區(qū)域代表了AI系統(tǒng)從開始規(guī)劃設(shè)計(jì)到部署應(yīng)用成熟使用的各個(gè)階段，并不斷循環(huán)進(jìn)行持續(xù)改進(jìn)。這些步驟從基本到復(fù)雜依次進(jìn)行，后面的步驟依賴于前面的結(jié)果。AI生命周期參考了NIST網(wǎng)絡(luò)安全框架和Gartner的自適應(yīng)安全架構(gòu)（網(wǎng)絡(luò)安全生命周期管理的流行參考框架）。

　　3.1  識(shí)別階段

　　該階段的目標(biāo)是通過(guò)資產(chǎn)管理、威脅建模和風(fēng)險(xiǎn)評(píng)估活動(dòng)了解當(dāng)前人工智能安全態(tài)勢(shì)。其行動(dòng)為：通過(guò)資產(chǎn)管理，識(shí)別和記錄所有使用的人工智能模型、數(shù)據(jù)集、云平臺(tái)和供應(yīng)商；通過(guò)威脅建模，了解破壞模型、數(shù)據(jù)集、環(huán)境和供應(yīng)鏈的風(fēng)險(xiǎn)；通過(guò)風(fēng)險(xiǎn)評(píng)估，執(zhí)行安全審計(jì)并確定模型、數(shù)據(jù)集和其環(huán)境中的漏洞優(yōu)先級(jí)。

　　3.2  保護(hù)階段

　　該階段的目標(biāo)是實(shí)施保護(hù)性控制，如安全意識(shí)、系統(tǒng)強(qiáng)化和安全人工智能開發(fā)實(shí)踐。其行動(dòng)為：通過(guò)建立安全意識(shí)，從管理、產(chǎn)品安全和人工智能開發(fā)等各方面對(duì)利益相關(guān)者進(jìn)行安全風(fēng)險(xiǎn)教育；使用模型強(qiáng)化措施，對(duì)模型的攻擊應(yīng)用進(jìn)行安全防御，確保安全輸入，防止數(shù)據(jù)外泄；通過(guò)安全開發(fā)，完善應(yīng)用程序安全的常規(guī)流程，涵蓋從開發(fā)到落地的整個(gè)過(guò)程。

　　3.3  檢測(cè)階段

　　該階段的目標(biāo)是通過(guò)定期滲透測(cè)試，驗(yàn)證安全監(jiān)控和威脅檢測(cè)系統(tǒng)抵御主動(dòng)攻擊。其行動(dòng)為：通過(guò)安全監(jiān)控，收集和分析來(lái)自業(yè)務(wù)系統(tǒng)中推理業(yè)務(wù)的事件和異常，如訪問(wèn)、錯(cuò)誤和度量問(wèn)題；通過(guò)威脅檢測(cè)，檢測(cè)并阻止針對(duì)業(yè)務(wù)系統(tǒng)機(jī)密性、完整性和可用性的對(duì)抗性攻擊[10]；通過(guò)滲透測(cè)試，進(jìn)行紅藍(lán)對(duì)抗演習(xí)，以評(píng)估系統(tǒng)的穩(wěn)健性，并檢查檢測(cè)和響應(yīng)控制機(jī)制是否可靠。

　　3.4  響應(yīng)階段

　　該階段的目標(biāo)是通過(guò)引入調(diào)查、遏制實(shí)踐、緩解工具、技術(shù)和程序，為人工智能安全事件做好準(zhǔn)備。其行動(dòng)為：通過(guò)特征提取，建立人工智能安全事件分類、影響分析和技術(shù)調(diào)查的專業(yè)知識(shí)；通過(guò)事故響應(yīng)，制定事故控制和與利益相關(guān)者溝通的行動(dòng)指導(dǎo)手冊(cè)；通過(guò)建立應(yīng)急預(yù)案，改善技術(shù)控制和組織政策，以減少重復(fù)發(fā)生人工智能安全事件的機(jī)會(huì)。

　　4  結(jié)束語(yǔ)

　　綜上所述，人工智能應(yīng)用的大規(guī)模普及和發(fā)展需要很強(qiáng)的安全性保證。本文主要從當(dāng)前人工智能應(yīng)用所面臨的主要安全威脅進(jìn)行分類描述，對(duì)人工智能應(yīng)用落地的訓(xùn)練和推理環(huán)境所面臨的三大安全威脅進(jìn)行了剖析。最后，結(jié)合安全領(lǐng)域的現(xiàn)有經(jīng)驗(yàn)，提出了人工智能應(yīng)用安全生命周期的階段和具體方法論，供業(yè)內(nèi)實(shí)施人工智能應(yīng)用時(shí)予以參考。

　　參考文獻(xiàn)

　　[1] Adversa. 人工智能面臨十大安全威脅[EB/OL]. （2021-04-27）[2021-05-10]. https://zhuanlan.51cto.com/art/202104/659922.htm.

　　[2] 艾瑞咨詢研究院。 2020年中國(guó)人工智能產(chǎn)業(yè)研究報(bào)告[EB/OL]. 2020[2021-05-10]. http://report.iresearch.cn/report_pdf.aspx?id=3707.

　　[3] 中國(guó)信息通信研究院。 中國(guó)信通院2021年首批“可信AI評(píng)測(cè)”正式啟動(dòng)，即可報(bào)名！[EB/OL]. （2021-02-08）[2021-05-10]. https://www.sohu.com/a/449513509_735021.

　　[4] Adversa. The road to secure and trusted AI[EB/OL]. （2020-09-01）[2021-05-10]. https://adversa.ai/reportsecure-and-trusted-ai/.

　　[5] 陳映村。 淺談人工智能在計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的應(yīng)用[J].數(shù)碼世界， 2017（11）：186.

　　[6] 秦健， 劉鑫。 人工智能專利技術(shù)市場(chǎng)運(yùn)營(yíng)的風(fēng)險(xiǎn)與應(yīng)對(duì)[J]. 電子知識(shí)產(chǎn)權(quán)， 2019（2）：66-71.

　　[7] 胡文穎。 回顧人工智能以史為鏡， 正視未來(lái)[J]. 通信世界， 2018（20）：30-31.

　　[8] 華為技術(shù)有限公司。 華為AI安全白皮書[R], 2018.

　　[9] 雷鋒網(wǎng)。 特斯拉Autopilot 系列事故最詳細(xì)梳理|系列之一[EB/OL]. （ 2017-03-31）[2021-05-10]. http://www.sohu.com/a/131377916_114877.

　　[10] 方濱興， 時(shí)金橋， 王忠儒， 等。 人工智能賦能網(wǎng)絡(luò)攻擊的安全威脅及應(yīng)對(duì)策略[J]. 中國(guó)工程科學(xué)， 2021,23（3）：60-66.

　　Research on security threats of AI application landing

　　NING Tingyong, XIONG Jie, HU Yongbo

　?。↖nesa Intelligent Tech Inc., Shanghai 200233, China）

　　Abstract: With the rapid popularization of automatic driving technology, intelligent assistant, face recognition, intelligent factory, smart city and other AI Artificial intelligence technologies and the rapid growth of related security incidents, consumers and the industry are paying more and more attention to AI network security issues and threats. The security of artificial intelligence applications and the dividends brought by intelligent applications, like two sides of a coin, always exist at the same time and the importance is highlighted. This paper discusses the development process of AI security in recent years and the security threats faced by AI application landing, and puts forward a set of reference security framework and landing implementation methods.

　　Keywords: artificial intelligence; model security; data security; artificial intelligence security; trusted artificial intelligence