論文引用格式：

　　寧庭勇， 熊婕， 胡永波。 人工智能應用面臨的安全威脅研究[J]. 信息通信技術與政策， 2021,47（8）：64-68.

　　人工智能應用面臨的安全威脅研究

　　寧庭勇  熊婕  胡永波

　?。ㄔ瀑愔锹?lián)股份有限公司，上海 200233）

　　摘要：當前自動駕駛技術、智能助理、人臉識別、智能工廠、智慧城市等人工智能技術已廣泛落地，但相關領域安全事件的快速增長，使得消費者和業(yè)界對人工智能網(wǎng)絡安全問題和威脅的關注度也在不斷提高。人工智能應用的安全與智能化應用所帶來的紅利，猶如一個硬幣的兩面，永遠同時存在且重要性凸顯。通過對近年來人工智能安全的政策、技術發(fā)展特點及人工智能應用落地所面臨的安全威脅進行探討，提出了一套可參考的安全框架和落地實施方法。

　　關鍵詞：人工智能；模型安全；數(shù)據(jù)安全；人工智能安全；可信人工智能

　　中圖分類號：TP393.08     文獻標識碼：A

　　引用格式：寧庭勇， 熊婕， 胡永波。 人工智能應用面臨的安全威脅研究[J]. 信息通信技術與政策， 2021,47（8）：64-68.

　　doi：10.12267/j.issn.2096-5931.2021.08.010

　　0  引言

　　縱觀當今社會，人工智能（Artificial Intelligence，AI）已廣泛滲透經(jīng)濟生產(chǎn)活動的各個環(huán)節(jié)。AI將催生新技術、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，實現(xiàn)社會生產(chǎn)力的整體躍升，推動社會進入智能經(jīng)濟時代。目前，我國大型企業(yè)基本都已在持續(xù)規(guī)劃投入實施AI項目，已有超過10%的企業(yè)將AI與其主營業(yè)務相結合，實現(xiàn)產(chǎn)業(yè)地位的提高和經(jīng)營效益的優(yōu)化[1-2]。雖然AI技術已經(jīng)開始在眾多行業(yè)中找到落地場景，成為助推傳統(tǒng)業(yè)務數(shù)字化轉型的重要工具，但AI技術在工程化和應用落地過程中還面臨諸多挑戰(zhàn)[3]。例如，產(chǎn)品能力參差不齊、缺乏行業(yè)基準和標桿、用戶選型存在困難、由算法缺陷和應用安全隱患所衍生的安全事件頻發(fā)等，這些問題制約了AI技術產(chǎn)業(yè)的深入發(fā)展。

　　1  人工智能領域應用面臨安全考驗

　　1.1  安全現(xiàn)狀

　　根據(jù)艾瑞咨詢研究院的報告[2]，過去幾年AI安全研究論文呈現(xiàn)爆炸式增長。近兩年，全球政府、學術界和工業(yè)界發(fā)布的AI安全性方面的研究論文多達3500 篇[2]，美國、中國、歐盟之間的激烈競爭預計將在可信AI競賽中繼續(xù)?，F(xiàn)實中的AI安全事件正在快速增長，尤其在汽車、生物識別、機器人技術和互聯(lián)網(wǎng)行業(yè)。作為AI的早期采用者，最受關注的行業(yè)是互聯(lián)網(wǎng)（23%）、網(wǎng)絡安全（17%）、生物識別技術（16%）和自治（13%）[1-2]。AI行業(yè)對于現(xiàn)實世界的黑客攻擊還沒有做好充分的準備，60種最常用的機器學習（ML）模型平均至少有一個安全漏洞[4]。

　　1.2  芯片、算法和數(shù)據(jù)的安全可控變得十分重要

　　隨著近5年AI滲透率在各行業(yè)的提升，AI的局限和問題逐漸暴露，如對抗樣本帶來的安全隱患、原理不可解釋等。能真正落地，并用于關鍵應用場景的AI方案必須是安全、可控、可理解的，否則很難說服用戶買單，尤其是企業(yè)級、政府級客戶。國內近些年在AI安全標準方面建樹不少。中國信息通信研究院自2018年就啟動了AI第三方評測工作[3]，針對產(chǎn)業(yè)實際問題，建設權威的測試數(shù)據(jù)集和軟硬件環(huán)境，牽頭完成AI評測標準體系，其中《ITU-T F.748.11（2020）》是國際首個AI芯片評測標準；2018年7月，中國電子工業(yè)標準化技術協(xié)會發(fā)布由中國人工智能開源軟件發(fā)展聯(lián)盟起草的《T/CESA 1026-2018人工智能深度學習算法評估規(guī)范》團標；2021年3月，中國金融標準化技術委員會正式發(fā)布了由中國人民銀行提出的《人工智能算法金融應用評價規(guī)范》（JR/T 0221-2021）行標。這些研究和標準研究機構正在從芯片、算法、應用等各個層面不斷地給與市場指導規(guī)范。

　　1.3  人工智能的發(fā)展也在改變網(wǎng)絡安全的發(fā)展

　　AI技術的發(fā)展在很大程度上也改變了原有的網(wǎng)絡攻防模式，自動化攻防的出現(xiàn)更是加速了整個網(wǎng)絡空間安全領域的發(fā)展。AI與安全是相輔相成的關系，AI的應用給網(wǎng)絡空間賦予了新的內涵，網(wǎng)絡安全和大數(shù)據(jù)技術的進步也能讓AI在更多的領域得以應用[5]。國內主要的安全廠商如安恒信息、深信服、360等都先后在自身的安全產(chǎn)品中加入了大數(shù)據(jù)和AI技術用以抗衡網(wǎng)絡攻防中巨量數(shù)據(jù)分析和攻擊特征識別等問題。

　　2  人工智能應用安全架構

　　2.1  人工智能技術應用所面臨的安全問題類別

　　從AI產(chǎn)業(yè)層次來看，AI分為基礎能力層、感知與認知技術層、領域應用賦能層[6]?；A層主要是AI的三大基本要素，即算力、算法和數(shù)據(jù)[7]；技術層主要是基于AI的研究方向分類，主要分為感知類技術和認知類技術；應用層主要為AI技術落地在各領域智能化場景實現(xiàn)AI賦能，具體參見圖1。

　　圖1  人工智能產(chǎn)業(yè)發(fā)展技術層級

　　整體上看，AI系統(tǒng)面臨以下幾個方面的安全挑戰(zhàn)：從軟件及硬件方面來看，理論上應用、模型、平臺和芯片的編碼都可能存在漏洞或后門，一旦攻擊者發(fā)現(xiàn)，則能夠利用這些漏洞或后門實施高級攻擊。從算法模型方面來看，攻擊者同樣可能在模型中植入后門并實施高級攻擊，由于部分模型的不可解釋性，在模型中植入的惡意后門會很難被檢測。在模型參數(shù)層面，服務提供者往往只希望提供模型查詢服務，而不希望暴露自己訓練的模型，但通過多次查詢，攻擊者能夠構建出一個相似的模型，進而獲得模型的相關信息，甚至可以訓練出對抗樣本用以攻擊原有模型。同樣，如果訓練模型時的樣本覆蓋性不足，會使模型魯棒性不強，當面對惡意樣本攻擊時，模型也會無法給出正確的判斷結果。從數(shù)據(jù)安全方面來看，如果攻擊者能夠在訓練階段摻入惡意數(shù)據(jù)，則會影響模型推理能力，如果攻擊者在推理階段對要判斷的數(shù)據(jù)加入少量噪音，就會產(chǎn)生刻意改變判斷結果的嚴重問題。在用戶提供訓練數(shù)據(jù)的場景下，攻擊者有可能通過反復查詢訓練好的模型獲得用戶的隱私信息進而產(chǎn)生敏感數(shù)據(jù)泄露的問題[8]。以上這些問題有的存在于基礎層，有的存在于技術層面，大部分都是在應用層使用后暴露出來，如近年來特斯拉自動駕駛發(fā)生的Autopilot安全事故[9]，有很大一部分都是訓練樣本不足或現(xiàn)實環(huán)境中的對抗樣本識別出現(xiàn)偏差后造成的嚴重后果。

　　面對如上眾多而又廣泛的安全問題，AI系統(tǒng)部署到業(yè)務場景時需要在三個層次實施防御和安全增強。一是注意對已知攻擊進行有針對性地防御；二是通過各種措施提升模型健壯性；三是使用數(shù)據(jù)安全技術保證數(shù)據(jù)的安全和隱私保密；最后，就是在模型部署的業(yè)務中設計各種安全機制保證架構的安全。參考AI應用架構，其主要分為模型訓練環(huán)境和生產(chǎn)環(huán)境兩個部分，一般情況下兩個環(huán)境是相對隔離并運行在不同的物理或云環(huán)境中（見圖2）。

　　圖2  人工智能應用架構

　　2.2  人工智能訓練環(huán)境中的安全威脅

　　在訓練環(huán)境中，樣本數(shù)據(jù)準備環(huán)節(jié)要防范數(shù)據(jù)投毒攻擊以造成模型傾斜，為模型提供可解釋性樣本數(shù)據(jù)的同時要注意反饋機制規(guī)避虛假數(shù)據(jù)導入，并要保證系統(tǒng)的數(shù)據(jù)自洽性；在模型訓練環(huán)節(jié)，要防止閃避和后門攻擊，同時在模型設計方面要保證模型的可驗證性及樣本數(shù)據(jù)足夠完整，并要充分考慮數(shù)據(jù)噪聲，訓練出足夠健壯的模型；訓練出的推理模型要針對模型竊取攻擊進行測試和驗證，并對模型的可解釋性進行充分的分析，同時針對應用場景需求，可以設計多個模型進行適配。

　　2.3  人工智能推理環(huán)境中的安全威脅

　　在生產(chǎn)環(huán)境中，數(shù)據(jù)采集環(huán)節(jié)要防止數(shù)據(jù)過度采集，對個人屬性的生物特征，如人臉、指紋、聲音等信息要適度進行脫敏或轉換后再進行利用，在數(shù)據(jù)傳輸和應用環(huán)節(jié)可適當采用數(shù)據(jù)加密技術和訪問控制手段進行保護；在業(yè)務系統(tǒng)模型管理方面，要有專門的模型倉庫管理和監(jiān)控機制，要保障模型的安全訪問和使用情況審計，對每個不同的模型實例都要有詳細的訪問控制和調用的日志管理；在最終的業(yè)務邏輯中，在滿足業(yè)務穩(wěn)定運行的條件約束下，系統(tǒng)需要分析識別最佳方案并發(fā)送至控制系統(tǒng)進行驗證并實施。通常業(yè)務安全架構要對各個功能模塊進行隔離，并設置對模塊之間的訪問控制機制，以減少攻擊程序針對推理程序的攻擊面。在業(yè)務系統(tǒng)中，使用持續(xù)監(jiān)控和攻擊檢測程序，用以綜合分析系統(tǒng)安全狀態(tài)，給出當前威脅風險級別。當威脅風險較大時，綜合決策可以不采納自動系統(tǒng)的建議，將最終控制權交回界面，通過人員判斷保證在遭受可疑攻擊情況下的可控性。在業(yè)務系統(tǒng)進行關鍵操作時，業(yè)務程序要對AI推理給出的分析結果進行確定性分析，當確定性低于閾值時交回界面人工處理。在業(yè)務模型可選的情況下，可以搭建業(yè)務“多模型架構”，通過對關鍵業(yè)務部署多個AI模型，避免單個模型出現(xiàn)異常時不影響業(yè)務最終決策，從而提升整個系統(tǒng)的強壯性。

　　3  人工智能應用安全生命周期

　　為了應對AI應用所面對的各種威脅，筆者建議使用AI安全生命周期框架來啟動AI應用安全計劃（見圖3）。

　　圖3  人工智能應用安全生命周期

　　在AI應用安全生命周期中，4個區(qū)域代表了AI系統(tǒng)從開始規(guī)劃設計到部署應用成熟使用的各個階段，并不斷循環(huán)進行持續(xù)改進。這些步驟從基本到復雜依次進行，后面的步驟依賴于前面的結果。AI生命周期參考了NIST網(wǎng)絡安全框架和Gartner的自適應安全架構（網(wǎng)絡安全生命周期管理的流行參考框架）。

　　3.1  識別階段

　　該階段的目標是通過資產(chǎn)管理、威脅建模和風險評估活動了解當前人工智能安全態(tài)勢。其行動為：通過資產(chǎn)管理，識別和記錄所有使用的人工智能模型、數(shù)據(jù)集、云平臺和供應商；通過威脅建模，了解破壞模型、數(shù)據(jù)集、環(huán)境和供應鏈的風險；通過風險評估，執(zhí)行安全審計并確定模型、數(shù)據(jù)集和其環(huán)境中的漏洞優(yōu)先級。

　　3.2  保護階段

　　該階段的目標是實施保護性控制，如安全意識、系統(tǒng)強化和安全人工智能開發(fā)實踐。其行動為：通過建立安全意識，從管理、產(chǎn)品安全和人工智能開發(fā)等各方面對利益相關者進行安全風險教育；使用模型強化措施，對模型的攻擊應用進行安全防御，確保安全輸入，防止數(shù)據(jù)外泄；通過安全開發(fā)，完善應用程序安全的常規(guī)流程，涵蓋從開發(fā)到落地的整個過程。

　　3.3  檢測階段

　　該階段的目標是通過定期滲透測試，驗證安全監(jiān)控和威脅檢測系統(tǒng)抵御主動攻擊。其行動為：通過安全監(jiān)控，收集和分析來自業(yè)務系統(tǒng)中推理業(yè)務的事件和異常，如訪問、錯誤和度量問題；通過威脅檢測，檢測并阻止針對業(yè)務系統(tǒng)機密性、完整性和可用性的對抗性攻擊[10]；通過滲透測試，進行紅藍對抗演習，以評估系統(tǒng)的穩(wěn)健性，并檢查檢測和響應控制機制是否可靠。

　　3.4  響應階段

　　該階段的目標是通過引入調查、遏制實踐、緩解工具、技術和程序，為人工智能安全事件做好準備。其行動為：通過特征提取，建立人工智能安全事件分類、影響分析和技術調查的專業(yè)知識；通過事故響應，制定事故控制和與利益相關者溝通的行動指導手冊；通過建立應急預案，改善技術控制和組織政策，以減少重復發(fā)生人工智能安全事件的機會。

　　4  結束語

　　綜上所述，人工智能應用的大規(guī)模普及和發(fā)展需要很強的安全性保證。本文主要從當前人工智能應用所面臨的主要安全威脅進行分類描述，對人工智能應用落地的訓練和推理環(huán)境所面臨的三大安全威脅進行了剖析。最后，結合安全領域的現(xiàn)有經(jīng)驗，提出了人工智能應用安全生命周期的階段和具體方法論，供業(yè)內實施人工智能應用時予以參考。

　　參考文獻

　　[1] Adversa. 人工智能面臨十大安全威脅[EB/OL]. （2021-04-27）[2021-05-10]. https://zhuanlan.51cto.com/art/202104/659922.htm.

　　[2] 艾瑞咨詢研究院。 2020年中國人工智能產(chǎn)業(yè)研究報告[EB/OL]. 2020[2021-05-10]. http://report.iresearch.cn/report_pdf.aspx?id=3707.

　　[3] 中國信息通信研究院。 中國信通院2021年首批“可信AI評測”正式啟動，即可報名！[EB/OL]. （2021-02-08）[2021-05-10]. https://www.sohu.com/a/449513509_735021.

　　[4] Adversa. The road to secure and trusted AI[EB/OL]. （2020-09-01）[2021-05-10]. https://adversa.ai/reportsecure-and-trusted-ai/.

　　[5] 陳映村。 淺談人工智能在計算機網(wǎng)絡領域的應用[J].數(shù)碼世界， 2017（11）：186.

　　[6] 秦健， 劉鑫。 人工智能專利技術市場運營的風險與應對[J]. 電子知識產(chǎn)權， 2019（2）：66-71.

　　[7] 胡文穎。 回顧人工智能以史為鏡， 正視未來[J]. 通信世界， 2018（20）：30-31.

　　[8] 華為技術有限公司。 華為AI安全白皮書[R], 2018.

　　[9] 雷鋒網(wǎng)。 特斯拉Autopilot 系列事故最詳細梳理|系列之一[EB/OL]. （ 2017-03-31）[2021-05-10]. http://www.sohu.com/a/131377916_114877.

　　[10] 方濱興， 時金橋， 王忠儒， 等。 人工智能賦能網(wǎng)絡攻擊的安全威脅及應對策略[J]. 中國工程科學， 2021,23（3）：60-66.

　　Research on security threats of AI application landing

　　NING Tingyong, XIONG Jie, HU Yongbo

　?。↖nesa Intelligent Tech Inc., Shanghai 200233, China）

　　Abstract: With the rapid popularization of automatic driving technology, intelligent assistant, face recognition, intelligent factory, smart city and other AI Artificial intelligence technologies and the rapid growth of related security incidents, consumers and the industry are paying more and more attention to AI network security issues and threats. The security of artificial intelligence applications and the dividends brought by intelligent applications, like two sides of a coin, always exist at the same time and the importance is highlighted. This paper discusses the development process of AI security in recent years and the security threats faced by AI application landing, and puts forward a set of reference security framework and landing implementation methods.

　　Keywords: artificial intelligence; model security; data security; artificial intelligence security; trusted artificial intelligence