根據(jù)商業(yè)與技術(shù)洞察公司Gartner的最新預(yù)測，到2029年，70%的中國企業(yè)將實(shí)施 AI 安全測試，以增強(qiáng)其現(xiàn)有的應(yīng)用安全測試和滲透測試機(jī)制，而目前這一比例不足5%。

Gartner高級(jí)研究總監(jiān)趙宇表示：“大語言模型（LLM）和 AI智能體在各個(gè)關(guān)鍵領(lǐng)域中的大規(guī)模部署正在重塑中國的網(wǎng)絡(luò)安全格局。對(duì)于中國的CIO及其安全團(tuán)隊(duì)而言，專業(yè)化與持續(xù)性的AI安全測試不僅是防御措施， 更是部署高價(jià)值 AI、搶占市場份額、確保合規(guī)以及實(shí)現(xiàn)中國 AI 全球領(lǐng)導(dǎo)力目標(biāo)的關(guān)鍵推動(dòng)力?！?/p>

AI 大規(guī)模融入業(yè)務(wù)系統(tǒng)

隨著國產(chǎn)大語言模型的快速發(fā)展，企業(yè)機(jī)構(gòu)紛紛將AI大規(guī)模地融入業(yè)務(wù)系統(tǒng)。因此， AI安全測試必須高度自動(dòng)化，并無縫集成到現(xiàn)有安全工具和工作流程中，以防成為拖慢系統(tǒng)上線速度的瓶頸。

人工測試仍是必須選項(xiàng)

中國的企業(yè)機(jī)構(gòu)尚未完全依賴自動(dòng)化的 AI安全測試（AI-ST）工具，對(duì)于自定義的測試場景來說，人工測試仍是必須。

中國的AI安全測試正逐步拓展為 “ 廣義安全 ” 測試

為響應(yīng)各類監(jiān)管標(biāo)準(zhǔn)，中國的AI安全測試正在從傳統(tǒng)的網(wǎng)絡(luò)安全測試，逐步拓展為涵蓋違規(guī)、歧視與偏見等問題的 “ 廣義安全 ” 測試。這些領(lǐng)域通常超出網(wǎng)絡(luò)安全團(tuán)隊(duì)的傳統(tǒng)職責(zé)范圍，凸顯了更高層級(jí)的統(tǒng)籌協(xié)調(diào)與戰(zhàn)略規(guī)劃在 AI 安全測試中的必要性。

企業(yè)機(jī)構(gòu)面臨新的安全挑戰(zhàn)

在嘗試使用AI智能體來實(shí)現(xiàn)業(yè)務(wù)流程自動(dòng)化時(shí)，企業(yè)機(jī)構(gòu)面臨新的安全挑戰(zhàn)，主要涉 及四個(gè)方面：外部調(diào)用安全、AI智能體的身份與訪問管理（IAM）、行為可控性以及規(guī)劃完整性。 AI智能體的測試復(fù)雜度遠(yuǎn)高于通用 AI，測試人員必須具備領(lǐng)域?qū)I(yè)知識(shí)， 不僅需要懂業(yè)務(wù)邏輯，還要能夠理解智能體應(yīng)用場景。

Gartner高級(jí)研究總監(jiān)趙宇表示：“中國的CIO必須將AI安全測試視為戰(zhàn)略賦能工具，而不僅僅是合規(guī)成本，因?yàn)槠溆兄谧R(shí)別風(fēng)險(xiǎn)，并能加快AI在關(guān)鍵職能中的安全采用?！?/p>

針對(duì)上述一些目前切實(shí)存在的情況與挑戰(zhàn)，Gartner給出建議如下：

評(píng)估并升級(jí)現(xiàn)有安全測試工具，研究專用的AI安全測試工具以彌補(bǔ)能力缺口。定期開展針對(duì)AI的滲透測試和紅隊(duì)演練。

建立持續(xù)測試流程，將AI安全測試集成到持續(xù)集成 / 持續(xù)交付（CI/CD）流水線和安全運(yùn)營中。

采用人機(jī)結(jié)合的混合測試模式，同時(shí)利用人類智能與自動(dòng)化方法，以應(yīng)對(duì)復(fù)雜、動(dòng)態(tài)、上下文相關(guān)的漏洞。

組建跨職能團(tuán)隊(duì)，集合技術(shù)、業(yè)務(wù)和合規(guī)方面的專業(yè)能力，確保AI安全測試的全面性、相關(guān)性，以及與企業(yè)目標(biāo)和外部要求的一致性。