2019年，OpenAI發(fā)布了Safety Gym（https://openai.com/blog/safety-gym/），這是一套用于開(kāi)發(fā)遵守某些“安全約束”的AI模型工具。當(dāng)時(shí)，OpenAI聲稱可以通過(guò)Safety Gym，比較人工智能算法的安全性，以及這些算法避免犯錯(cuò)誤的能力。

　　從那時(shí)起，Safety Gym就被用于衡量OpenAI、加州大學(xué)伯克利分校、多倫多大學(xué)研究人員提出的算法性能。但一些專家質(zhì)疑人工智能“安全工具”是否有效，或者說(shuō)，它們是否使人工智能系統(tǒng)更安全？

　　倫敦瑪麗皇后大學(xué)人工智能研究員庫(kù)克指出：“正如OpenAI指出的，他們?cè)噲D為AI系統(tǒng)不能做的事情制定規(guī)則，然后讓AI代理在規(guī)則內(nèi)找到解決方案，但前提是你需要很多規(guī)則。當(dāng)然，我們可以添加更多規(guī)則和更多約束，但如果不能確切地知道AI會(huì)提出什么解決方案，總會(huì)出現(xiàn)不受歡迎的優(yōu)化?！?/p>

　　庫(kù)克舉了自動(dòng)駕駛汽車避免碰撞的例子，他指出，如果缺乏相關(guān)規(guī)則，人工智能可能會(huì)讓車距保持在兩厘米左右，或者做任何其他不安全的事情，然后基于此再在規(guī)則內(nèi)優(yōu)化。這對(duì)于自動(dòng)駕駛汽車的乘坐人員來(lái)說(shuō)，這種“試錯(cuò)”成本難以接受。

　　英特爾Mobileye 以及英偉達(dá)（Nvidia）等公司提出一些模型，來(lái)保證人工智能決策的安全和“合乎邏輯”，特別是在自動(dòng)駕駛汽車領(lǐng)域。

　　2017年10月，Mobileye發(fā)布了一個(gè)名為責(zé)任敏感安全（RSS）的框架，這是一個(gè)“確定性公式”，其中包含“邏輯上可證明”的道路規(guī)則，旨在防止自動(dòng)駕駛汽車引發(fā)事故。Mobileye聲稱，RSS為道路決策提供了一種常識(shí)性方法，可將良好習(xí)慣編入法典，例如保持安全的跟車距離，并為其他車輛提供先行權(quán)。

　　英偉達(dá)對(duì)這一概念的理解是安全力場(chǎng)（Safety Force Field），即通過(guò)分析傳感器數(shù)據(jù)，做出預(yù)測(cè)來(lái)監(jiān)控不安全的行為，目標(biāo)是最大限度地減少傷害和潛在危險(xiǎn)。安全力場(chǎng)利用Nvidia已在現(xiàn)實(shí)世界、合成高速公路及城市場(chǎng)景中驗(yàn)證的數(shù)學(xué)計(jì)算，可以同時(shí)考慮制動(dòng)和轉(zhuǎn)向約束條件，使其能夠識(shí)別由兩者引起的異常。

　　這些工具的目標(biāo)是安全（Safety），從表面上看似乎很好。但正如庫(kù)克指出的那樣，圍繞“安全”以及誰(shuí)來(lái)定義什么是安全，存在很多社會(huì)學(xué)問(wèn)題。FICO報(bào)告顯示，有65%的員工無(wú)法解釋其公司如何做出 AI 模型決策或預(yù)測(cè)，更不用說(shuō)他們是否“安全”了。

　　“作為一個(gè)社會(huì)，我們?cè)谀撤N程度上就風(fēng)險(xiǎn)水平達(dá)成共識(shí)，有時(shí)我們會(huì)將這些寫(xiě)入法律，比如預(yù)計(jì)每年會(huì)發(fā)生一定數(shù)量的車輛碰撞。但是當(dāng)談到人工智能時(shí)，我們可能希望提高這些標(biāo)準(zhǔn)，因?yàn)檫@些系統(tǒng)是可以完全控制的，與人不同?！睅?kù)克繼續(xù)說(shuō)道，“對(duì)安全的擔(dān)憂是可以理解的，但我們最終需要接受這樣一個(gè)事實(shí)，人工智能的安全性不可能讓所有人都能滿意。”

　　例如，雖然今天的自動(dòng)駕駛和ADAS系統(tǒng)，可以說(shuō)比人類駕駛員更安全，但它們?nèi)匀粫?huì)犯錯(cuò)——特斯拉最近的困境證明了這一點(diǎn)。庫(kù)克認(rèn)為，如果人工智能公司對(duì)其產(chǎn)品行為，承擔(dān)更多法律和財(cái)務(wù)責(zé)任，該行業(yè)將采取不同的方法，來(lái)評(píng)估其系統(tǒng)的安全性，而不是試圖“事后解決問(wèn)題”。

　　佐治亞理工學(xué)院數(shù)字媒體副教授納西姆·帕文 （Nassim Parvin） 認(rèn)為，圍繞自動(dòng)駕駛汽車的討論過(guò)于樂(lè)觀，也許對(duì)車禍中喪失生命的“真正關(guān)懷”可以作為重新思考的起點(diǎn)。她表示：“AI系統(tǒng)設(shè)計(jì)應(yīng)該超越錯(cuò)誤的二元權(quán)衡，過(guò)分強(qiáng)調(diào)意圖和目標(biāo)，會(huì)導(dǎo)致人們直奔快速的技術(shù)解決方案，而忽略對(duì)社會(huì)系統(tǒng)復(fù)雜性的考慮?！馔夂蠊@個(gè)詞是深刻討論人工智能設(shè)計(jì)的重大障礙，而不是促進(jìn)因素……”

　　單一工具不太可能阻止人工智能系統(tǒng)中的不安全決策，這需要產(chǎn)品所有者、風(fēng)險(xiǎn)評(píng)估人員和用戶，共同參與人工智能潛在缺陷和風(fēng)險(xiǎn)的對(duì)話，以便創(chuàng)建一個(gè)能夠暴露、測(cè)試和緩解人工智能風(fēng)險(xiǎn)和缺陷的流程。