張金  南開(kāi)大學(xué)網(wǎng)絡(luò)空間安全學(xué)院物聯(lián)網(wǎng)工程系副主任、副教授

　　在智能環(huán)境人工只能出現(xiàn)之后，給工控按來(lái)會(huì)帶來(lái)哪些挑戰(zhàn)？可能是我們今天會(huì)后大家去思考的問(wèn)題。

　　工控領(lǐng)域安全是網(wǎng)絡(luò)安全的延伸和發(fā)展，這句話想說(shuō)的是什么？我們對(duì)基本工控安全有一個(gè)基本的界定，學(xué)科歸屬產(chǎn)業(yè)歸屬要有一個(gè)界定。第二它涵蓋了如此的行業(yè)單于國(guó)際民生我不說(shuō)了，工控安全這兩點(diǎn)越來(lái)越重要，無(wú)論是從國(guó)家整個(gè)產(chǎn)業(yè)運(yùn)行還是追溯到社會(huì)學(xué)人類(lèi)學(xué)整個(gè)組織上都發(fā)現(xiàn)工控產(chǎn)業(yè)特別重要。我們這兩年接觸到最典型的數(shù)據(jù)是這樣的，一個(gè)中等規(guī)模城市斷電三天城市崩潰，不是說(shuō)這個(gè)城市如何它是崩潰掉了，這是為什么我們這兩年對(duì)于整個(gè)能源行業(yè)都特別重視，實(shí)際上不只是這樣，所有的交通運(yùn)輸采礦冶煉生產(chǎn)制造都關(guān)系到這個(gè)問(wèn)題，這個(gè)是工控安全這幾年很重要的原因。

　　第三說(shuō)我不是作用一個(gè)操作系統(tǒng)完全更服務(wù)于各個(gè)環(huán)節(jié)，這個(gè)我想說(shuō)的是什么？其實(shí)你回頭想，最早談工控安全談的是什么問(wèn)題？只是談設(shè)備，過(guò)了幾年大家發(fā)現(xiàn)單設(shè)備在工控領(lǐng)域當(dāng)中不只是單設(shè)備開(kāi)始有一條線各個(gè)環(huán)節(jié)，它上升到一個(gè)產(chǎn)線的系統(tǒng)，又過(guò)了幾年發(fā)現(xiàn)我的整個(gè)工業(yè)控制系統(tǒng)或者在一個(gè)產(chǎn)線里面不只是有自己的問(wèn)題，我跟供應(yīng)鏈甚至和CRM都要對(duì)接，于是我又上升了一次，我工控安全應(yīng)該包括整個(gè)系統(tǒng)再往后延伸到人工智能，一會(huì)我們?cè)賮?lái)談。我們今天先下一個(gè)定義誰(shuí)是公共安全問(wèn)題只要它的后果能夠影響到我正常的作業(yè)不只是終端的作業(yè)還是造成偏差，這些問(wèn)題應(yīng)該就屬于工控安全問(wèn)題，人工智能會(huì)不會(huì)影響到整個(gè)作業(yè)？人工智能在工控產(chǎn)業(yè)里面會(huì)有什么樣的情況。我們不細(xì)說(shuō)了很多的表，大家知道這兩年人工智能大數(shù)據(jù)應(yīng)用的非常多，人工智能會(huì)是第四次工業(yè)革命的最大推動(dòng)力，在這我只談一條人工智能新一代政府工作報(bào)告里面國(guó)務(wù)院發(fā)布了新一代人工智能發(fā)展規(guī)劃，如果你真翻過(guò)那個(gè)東西仔細(xì)看看里面推出談到了人工智能在于基礎(chǔ)工業(yè)智能制造在實(shí)業(yè)上的落地，這是國(guó)家最關(guān)心的。

　　這幾年看人工智能的發(fā)展非常的興旺，我們看幾個(gè)例子人工智能到底怎么樣來(lái)服務(wù)。這個(gè)是工業(yè)大數(shù)據(jù)，第一類(lèi)是我見(jiàn)最多的產(chǎn)品故障診斷預(yù)測(cè)，現(xiàn)在幾乎大一點(diǎn)的企業(yè)都在拿人工智能機(jī)器學(xué)習(xí)大數(shù)據(jù)在做這個(gè)而且效果非常好，我們舉一個(gè)例子GE-insite它有一套維修體系，GE當(dāng)年賣(mài)類(lèi)似于CT或者超聲波機(jī)賣(mài)的挺多的，但是這些大型設(shè)備其實(shí)在維護(hù)的過(guò)程當(dāng)中經(jīng)常出問(wèn)題，我上學(xué)的時(shí)候就有人說(shuō)你將來(lái)找工作最好找維護(hù)大型設(shè)備，為什么？是因?yàn)樾?wèn)題操作人員解決了，大問(wèn)題你解決不了，到你這只是打一個(gè)電話找人維修就OK了，現(xiàn)在的數(shù)據(jù)基本上體現(xiàn)這樣及GE當(dāng)時(shí)維修的時(shí)候，平均維修時(shí)間是4個(gè)小時(shí)左右。而且工作量非常滿，后來(lái)用了人工智能做了一套insite，它其實(shí)是基于機(jī)器學(xué)習(xí)一套軟件數(shù)據(jù)診斷系統(tǒng)，改完了之后大概可以做到41%的故障遠(yuǎn)程排除不用去了，如果有大型設(shè)備的維修經(jīng)驗(yàn)會(huì)看到大型設(shè)備的大量問(wèn)題是什么？不是核心的問(wèn)題，有可能是哪的線松了或者是校準(zhǔn)一次就可以運(yùn)行，它其實(shí)并不需要非常高的技術(shù)，所以遠(yuǎn)程基本上15分鐘內(nèi)就可以解決。

　　這樣我們發(fā)現(xiàn)數(shù)據(jù)整個(gè)的運(yùn)行對(duì)于工控產(chǎn)能的提高很有幫助，第二個(gè)生產(chǎn)線優(yōu)化，生產(chǎn)線最怕的就是停機(jī)，這是一個(gè)全球500強(qiáng)他做了智能產(chǎn)線，這個(gè)產(chǎn)線打出來(lái)那天開(kāi)始就沒(méi)有24小時(shí)停機(jī)過(guò)，因?yàn)楫?dāng)時(shí)在良品的控制上出問(wèn)題了，它的產(chǎn)線跑起來(lái)經(jīng)常要停機(jī)，因?yàn)榕苤l(fā)現(xiàn)有一個(gè)殘次品停機(jī)，所以做不到不停機(jī)，那有什么辦法？我等下來(lái)之后裝箱再弄？那也不行。于是怎么辦？他們也用機(jī)器學(xué)習(xí)的方式做了故障停頓，它來(lái)預(yù)測(cè)不用再看產(chǎn)品是不是殘次品，每一個(gè)產(chǎn)品上有一個(gè)標(biāo)號(hào)，一個(gè)標(biāo)號(hào)上對(duì)應(yīng)一個(gè)概率，低于百分之多少的概率我認(rèn)為你就是殘次品，裝箱的時(shí)候自動(dòng)踢出，光這一項(xiàng)不停機(jī)一年直接的收益在5億美元左右，我看到大數(shù)據(jù)的第二個(gè)好。

　　第三個(gè)供應(yīng)鏈的優(yōu)化會(huì)促進(jìn)采購(gòu)倉(cāng)儲(chǔ)這都是很常見(jiàn)的問(wèn)題，在這我只說(shuō)跟安全有關(guān)的，其實(shí)對(duì)于供應(yīng)鏈整個(gè)的數(shù)據(jù)信息保護(hù)非常重要，我們國(guó)內(nèi)當(dāng)初一個(gè)企業(yè)做橡膠制品，它的產(chǎn)品質(zhì)量非常好，外國(guó)企業(yè)非常好奇你的橡膠配比原料到底是怎么調(diào)的，其實(shí)你回頭坐這想，真正有價(jià)值的商業(yè)秘密你是不會(huì)拿它做專(zhuān)利的，一旦做了專(zhuān)利就意味著公開(kāi)了，藏著外國(guó)企業(yè)包括國(guó)內(nèi)友商想了很多的包括，就是不知道。直到外國(guó)人想了一個(gè)新的方法，看看他的原料采購(gòu)，看他的供應(yīng)鏈，到底把它的配比算出來(lái)了。我們國(guó)內(nèi)還是造成了一定的損失，但是這個(gè)問(wèn)題可能不算是工控問(wèn)題更是商業(yè)機(jī)密問(wèn)題，因?yàn)闆](méi)有造成了產(chǎn)線的終止和運(yùn)行，最后一個(gè)生產(chǎn)排成也比較常見(jiàn)。

　　這個(gè)是我從一個(gè)網(wǎng)站上截的圖，應(yīng)該是做工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)的，在這要講的是什么？當(dāng)工業(yè)互聯(lián)網(wǎng)、工業(yè)云、工業(yè)大數(shù)據(jù)出現(xiàn)之后，越來(lái)越多的企業(yè)會(huì)把它的一些業(yè)務(wù)搬到云上去，剛剛我們其他嘉賓也講過(guò)等保2.0新的東西都要考慮工業(yè)云，其實(shí)在我的眼中去看工業(yè)云的時(shí)候我最害怕的是一個(gè)什么問(wèn)題？當(dāng)我們做了云，云核心是集約化的工具，你們都用用完成本就下來(lái)了，但是大家用的函數(shù)和代碼其實(shí)可能都是一段，我們過(guò)去100個(gè)廠家做100套系統(tǒng)，可能系統(tǒng)實(shí)現(xiàn)的方式包括漏洞還是多種多樣的，一種病毒想通車(chē)其實(shí)蠻難的，但是當(dāng)你上了云，當(dāng)我們都大規(guī)模的采購(gòu)了一家的產(chǎn)品你會(huì)發(fā)現(xiàn)，你們出現(xiàn)的風(fēng)險(xiǎn)就是一樣的，云可能帶來(lái)的風(fēng)險(xiǎn)不是自己的風(fēng)險(xiǎn)。

　　而是云對(duì)于各種數(shù)據(jù)各種服務(wù)進(jìn)行輔用它帶來(lái)的東西，我們?cè)購(gòu)募夹g(shù)的角度看看人工智能這個(gè)角度真正鋪到工業(yè)領(lǐng)域有哪些技術(shù)，第一種機(jī)器視覺(jué)，就是用機(jī)器代替人眼來(lái)看就是小鏡頭。我們將目標(biāo)轉(zhuǎn)成各種數(shù)字圖象信號(hào)，運(yùn)用模式識(shí)別數(shù)字圖形學(xué)各種方式，根據(jù)象素的分布亮度抽出形態(tài)紋理特征，進(jìn)而根據(jù)辨別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的工作，就是交互。以它們基本上廣泛的應(yīng)用在各種工業(yè)自動(dòng)化處理問(wèn)題上，因?yàn)槿斯ぶ悄芫腿齻€(gè)套路感知、計(jì)算、控制，就這三件事其中最有效的感知手段就是視覺(jué)，無(wú)論是希望跟人眼一樣看一個(gè)形狀看一個(gè)動(dòng)物，看什么核心動(dòng)是用的視覺(jué)方法，這個(gè)東西現(xiàn)在用的最多。

　　第二個(gè)機(jī)器聽(tīng)覺(jué)，聽(tīng)覺(jué)指什么？用機(jī)器代替人耳來(lái)做測(cè)量和判斷，由于生理上本身是振動(dòng)的也叫機(jī)器處理，通過(guò)聽(tīng)覺(jué)裝置，一般我們用麥克風(fēng)陣列或者是定向的傳感器，獲取聲音信號(hào)傳給專(zhuān)業(yè)的聽(tīng)覺(jué)系統(tǒng)來(lái)處理。聽(tīng)覺(jué)現(xiàn)在來(lái)看主要用在兩到三個(gè)領(lǐng)域，第一個(gè)領(lǐng)域是什么？故障排除，其實(shí)當(dāng)你有一臺(tái)機(jī)床，這個(gè)機(jī)床有一個(gè)機(jī)軸它長(zhǎng)期運(yùn)行磨損之后產(chǎn)生的噪音就會(huì)不一樣，這個(gè)技術(shù)相對(duì)來(lái)講應(yīng)該比較成熟，過(guò)去不叫聽(tīng)覺(jué)，現(xiàn)在越來(lái)越多的企業(yè)都喜歡用這種方式來(lái)進(jìn)行故障的診斷。第二類(lèi)用在控制上，比如說(shuō)去年在上海幫一個(gè)廠子做了一個(gè)小方案，它的核心就是在爐子里面燒玻璃的絕緣子，它不知道在哪，于是我們放了一個(gè)自動(dòng)傳感器來(lái)聽(tīng)碎的一聲，基本上知道在哪雖來(lái)做檢測(cè)。第三個(gè)做的人機(jī)交互，我們很多的作業(yè)尤其在港口或者是在比較敏感的地方作業(yè)，因?yàn)槟愕碾p手都占據(jù)了，剩下的溝通下指令只能通過(guò)嘴，經(jīng)常帶一個(gè)無(wú)線耳麥說(shuō)，他們也是用的機(jī)器聽(tīng)覺(jué)。

　　第三種機(jī)器人開(kāi)始動(dòng)起來(lái)，機(jī)器人跟過(guò)去想的不一樣，過(guò)去看到的工業(yè)機(jī)器人認(rèn)為就是產(chǎn)線，有人拿著錘子砸或者是拿一個(gè)小探針在那焊接不是，現(xiàn)在的機(jī)器人完成了運(yùn)動(dòng)規(guī)劃自主定位一會(huì)我們看一眼。還有一個(gè)是這兩年新型的問(wèn)題叫自主決策，我們舉了一個(gè)案例它做了一套AI專(zhuān)門(mén)追蹤員工的工作效率，你干過(guò)企業(yè)管理知道，最頭疼的一件事就是我這個(gè)員工到底是摸魚(yú)還是認(rèn)真工作，有很多的方式想辦法監(jiān)控，但是這樣做效果都不好，他們做的還不錯(cuò)。做一套系統(tǒng)來(lái)監(jiān)控每一個(gè)員工的TOT，自動(dòng)生成解雇指令，一旦系統(tǒng)判斷你上班有60%的時(shí)間在工作，直接一個(gè)電子合同出來(lái)你就走了，它系統(tǒng)里承接的是后來(lái)自動(dòng)去給下一個(gè)排隊(duì)庫(kù)里的人發(fā)邀請(qǐng)，讓你到我這來(lái)上班自己簽訂合同第二天來(lái)報(bào)到，已經(jīng)做到這個(gè)水平了。基本上決定用AI來(lái)決定是否去解雇一個(gè)員工，據(jù)說(shuō)跑一年之后大概近千名員工被辭掉，這是一個(gè)物流輸送系統(tǒng)比例接近了10%。這個(gè)我要講的是什么？

　　其實(shí)自主決策人工智能不僅僅在產(chǎn)線控制上，它開(kāi)始延伸到CM上去了，如果對(duì)這樣一個(gè)AI進(jìn)行干擾把你倉(cāng)庫(kù)的人都開(kāi)掉是不是也干擾到你的作業(yè)運(yùn)行？也是。下面找了兩個(gè)圖，右邊是創(chuàng)意公司他做的設(shè)備專(zhuān)門(mén)用于監(jiān)控員工的工作，據(jù)統(tǒng)計(jì)大概有15%的企業(yè)都在默默的關(guān)注員工在干什么，這些公司出了這些產(chǎn)品每天和工卡一樣往身上一戴，所有的統(tǒng)計(jì)數(shù)據(jù)立刻上平臺(tái)，它就可以知道你到底是歇著還是在忙碌。左下角這個(gè)圖是國(guó)內(nèi)一個(gè)環(huán)衛(wèi)工人，當(dāng)時(shí)管理部門(mén)給他們一人送了一個(gè)電子手環(huán)，說(shuō)是可以報(bào)天氣，告訴你一個(gè)氣溫還可以跟你溝通一下，還有另外一個(gè)功能每當(dāng)你在一個(gè)地方待了20分鐘之后就會(huì)提醒你一下，在后臺(tái)給你做一個(gè)違規(guī)的記錄，因?yàn)榄h(huán)衛(wèi)工人掃地不可能在這個(gè)地方掃20分鐘的地，后來(lái)被新聞報(bào)了之后有關(guān)部門(mén)又改了。但是我們會(huì)發(fā)現(xiàn)越來(lái)越多的人工智能的東西被我們放進(jìn)來(lái)做決策來(lái)符合業(yè)務(wù)運(yùn)行，上面兩個(gè)圖是全球工業(yè)機(jī)器人的最高水平，左上角的物流機(jī)器人已經(jīng)可以去抓箱子，這個(gè)箱子是100鎊，一個(gè)機(jī)器人跑起來(lái)不難，你讓它抓沉一點(diǎn)的東西也不難，但是抓一個(gè)沉的東西跑就很難。右邊也是一個(gè)物流機(jī)器人，你會(huì)發(fā)現(xiàn)它可以吸住紙箱子，這兩個(gè)機(jī)器人應(yīng)該都是在今年年底面世，所以你看這個(gè)機(jī)器人和在產(chǎn)線上固定區(qū)別很大，未來(lái)的機(jī)器應(yīng)該是這種模式。左下角做的也非常好，你會(huì)發(fā)現(xiàn)它的機(jī)械手可以仿照人的手工作，其實(shí)機(jī)械手抓東西是非常難的問(wèn)題，不是在于動(dòng)不動(dòng)，而在于到底抓的是紙杯還是礦泉水瓶應(yīng)力不一樣，右下角是另外一個(gè)機(jī)器人醫(yī)療機(jī)器人最高水平，它可以做遠(yuǎn)程手術(shù)它在縫合一個(gè)葡萄，你想醫(yī)療領(lǐng)域應(yīng)用也是非常廣的。

　　最后我找到柴院士的一段話，目前工業(yè)人工智能是兩者結(jié)合，工業(yè)人工只能增強(qiáng)勞動(dòng)力素質(zhì)提高效率服務(wù)客戶，各個(gè)生產(chǎn)環(huán)節(jié)發(fā)生變革，為新的制造業(yè)提供了新的，后面還說(shuō)了很多，我不念了。根據(jù)我個(gè)人的經(jīng)驗(yàn)，企業(yè)為什么要擁抱人工智能？很簡(jiǎn)單節(jié)流增效效果極其明顯，我在江蘇南通是全球的家訪集散基地，當(dāng)時(shí)我和一個(gè)老板聊了聊，他一年的流水不到40個(gè)億，我們倆就說(shuō)到工業(yè)機(jī)器人和工業(yè)智能有沒(méi)有可能在你那用？他說(shuō)我剛買(mǎi)了一套大概1.2億，這條產(chǎn)線實(shí)際上每年給我省工資直接省5000萬(wàn)，現(xiàn)在的金融工具非常好對(duì)于他來(lái)講這個(gè)項(xiàng)目基本上意味著三年回本，在年化超過(guò)33%的回報(bào)率項(xiàng)目你覺(jué)得好不好？你覺(jué)得你要不要，你覺(jué)得他要不要？后來(lái)我們倆又深聊了一下，他看中的不是這33%，他看中的是當(dāng)機(jī)器人工智能這些東西取代傳統(tǒng)人工進(jìn)來(lái)之后，一個(gè)企業(yè)真正獲得釋放獲得降低的是什么成本？管理成本，不是真正的員工支出，他是一個(gè)生產(chǎn)型企業(yè)，生產(chǎn)型企業(yè)特別容易出工傷，我們公司每年三五條人命是少的，但是有了機(jī)器人我不怕，第二機(jī)器人不用我上社保。第三個(gè)機(jī)器人不會(huì)要我加班費(fèi)，它就24小時(shí)連軸轉(zhuǎn)，機(jī)器人沒(méi)有工傷，機(jī)器人不會(huì)去因?yàn)檫@個(gè)產(chǎn)生各種的爭(zhēng)執(zhí)，你們公司100多人還管得住，150—200人立刻管不住，尤其是廠房廠區(qū)，當(dāng)它擁抱機(jī)器人愿意以很高的代價(jià)開(kāi)始做的時(shí)候?yàn)槭裁?？是因?yàn)闇p員增效效果超出我們的想象，直接成本就是33%的收益，還有管理成本的降低。所以我們?cè)僬劦诙€(gè)問(wèn)題是什么？工業(yè)也好能源也好交通行業(yè)也好各種的基礎(chǔ)行業(yè)擁抱人工智能是不可避免的趨勢(shì)，早還是晚的問(wèn)題。那么我們前面講過(guò)，工控的發(fā)展最早做設(shè)備后來(lái)做系統(tǒng)，是因?yàn)檎麄€(gè)工業(yè)的產(chǎn)線在發(fā)展，工業(yè)在發(fā)展革命，工業(yè)革命看到的一定是人工智能，那么人工智能的風(fēng)險(xiǎn)會(huì)不會(huì)被工控安全所繼承肯定會(huì)。那么人工智能有什么風(fēng)險(xiǎn)？簡(jiǎn)單的看看。這個(gè)是比利時(shí)大學(xué)發(fā)的文章，他用了一套基本的人工智能算法識(shí)別人的，如果當(dāng)它識(shí)別出來(lái)之后會(huì)編一個(gè)號(hào)認(rèn)為你是一個(gè)人，但是當(dāng)你身上貼了一張畫(huà)之后你發(fā)現(xiàn)它沒(méi)有辦法把你識(shí)別成人，我們把它叫做現(xiàn)代的隱身服，右邊的兩個(gè)動(dòng)圖其實(shí)當(dāng)我們也許用一些數(shù)據(jù)攻擊的方法人工智能就會(huì)失明，這個(gè)東西用在工業(yè)上用在能源控制上或者用在廠區(qū)的安保上會(huì)不會(huì)有風(fēng)險(xiǎn)。第二類(lèi)讓它錯(cuò)誤識(shí)別，大家聽(tīng)到深度學(xué)習(xí)，深度學(xué)習(xí)效果非常好，業(yè)界說(shuō)的非常多，我們看看深度學(xué)習(xí)遭受攻擊有沒(méi)有結(jié)果。

　　左邊一個(gè)是正常的深度模型模型，我可以識(shí)別出來(lái)紅色區(qū)域是掛在架子上的毛巾，有一個(gè)垃圾桶還有綠色的浴缸還有櫥柜都是正常的，但是當(dāng)你進(jìn)行一定的擾動(dòng)或者是對(duì)數(shù)據(jù)有一定的修正的時(shí)候，你發(fā)現(xiàn)機(jī)器人看到同樣的照片機(jī)器人看到的是不一樣，它看到的就是右邊的，我們會(huì)把浴缸和垃圾桶合在一起識(shí)別為一個(gè)杯子，遠(yuǎn)看是有這個(gè)輪廓。包括窗戶毛巾鏡子完全都被識(shí)別錯(cuò)了，這種誤導(dǎo)攻擊放在將來(lái)產(chǎn)線能源控制或者交流物流無(wú)人車(chē)上會(huì)產(chǎn)生怎么樣的風(fēng)險(xiǎn)，越重要的行業(yè)我們要求它越精確，再一個(gè)逃逸攻擊，這個(gè)東西現(xiàn)在特別火，它指的是什么？我讓你識(shí)別成別的，原始圖片是這樣的本來(lái)那個(gè)機(jī)器模型人工智能它一看是一個(gè)熊貓，但是當(dāng)我加了一定的噪聲一堆點(diǎn)，兩張照片疊加之后得出來(lái)的是這張照片，但是放到人工智能的視覺(jué)下人認(rèn)為它是一個(gè)長(zhǎng)臂猿，而且準(zhǔn)確率高達(dá)99.3%，機(jī)器人十分肯定它就是長(zhǎng)臂猿這叫逃逸攻擊。

　　針對(duì)聲音的也有，針對(duì)聲音的主要是兩種。一種是我們上面說(shuō)的針對(duì)人類(lèi)的，還有一種針對(duì)模型的，我發(fā)出一系列的噪音，人聽(tīng)了不當(dāng)回事，甚至這些聲音會(huì)脫離20—2萬(wàn)赫茲的人耳聽(tīng)率，但是當(dāng)機(jī)器聽(tīng)到的時(shí)候，機(jī)器就認(rèn)為聽(tīng)到了人聲立刻觸發(fā)相應(yīng)的行動(dòng)，我們?cè)谌荢7和蘋(píng)果6上聽(tīng)到這個(gè)聲音順利的喚醒開(kāi)始撥打911或者把手機(jī)切到離線模式都可以做到這些東西。讓人聽(tīng)了好像是噪音，但是機(jī)器別聽(tīng)成了指令，以此類(lèi)推還有很多，黑盒攻擊語(yǔ)音系統(tǒng)，從文本到逼真的人聲，這也是特別火的，我見(jiàn)到國(guó)際上兩三家公司都做出來(lái)了，國(guó)內(nèi)百度說(shuō)做出來(lái)我沒(méi)見(jiàn)到東西，它的邏輯是什么？你過(guò)來(lái)說(shuō)60秒的話說(shuō)什么都行，我把你的聲紋提出來(lái)用你的聲音去念任何一段我定義好的文字，你想想這個(gè)控制起來(lái)風(fēng)險(xiǎn)非常高。再之后就是影響分類(lèi)結(jié)果把熊貓看成了長(zhǎng)臂猿，我們各種越界的各種的越界內(nèi)存訪問(wèn)逃逸攻擊數(shù)字樣本的對(duì)抗，比如說(shuō)你寫(xiě)成1就識(shí)別成2，人看的就是1，但是機(jī)器看就是2。我們前面講了視覺(jué)講了聽(tīng)覺(jué)，大概的決策也說(shuō)了，我們說(shuō)說(shuō)行為的問(wèn)題，這是一個(gè)著名的機(jī)器人2016年逃跑了兩次，從實(shí)驗(yàn)室跑出來(lái)了，為什么跑出來(lái)？是因?yàn)闄C(jī)器人本身具備了一定的智能可以自主尋線，未來(lái)工廠里的機(jī)器人不會(huì)是在那靜止不動(dòng)的機(jī)械手，他們會(huì)有運(yùn)動(dòng)能力的，這個(gè)機(jī)器人跑出來(lái)因?yàn)楫?dāng)時(shí)的電子圍欄忘了收留了一個(gè)口，機(jī)器人一直跑到街上造成了擁堵，跑了50米就沒(méi)電了，電池不太多，后來(lái)把它帶回來(lái)過(guò)了兩天這個(gè)機(jī)器人又跑出來(lái)，據(jù)說(shuō)這一次是GPS壞了，機(jī)器人定位錯(cuò)了也跑出來(lái)了，無(wú)論怎么樣這也許是一個(gè)小事沒(méi)有造成惡劣的后果，但是未來(lái)如果一個(gè)焊接機(jī)器人拿一個(gè)噴槍廠區(qū)走都是很危險(xiǎn)的。右下角的照片，這是2016年深圳高交會(huì)上這個(gè)機(jī)器人在展臺(tái)上站的挺好，突然機(jī)器人瘋了把展臺(tái)的玻璃撞碎就出去了，展臺(tái)碎掉了玻璃扎傷了一個(gè)觀眾的腳。我要談的是什么？我個(gè)人覺(jué)得電影里講的人工智能水平超越人類(lèi)毀滅人類(lèi)應(yīng)該還很遙遠(yuǎn)，但是對(duì)于他們的失控，對(duì)于他們控制過(guò)程的缺失以及草屋的引導(dǎo)，給你惹一點(diǎn)麻煩應(yīng)該說(shuō)還是很現(xiàn)實(shí)的。

　　再舉一個(gè)例子，福島核電站很多年了，日本人剛做了一個(gè)機(jī)器人能鉆到福島核電站里面看各種的情況，原來(lái)首席科學(xué)家是南開(kāi)的客坐，就是因?yàn)楝F(xiàn)在高磁高爆的環(huán)境，不知道有強(qiáng)大行動(dòng)的機(jī)器人你仍進(jìn)去這個(gè)機(jī)器人會(huì)在里面干什么，萬(wàn)一它真的抱著核廢料跑出來(lái)呢？所以我們上來(lái)很慎重做非常小的機(jī)器人能先看明白環(huán)境測(cè)好指標(biāo)再上機(jī)器人，因?yàn)檫@個(gè)東西一旦產(chǎn)生失控它的破壞力遠(yuǎn)比你想的大很多。對(duì)于人工智能有沒(méi)有人去管理他們呢？南開(kāi)大學(xué)在做核心智能，我們現(xiàn)在看到另外一個(gè)標(biāo)準(zhǔn)歐盟大概是在去年年底出的人工智能草案，它跟工業(yè)有關(guān)系但是更多的是對(duì)于人工智能的框架進(jìn)行了定義，最后我們簡(jiǎn)單的說(shuō)一下結(jié)論，因?yàn)槿斯ぶ悄軙?huì)改造整個(gè)工控系統(tǒng)對(duì)于工業(yè)革命有巨大的推動(dòng)作用，所以人工智能的風(fēng)險(xiǎn)必然會(huì)比工控安全所繼承，你想擁抱人工智能就需要擁抱它的風(fēng)險(xiǎn)。我現(xiàn)在說(shuō)點(diǎn)陰暗面還有陽(yáng)光面，有很多人也在用人工智能，對(duì)于工控里的漏洞什么在做挖掘效果也不錯(cuò)，但是更多的我們考慮是不是真的也許在等保3.0里面我們需要考慮一些兼顧人工智能風(fēng)險(xiǎn)的新型工控安全問(wèn)題，并基于這個(gè)框架來(lái)進(jìn)行研究，也就是大數(shù)據(jù)下的工控檢測(cè)。