大數(shù)據(jù)時代的到來，既向傳統(tǒng)的計算范式提出挑戰(zhàn)，又為范式突破準備了基礎(chǔ)條件。數(shù)據(jù)驅(qū)動和知識引導(dǎo)相互結(jié)合的智能計算恐怕是當(dāng)前社會正經(jīng)歷的人工智能時代，傳統(tǒng)的計算范式是怎樣的？大數(shù)據(jù)時代對新的計算范式提供了什么先天條件？有了數(shù)據(jù)驅(qū)動，為何還要與知識引導(dǎo)相互結(jié)合？

今年10月12日，2021中國人工智能大會（CCAI 2021）在成都正式啟幕，23位中外院士領(lǐng)銜，近百位學(xué)術(shù)技術(shù)精英共聚西南人工智能新高地，深入呈現(xiàn)人工智能學(xué)術(shù)研究，以及技術(shù)創(chuàng)新與行業(yè)應(yīng)用的最新成果。浙江大學(xué)求是特聘教授，博士生導(dǎo)師吳飛教授發(fā)表了題為《數(shù)據(jù)驅(qū)動與知識引導(dǎo)相互結(jié)合的智能計算》的演講，娓娓道來地向與會者介紹了人類社會已經(jīng)歷的四種計算范式，通過人腦的三種記憶體的工作模式引出社會目前已經(jīng)進入的第五種計算范式時代，即數(shù)據(jù)驅(qū)動與知識引導(dǎo)相互而結(jié)合的人工智能時代。

吳飛：浙江大學(xué)求是特聘教授，博士生導(dǎo)師。主要研究領(lǐng)域為人工智能、多媒體分析與檢索和統(tǒng)計學(xué)習(xí)理論。吳老師是浙江大學(xué)人工智能研究所所長、美國加州大學(xué)伯克利分校統(tǒng)計系訪問學(xué)者。國家杰出青年科學(xué)基金獲得者、入選“高校計算機專業(yè)優(yōu)秀教師獎勵計劃”、寶鋼優(yōu)秀教師獎，曾任教育部人工智能科技創(chuàng)新專家組工作組組長、現(xiàn)任科技部科技創(chuàng)新2030“新一代人工智能”重大科技項目指南編制專家、《中國人工智能2.0發(fā)展戰(zhàn)略研究》執(zhí)筆人之一。

吳教授著有《人工智能導(dǎo)論：模型與算法》（高等教育出版社）和浙教版普通高中教科書信息技術(shù)選擇性必修教材《人工智能初步》（浙江教育出版社）等教材。在中國大學(xué)MOOC（愛課程）開設(shè)國家級一流本科課程（線上課程）《人工智能：模型與算法》慕課

個人主頁：https://www.x-mol.com/university/faculty/243543

本次演講，吳飛教授首先對1998年圖靈獎獲得者 Jim Gray 提出的四種計算范式做了簡要介紹，指出我們已經(jīng)進入第五范式時代，隨后以人腦三種記憶體之間的聯(lián)系，引出數(shù)據(jù)驅(qū)動與知識引導(dǎo)相互而結(jié)合的智能計算，最后舉例詳細介紹了數(shù)據(jù)驅(qū)動與知識引導(dǎo)相互而結(jié)合的人工智能時代。

以下是演講全文，AI科技評論進行了不改變原意的整理。

1

五種計算范式

圖靈獎獲得者 Jim Gray 曾說，人類社會已經(jīng)經(jīng)歷了四種計算范式。第一種是做實驗，比如，伽利略在斜塔上同時扔下兩個大小不一的鐵球，兩個鐵球同時落地。通過這個實驗，伽利略發(fā)現(xiàn)物體不管質(zhì)量大小，重力加速度相同。

麥克斯韋讓一段電流通過磁鐵的左右，發(fā)現(xiàn)磁鐵的南北極發(fā)生了變化，推導(dǎo)出磁弱力和電弱力之間的方程。因此，第二個探索未知領(lǐng)域的范式就是做方程，即建立方程和模型來指導(dǎo)我們的計算。

第三種范式是虛擬仿真，就是搭建系統(tǒng)去模擬物理世界，觀測仿真系統(tǒng)里各種物質(zhì)的變化。Jim Gray 認為現(xiàn)在進入了第四種范式，叫做數(shù)據(jù)密集型的計算年代。

今年8月，李國杰院士寫了一篇文章，提出了一個疑問：為什么我們的人工智能上不著天下不落地？恐怕我們已經(jīng)進入了第五范式時代。李院士的這篇文章，直接用 AlphaFold 的例子來表示他所認為的第五范式：今后的科學(xué)計算，或者人工智能計算，一定是領(lǐng)域?qū)＜液蛿?shù)據(jù)的驅(qū)動相互結(jié)合，才能形成場景人工智能或者解決場景的任務(wù)。

數(shù)據(jù)驅(qū)動和知識引導(dǎo)相互結(jié)合的人工智能時代，即給定一堆數(shù)據(jù)，我們需要從數(shù)據(jù)里面吸取知識，然后基于知識做決策和服務(wù)。這里的數(shù)據(jù)一定是滿足任務(wù)可學(xué)習(xí)、結(jié)果可信、過程可推理和架構(gòu)可實現(xiàn)這些條件。這種架構(gòu)可實現(xiàn)，是現(xiàn)在的大型互聯(lián)網(wǎng)公司有能力完成的，我們也發(fā)現(xiàn)，下游的任務(wù)確實在大模型的驅(qū)動下能夠得到很好解決。

2

三種記憶體

我們反思一下，人腦的智能計算或者科學(xué)計算是怎樣的模式？生物學(xué)家和神經(jīng)學(xué)家告訴我們，人的大腦有三種記憶體，第一個叫做瞬時記憶。我們可以眼觀六路、耳聽八方，在一個空間里可以瞬時感覺到這個空間里各種各樣數(shù)據(jù)，這就是瞬時記憶。但如果我們沒有對瞬時記憶的數(shù)據(jù)引起注意，這些信息就不會傳給工作記憶體。

瞬時記憶傳給工作記憶體后，工作記憶體直接展開用因果智能計算的高層次數(shù)據(jù)活動，但這些高層次的活動并不是就事論事，就數(shù)據(jù)論數(shù)據(jù)，它會激活我們長期記憶里的先驗和知識。比如，我們今天來到成都，中午和朋友聚餐；。我們在到達成都時，可能會回憶起上一次來成都干什么；和上次相比，成都有什么變化；朋友又發(fā)生了什么變化。我們經(jīng)常講弦外之音、話外之意，為什么別人講話，我們能聽出話外之意？這是因為工作記憶體激活了相關(guān)的信息來理解當(dāng)前的數(shù)據(jù)。

3

數(shù)據(jù)驅(qū)動與知識引導(dǎo)相互而結(jié)合的人工智能時代

我們從這個過程已經(jīng)深刻感覺到，對當(dāng)前數(shù)據(jù)的理解，一定激活了其他信息，這種信息是一種潛在的信息，或者叫做common sense，即常識性信息，也有人把它稱為暗知識，我們無法表達，機器也無法捕捉，但人的大腦可以很好地捕捉下來。既然人腦是這樣的活動模式，現(xiàn)在的智能計算可否往這個渠道進行？

DeepMind 在 2016 年發(fā)表了一篇《神經(jīng)圖靈機》的文章，我們知道圖靈計劃就是兩端無限長的紙袋，上面有非常多的方格，然后把數(shù)據(jù)放在紙袋上，數(shù)據(jù)驅(qū)動以寫好的程序進行。這個過程沒有利用到數(shù)據(jù)以外的信息。但神經(jīng)圖靈機架構(gòu)起一個外在記憶體，對當(dāng)前數(shù)據(jù)能更好地學(xué)習(xí)、理解和處理，以得到更好的學(xué)習(xí)成果。這篇文章發(fā)表后，Nature 期刊為其形成社論，稱其為深度神經(jīng)推理，而不是平常的推理機制。

現(xiàn)在我們也發(fā)現(xiàn)，只要有一個 x 算法，神經(jīng)網(wǎng)絡(luò)一定會把 x 算法變成一個 give 算法，或者一定想把它和認知或者神經(jīng)結(jié)合起來，也就是不停地探索計算方式和方法，與我們大腦和心理認知如何更好地結(jié)合，這不是無病呻吟，而是沿著人腦的思路進行擴展?，F(xiàn)在的計算一定要有數(shù)據(jù)，而且一定是數(shù)據(jù)驅(qū)動；亦即人工智能是引擎，大數(shù)據(jù)是燃料，一個模型空轉(zhuǎn)轉(zhuǎn)不起來。

第二，知識很重要。我們不能一味從數(shù)據(jù)里發(fā)現(xiàn)知識，一定要有知識指導(dǎo)計算過程。此外，行為探索也很重要，人畢竟是在一個開放的環(huán)境里進行認知與思考。所以，數(shù)據(jù)、知識、行為相互結(jié)合，是不是一種更好的計算模式？掀起新一輪人工智能浪潮使用的計算方法，AlphaGo 有深度學(xué)習(xí)、強化學(xué)習(xí)和蒙特卡羅樹搜索三把利劍，而AlphaFold 則是圖神經(jīng)網(wǎng)絡(luò)、注意力模型和物理建模相互結(jié)合。

科學(xué)計算經(jīng)過了三代發(fā)展，已經(jīng)把數(shù)據(jù)和知識進行更好的探索。第一代是給定一個結(jié)構(gòu)，然后去預(yù)測結(jié)構(gòu)的性質(zhì)；第二代是給定一些組成成分，去重建結(jié)構(gòu)，然后基于重建的結(jié)構(gòu)預(yù)測性質(zhì)；第三代就是給定一堆數(shù)據(jù)，從給定的數(shù)據(jù)里繁衍結(jié)構(gòu)，以及推理這個結(jié)構(gòu)的性質(zhì)，這是一個很重要的人工智能發(fā)展方向。

AlphaFold是 1972 年諾貝爾獎獲得者的一個猜想。人體有非常多的氨基酸，氨基酸里編碼了蛋白質(zhì)，這些蛋白質(zhì)不同的三維空間結(jié)構(gòu)已經(jīng)定義了我們生命的功能。那么，給定一段氨基酸，能否預(yù)測氨基酸所具有的三維空間結(jié)構(gòu)？如果能預(yù)測，我們就編碼了生命的功能。

今年8月份，《自然》雜志發(fā)表了一篇現(xiàn)在被稱為 AlphaFold 的文章，《科學(xué)》雜志同時也發(fā)表了一篇叫做 Rose TTAFold 的文章。AlphaFold 和 Rose TTAFold 都非常強調(diào) attention，即注意力，但這個“注意力”不是我們大腦的一種注意力，注意力是學(xué)習(xí)的輸入和輸出之間的一種關(guān)系。例如，給定一幅人臉圖像，為什么要去預(yù)測這是一張人臉？一定是學(xué)習(xí)到的輸入和輸出之間存在一種關(guān)聯(lián)，這個關(guān)聯(lián)肯定是通過像素點復(fù)雜的空間模式挖掘出來的。如果現(xiàn)在輸入一段氨基酸序列，去重演它的三維結(jié)構(gòu)，是不是也是學(xué)一種叫做 attention 的關(guān)聯(lián)？

這兩篇文章有什么區(qū)別？Rose TTAFold 是美國華盛頓大學(xué)的一個實驗室寫的，它的第一作者非常坦白地承認 Rose TTAFold 的性能不如 AlphaFold，因為他們的實驗室沒有深度學(xué)習(xí)的工程師，只是一些生物學(xué)家拿著 Deep Learning 的工具寫出來。但是 AlphaFold 不僅會利用工具，還會修改工具，比如，它可以對 Deep Learning 的一些結(jié)構(gòu)進行修改和重新設(shè)計，因此其性能超越了 Rose TTAFold。

大家可以反思一下，今后的人工智能一定是來自不同領(lǐng)域的工程師一起協(xié)作，這也預(yù)測著李國杰院士說的為什么人工智能上不了天、落不了地，因為要解決場景的任務(wù)，一定要和場景的工程師，以及 Deep Learning 的專家結(jié)合起來。按照李院士的說法，就是要把領(lǐng)域的知識和數(shù)據(jù)，在 Deep Learning工具之下更好地結(jié)合，他把它稱為正在呈現(xiàn)的第五范式。

2020年3月份，李院士受命撰寫中國工程院有關(guān)人工智能的特刊，我是咨詢副主編。特刊發(fā)表時，編輯部的同事讓我們畫封面文章，我和一位年輕老師先用鉛筆畫，只有人腦和機器腦結(jié)合起來才會形成這種學(xué)會學(xué)習(xí)能力。人的大腦一定是稀疏的，雖然人腦據(jù)說有 400 億個神經(jīng)元，但完成任務(wù)時只有一小部分的神經(jīng)元被激活，所以人腦一天只有 25 度電。而 AlphaGo Zero 經(jīng)過了 2900 萬次的訓(xùn)練，能戰(zhàn)勝所有的 AlphaGo，它的耗電量幾乎等于洛杉磯一年的耗電量。

人的大腦很復(fù)雜，但在完成某個任務(wù)時一定是稀疏的，而機器腦一定是密集的 ，比如機器的進化速度服從摩爾定律，每18個月性能就提升一倍。一個稀疏的人腦和一個稠密的機器腦結(jié)合，恐怕就是邁向人機耦合獲得數(shù)據(jù)驅(qū)動和人的知識相互結(jié)合的時代。這期期刊還邀請了一些專家撰寫文章，比如潘院士認為人工智能的下一步就是多重知識表達。今年的 CAAI 年會上有一期分論壇就叫做視覺知識的表達，把知識表達好，可能是下一步人工智能邁進的正確方向。

朱松純老師也受邀寫了一篇文章，以此回答他認為的“機器大腦是大數(shù)據(jù)小任務(wù)，人的大腦是小數(shù)據(jù)大任務(wù)”。但是，小數(shù)據(jù)大任務(wù)不是只給一點數(shù)據(jù)就能學(xué)復(fù)雜的任務(wù)，一定是在大任務(wù)的構(gòu)建之下。只有小數(shù)據(jù)，如何完成大任務(wù)的訓(xùn)練？知識在其中起了很重要的作用，這里的知識不只是舊數(shù)據(jù)，可編碼的知識、可感知的知識、暗知識以及常識性的知識一定也參與了大腦的智能活動。朱老師的這篇文章的標題也很吸引人，叫《“暗”，不止于“深”——邁向認知智能與類人常識的范式轉(zhuǎn)換》。

我們最近在做一些數(shù)據(jù)驅(qū)動與知識引導(dǎo)的工作，首先這里的知識肯定是領(lǐng)域知識。如果是維基百科或百度百科的知識，把高中生都懂的知識放到神經(jīng)系統(tǒng)的模式里，也許能改進神經(jīng)系統(tǒng)的學(xué)習(xí)性能，但和領(lǐng)域知識相比，作用力而言要小一點。我舉兩個例子，第一個例子是司法的智能化學(xué)習(xí)，這里有兩個案例都給出了一些司法數(shù)據(jù)。第一個案例，法院認定了一些事實，原告要求法院判定他的一些事實是成立的；第二個案例，法院認定了一些事實，原告要求法院在這些認定事實的基礎(chǔ)上，判決原告的一些訴求是成立的。但在一些真實的案子里，原告有些訴求被駁回，有些則被法院認同。

那么，什么情況下原告的訴求會被法院認同，什么時候會被駁回？能不能把司法知識和這樣的數(shù)據(jù)結(jié)合起來，形成數(shù)據(jù)驅(qū)動和知識引導(dǎo)相互結(jié)合的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法？我們提出了數(shù)據(jù)驅(qū)動和知識引導(dǎo)相互結(jié)合的方法，數(shù)據(jù)由神經(jīng)網(wǎng)絡(luò) co-attention network 去學(xué)，由數(shù)據(jù)驅(qū)動學(xué)習(xí)出數(shù)據(jù)模式，再加以 legal knowledge，即一階編碼的司法知識，兩者結(jié)合起來以加強原告訴求的判斷。把一些司法領(lǐng)域的知識通過一階位置編碼利用起來，與數(shù)據(jù)驅(qū)動進行結(jié)合，在一些數(shù)據(jù)集上進行了測試。

第二個例子叫做 video caption，主要是想解決一段短的 video clip 怎么得到更好的文本描述，主要和阿里達摩院合作。因為阿里要讓用戶點擊商品，必須要把商品所對應(yīng)的視頻用文本描述出來。如何自動生成這種文本描述？我們引入了一個商品屬性的知識圖譜，通過圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到不同的紙袋之間的空間分布，再通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到一個像素點的空間分布模式，然后把這些知識結(jié)合起來，是不是能夠生成一種更具廣告效應(yīng)的文本描述？

把數(shù)據(jù)和視覺知識結(jié)合后，能不能把一些外在的記憶體也引進來？正如剛剛講的話外之意和弦外之音，不能只針對 video 理解 video，video 里一定有一些高級語義或?qū)傩杂|發(fā)了外在記憶體里的知識，加以利用這種知識更好地做視覺信息的分析與處理。再進一步，引入因果知識的關(guān)系，去除偽相關(guān)的關(guān)聯(lián)，

例如，一個吉他手穿著T恤彈吉他，也許彈吉他的人都喜歡穿T恤，本來彈吉他和穿什么衣服沒有因果關(guān)系，但由于數(shù)據(jù)選擇的偏差，選擇的這些場景，吉他手都穿了T恤，結(jié)果系統(tǒng)錯誤地認為，T恤和吉他有關(guān)聯(lián)。這有點像因果學(xué)習(xí)中，我們常說的公雞打鳴和太陽升起的例子，公雞打鳴和太陽升起好像有因果關(guān)系，因為公雞一打鳴太陽就升起。但如果有一天，把全世界的公雞都殺死，太陽照樣升起，它們之間是一種偽關(guān)聯(lián)，這種關(guān)系影響了我們學(xué)習(xí)的效果。如何消除T恤和吉他手的這種關(guān)聯(lián)，用統(tǒng)計分析的關(guān)聯(lián)學(xué)習(xí)，會說樂器和襯衫之間的關(guān)聯(lián)達到6%，但是引入因果的話，可以把這種偽關(guān)聯(lián)去掉。

數(shù)據(jù)驅(qū)動和知識引導(dǎo)實際上是很難的，特別是如何編碼領(lǐng)域知識。對徐院士之前報告里的一句話非常深刻：數(shù)據(jù)不夠模型上，模型不夠知識上。好像有點道理，數(shù)據(jù)不夠怎么辦？用更強大的模型去擬合，比如支持向量機。模型的能力不夠怎么辦？知識上，把數(shù)據(jù)、模型和知識和算力結(jié)合起來；算力也很重要，因為我們的模型現(xiàn)在變得比較復(fù)雜。

所以，我們提的問題首先一定要領(lǐng)域相關(guān)，比如化學(xué)問題、物理問題等；然后是物理建模，例如，麥克風(fēng)放在桌子上，我們不能說麥克風(fēng)懸浮在空中，這樣的物理結(jié)構(gòu)是在人類社會是不存在的，一定要從物理結(jié)構(gòu)里更好地約束建模的方法。最后，人一定要參與進去，這個問題確實很復(fù)雜，實際上是我們現(xiàn)在面臨的巨大挑戰(zhàn)。但人工智能在驅(qū)動科學(xué)計算，科學(xué)計算反過來也會驅(qū)動人工智能的進展。我們現(xiàn)在用數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)，把物理的規(guī)則和模型結(jié)合起來，是不是能更好地解決領(lǐng)域相關(guān)的問題？而領(lǐng)域相關(guān)問題的解決，就促進了人工智能的發(fā)展。

現(xiàn)在有一個方向的研究，認為精確刻畫交通湍流和疾病傳播等復(fù)雜系統(tǒng)的動力學(xué)偏微分方程異常困難。如何刻畫新冠肺炎的傳播？怎么刻畫馬航失事的飛機在大西洋和太平洋的殘??？它受到非常多的因素影響，大西洋彼岸一只蝴蝶翅膀的扇動，就會帶來臺風(fēng)和暴雨，怎么帶來的臺風(fēng)和風(fēng)暴雨，這很難用方程表示。怎么辦？我們可以學(xué)神經(jīng)網(wǎng)絡(luò)，但神經(jīng)網(wǎng)絡(luò)的方程我們不知道，且這些神經(jīng)網(wǎng)絡(luò)也不是簡單的神經(jīng)網(wǎng)絡(luò)，而是建立輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關(guān)聯(lián)。現(xiàn)在沒有這個方式怎么辦？

神經(jīng)算子是科學(xué)計算里非常熱門的一個方向，要把知識和數(shù)據(jù)更好地結(jié)合起來，就要更好地研究一些科學(xué)算子，更好地進行設(shè)計，把物理建模的約束融入到模型之中的模型。然后還要有一些快速的優(yōu)化方法，從軟件的角度進行考慮，因為真實世界實在太復(fù)雜了，我們無法用方程建立，只能用逼近、函數(shù)、優(yōu)化、擬合等科學(xué)的方法加以解決。

我們和潘院士之前做過一個調(diào)研，通用人工智能現(xiàn)在的態(tài)勢到底是怎樣的？很多媒體說美國已經(jīng)把通用人工智能當(dāng)成國家任務(wù)在積極部署，我們把特朗普、奧巴馬和拜登政府的國家人工智能規(guī)劃通讀一遍后，發(fā)現(xiàn)美國沒有把通用人工智能當(dāng)成國家的重要任務(wù)，最多只在奧巴馬政府時期，用了一個叫做 General Purpose 的 AI。General Purpose 意為“通用目的”，和我們講的 AGI 不同。在美國的這些人工智能計劃里，更多是人工智能應(yīng)該 more general，也就是更靈活、更通用。

借今天的演講我想傳遞一個想法：數(shù)據(jù)驅(qū)動和知識引導(dǎo)，這里的知識一定是來自領(lǐng)域的知識，AlphaFold、Rose TTAFold 肯定沒有用到百度百科或維基百科的知識，一定是化學(xué)家能看懂的知識，只有把這些知識和領(lǐng)域的專家做更好的結(jié)合，我們的人工智能才會 more general，才會向領(lǐng)域?qū)＜业哪芰拷?/p>