昨日，ACM 2018 圖靈獎(jiǎng)得主公布，深度學(xué)習(xí)三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎(jiǎng)的頒布，一方面讓人感嘆「終于」、「實(shí)至名歸」之外，也讓人不禁想起 LSTM 之父 JüRGEN SCHMIDHUBER，他是否也應(yīng)該獲此榮譽(yù)呢？

在官方公告中，ACM 介紹說(shuō)，「因三位巨頭在深度神經(jīng)網(wǎng)絡(luò)概念和工程上的突破，使得 DNN 成為計(jì)算的一個(gè)重要構(gòu)成，從而成為 2018 年圖靈獎(jiǎng)得主?！?/p>

確實(shí)，在這波 AI 浪潮中，深度學(xué)習(xí)扮演著主力角色。在人工神經(jīng)網(wǎng)絡(luò)歷經(jīng)寒潮之時(shí)，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅(jiān)持，帶來(lái)了如今深度學(xué)習(xí)的崛起。

正如 ACM 主席 Cherri M. Pancake 所說(shuō)，「人工智能如今是整個(gè)科學(xué)界發(fā)展最快的領(lǐng)域之一，也是社會(huì)上討論最廣的主題之一。AI 的發(fā)展、人們對(duì) AI 的興趣，很大程度上是因?yàn)樯疃葘W(xué)習(xí)的近期進(jìn)展，而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎(chǔ)……」

因此，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow（捂臉）獲此殊榮實(shí)至名歸。

然而，在我們感嘆有「計(jì)算機(jī)界諾貝爾獎(jiǎng)」之稱的 ACM 圖靈獎(jiǎng)「終于」頒發(fā)給深度學(xué)習(xí)時(shí)，也有學(xué)者發(fā)出疑問(wèn) LSTM 之父 Jurgen Schmidhuber 是否也應(yīng)獲得此榮譽(yù)。

Jurgen 也該得獎(jiǎng)？

2018 年的圖靈獎(jiǎng)?lì)C給了在 AI 寒冬中默默堅(jiān)持，并引領(lǐng)學(xué)界走向深度學(xué)習(xí)爆發(fā)的三位先驅(qū)，這是 AI 領(lǐng)域的一件喜事。在大獎(jiǎng)結(jié)果正式公布后，社交網(wǎng)絡(luò)上的討論也在熱烈開(kāi)展，不過(guò)人們的焦點(diǎn)卻有些文不對(duì)題：

（圖注）在 Reddit 上，有關(guān)圖靈獎(jiǎng)的帖子被頂最多的幾個(gè)回復(fù)：「Schmidhuber 哭暈在廁所」。

對(duì)此，人工智能著名學(xué)者，南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華第一時(shí)間也表示：「要論對(duì)深度學(xué)習(xí)的貢獻(xiàn)，Hinton 無(wú)疑居首，LeCun 和 Schmidhuber 貢獻(xiàn)都很大。但 HLB 總捆綁在一起，而 S 跟 HLB 都不對(duì)勁。。。獲獎(jiǎng)需有提名有投票，人緣也重要。。。不過(guò)沒(méi)關(guān)系，有 LSTM 這樣教科書(shū)級(jí)的貢獻(xiàn)足以淡定?！?/p>

在知乎問(wèn)答上，也有眾多網(wǎng)友肯定 Schmidhuber 的成就，感興趣的讀者可查看該知乎帖子：

鏈接：https://www.zhihu.com/question/317715156

看來(lái)大家紛紛對(duì) Jurgen Schmidhuber 在人工智能領(lǐng)域里的貢獻(xiàn)表示肯定。不過(guò)此人在業(yè)內(nèi)人緣似乎的確不夠好，在 2015 年還曾發(fā)文怒懟過(guò) Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。

作為一個(gè)例子，讓我們看看《自然》雜志 2015 年的人工神經(jīng)網(wǎng)絡(luò)（NN）文章《Deep Learning》，它是深度學(xué)習(xí)的一篇標(biāo)志性文章，目前引用量已經(jīng)達(dá)到了 13886。該文章是 LeCun、Bengio 和 Hinton （簡(jiǎn)寫(xiě)LBH）聯(lián)合寫(xiě)的，他們從當(dāng)下的卷積、循環(huán)和反向傳播算法等核心概念概覽了深度學(xué)習(xí)，并表示無(wú)監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)結(jié)合強(qiáng)化學(xué)習(xí)等方向才是發(fā)展趨勢(shì)。

然而，Schmidhuber 在當(dāng)年的一篇批判性文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個(gè)世紀(jì)以前開(kāi)創(chuàng)領(lǐng)域的先驅(qū)者。此外，Schmidhuber 在文章中還說(shuō)了一句「They heavily cite each other」。

如下展示了Schmidhuber 批判的前三條觀點(diǎn)，他對(duì)該論文一共提出了九條批判性意見(jiàn)。

截自：http://people.idsia.ch/~juergen/deep-learning-conspiracy.html

總體而言，Schmidhuber 列舉了三人對(duì)于深度學(xué)習(xí)、反向傳播、前饋學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)等等方面對(duì)于前人研究的忽視，可謂詳盡。

如此耿直，難怪不受人待見(jiàn)。不過(guò)另一方面，我們?cè)u(píng)判一位學(xué)者的成就不應(yīng)該看他的性格，而更應(yīng)該以學(xué)術(shù)成就作為標(biāo)準(zhǔn)。

正如人們所說(shuō)的，Jurgen Schmidhuber 是一名人工智能先驅(qū)。

Jurgen 的學(xué)術(shù)成就

作為 LSTM 發(fā)明人、深度學(xué)習(xí)元老，Jürgen Schmidhuber 的識(shí)別度一直沒(méi)有 Yann LeCun、Yoshua Bengio 等人那么高。他最為人們所知的名號(hào)就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰寫(xiě)了一篇論文，其中提出了一種利用記憶功能來(lái)增強(qiáng)人工神經(jīng)網(wǎng)絡(luò)（模擬人類大腦的計(jì)算機(jī)系統(tǒng)）的方法，即根據(jù)之前獲得的信息，添加解釋文字或圖像模式的循環(huán)。他們稱之為「長(zhǎng)短期記憶（LSTM）」。

LSTM 解決 RNN 存在的短板，在隨后的多年中被人們廣泛采用。然而遺憾的是，當(dāng)時(shí) LSTM 也并沒(méi)有受到業(yè)界更多的重視，在 1995 年，首個(gè)論述 LSTM 的論文被著名的 NIPS 會(huì)議拒絕了。1997 年，關(guān)于 LSTM 的論文被麻省理工學(xué)院退稿?！讣幢闶敲绹?guó)、加拿大及其他地區(qū)的著名的神經(jīng)網(wǎng)絡(luò)專家，都沒(méi)能意識(shí)到我們自 1990 年代起于高山上實(shí)驗(yàn)室研發(fā)的深度循環(huán)神經(jīng)網(wǎng)絡(luò)的潛能?！筍chmidhuber 多次在媒體采訪時(shí)表露出遺憾。

語(yǔ)音識(shí)別最重要的模型之一——Connectionist temporal classification（CTC），是由 Graves、Schmidhuber 等人在 2006 年提出的，該論文出現(xiàn)在 2006 年的 ICML 上。CTC 是一種改進(jìn)的 RNN 模型，可以讓網(wǎng)絡(luò)自動(dòng)學(xué)會(huì)對(duì)齊，十分適合語(yǔ)音識(shí)別和書(shū)寫(xiě)識(shí)別。

Jurgen 貢獻(xiàn)的重要研究還不止于此。2018 年，由谷歌大腦研究科學(xué)家 David Ha 與瑞士 AI 實(shí)驗(yàn)室 IDSIA 負(fù)責(zé)人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢(mèng)境」中對(duì)外部環(huán)境的未來(lái)狀態(tài)進(jìn)行預(yù)測(cè)的新方法，而論文的名字也非常霸氣：

今天人工智能的形態(tài)，是由眾多學(xué)者共同打造的。在恭喜三巨頭獲得圖靈獎(jiǎng)的同時(shí)，不要忘了另外一些人的貢獻(xiàn)。

最后，網(wǎng)友實(shí)力「皮」了一波：兩彈元?jiǎng)S仁勛是不是離圖靈獎(jiǎng)也不遠(yuǎn)了……