「我懷疑同行評審實際上會造成而非減輕 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中總結(jié)的怪趨勢?！菇袢眨?a class="innerlink" href="http://ihrv.cn/tags/谷歌" title="谷歌" target="_blank">谷歌大腦知名研究科學(xué)家、GAN 的提出者 Ian Goofellow 在 Twitter 上發(fā)表多條信息炮轟同行評審機制。

質(zhì)疑同行評審

今日，谷歌大腦研究科學(xué)家 Ian Goofellow 發(fā)了一條 Twitter，引起了大家激烈的討論：

我懷疑同行評審實際上會造成而非減輕 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中總結(jié)的怪趨勢。

最近，「同行評審」一直是 Reddit 上與 Twitter 上的熱門話題，從本科畢業(yè)生成為評審到 NIPS 2018 評審結(jié)果的出爐，都引發(fā)了 AI/ML 學(xué)者對同行評審機制的討論。

在這條帖子中，Ian Goodfellow 毫不客氣地質(zhì)疑同行評審的作用，認為這種機制會造成而非減緩 Zachy Lipton 在 ICML 2018 期間總結(jié)的機器學(xué)習(xí)研究中的怪現(xiàn)狀，也就是：

無法區(qū)分客觀闡述和猜想。

無法確定達到好效果的來源，例如，當(dāng)實際上是因為對超參數(shù)微調(diào)而獲得好效果的時候，卻強調(diào)不必要修改神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

數(shù)學(xué)性：使用令人混淆的數(shù)學(xué)術(shù)語而不加以澄清，例如混淆技術(shù)與非技術(shù)概念。

語言誤用，例如，使用帶有口語的藝術(shù)術(shù)語，或者過多的使用既定的技術(shù)術(shù)語。

（詳細內(nèi)容請參見：機器學(xué)習(xí)近年來之怪現(xiàn)狀）。

同時，Ian Goodfellow 的觀點也得到了 Zachy Lipton 的贊同，表示同行評審機制的退化也應(yīng)該被列在在文章的「原因」章節(jié)之下。

之后，Ian Goodfellow 接連發(fā)了多條 Twitter，「嘲諷」評審論文方式：

我常常擔(dān)任某領(lǐng)域的主席，且自己管理了一個小型研究組織，因此我看過大量評審，包括我們組的研究成果和其他人的研究。

通常評審人員讀到實驗性論文時會抱怨缺乏「理論」。但是他們卻并不要求理論論文來解決任何特定問題。我認為他們就是為了找到一個拒絕的理由——他們略讀論文，沒有看到論文中的方程。

這可以通過添加無用的數(shù)學(xué)來解決，評審者通常不會因為其無用而指出來。這樣論文就通過了「我略讀論文，也看到了方程或矯揉做作的理論名稱」的測試。

類似地，評審人員也會在讀到一篇關(guān)于表現(xiàn)良好的新方法的論文時，因為論文中沒有解釋為何該方法性能良好而拒絕該論文。

而如果你真的添加了解釋，那么不管解釋多么蒼白，評審人員通常會接受。

評審者往往通過論文的實驗部分來理解一個系統(tǒng)的運行方式，并對論文提出抱怨：沒有新算法。這個問題可以通過在論文中提出一個實際上完全無關(guān)的新方法來解決。

評審者似乎討厭「科學(xué)」論文，但是如果添加一些新的工程方法，則很容易「蒙混過關(guān)」。

（后者和其他情況相比不那么常見。我見過一些科學(xué)論文得到了很高的評審分數(shù)，但卻常常被一些會議拒絕。）

沒有同行評審有可能帶來其他不好的趨勢，但是我看到評審者基本上一直是要求作者添加數(shù)學(xué)原理、虛假解釋和虛假的新穎性。

其實，Ian Goodfellow 并非在批評同行評審機制本身，而是認為該機制在實際應(yīng)用中沒有做好，「我認為同行評審理論上是個好主意，但在實踐中正確地執(zhí)行非常重要?！?/p>

此外，也有其他學(xué)科的學(xué)者表示，不只是 AI/ML 社區(qū)有 Ian Goodfellow 所說的問題，生物科學(xué)等其他領(lǐng)域也這樣。但是，單單的批評并不能解決問題，整個社區(qū)需要的是解決方案。

最后小編想問，Ian Goodfellow 的 NIPS 2018 論文也被評審批得一無是處嗎？