前天，一篇 ICLR 2019 的接收論文引發(fā)了熱烈討論。該論文的匿名評(píng)審結(jié)果是 4，4，3，三位評(píng)審全都給出了 rejection 的決定。然而，領(lǐng)域主席「力排眾議」，對(duì)這篇論文給出了 Accept (Poster) 的決定……網(wǎng)友對(duì)這件事的不滿主要集中在這三個(gè)方面：作者泄露了個(gè)人信息，違反了雙盲規(guī)定；論文寫(xiě)作風(fēng)格草率；作者對(duì)匿名評(píng)審人員的回復(fù)言論語(yǔ)氣惡劣。
剛剛，ICLR 2019 大會(huì)官方回復(fù)了這一事件。
我們說(shuō)明一下評(píng)審過(guò)程中的內(nèi)部信息。rebuttal and discussion period 持續(xù)了 3 周，期間我們通過(guò)電子郵件與大約 80 位領(lǐng)域主席討論 ICLR 2019 的論文接收決定。這些討論旨在確保論文接收與否的決定能夠真正基于領(lǐng)域?qū)＜业囊庖?jiàn)。
就本案例而言，作為該領(lǐng)域公認(rèn)專(zhuān)家的領(lǐng)域主席（AC）認(rèn)為這項(xiàng)研究被嚴(yán)重低估了，因此為其做出了辯護(hù)。理想情況下，領(lǐng)域主席應(yīng)該與審稿人進(jìn)行充分討論；但這里，討論沒(méi)有得到充分進(jìn)行。
鑒于審稿人人數(shù)眾多、水平各異，因此在領(lǐng)域主席認(rèn)為有必要進(jìn)行干預(yù)時(shí)，我們將采用遵從領(lǐng)域主席意見(jiàn)的方式。大多數(shù)情況下，這會(huì)讓討論更充分且最終能達(dá)成共識(shí)。不過(guò)這里我們看到了私下討論的一個(gè)失敗案例。
就文章匿名問(wèn)題，我們務(wù)實(shí)地決定不直接將沒(méi)有匿名的論文自動(dòng)拒絕，而是在被舉報(bào)時(shí)讓作者盡早修改。從本案例來(lái)看，這種機(jī)制顯然存在問(wèn)題；但據(jù)我們所知，本案例中沒(méi)有證據(jù)表明 AC 受此影響。
從這個(gè)回復(fù)中我們可以看到，ICLR 評(píng)審制度存在以下幾點(diǎn)問(wèn)題：1）評(píng)審人員水平參差不齊；2）由此導(dǎo)致 AC 權(quán)力過(guò)大；3）「私下討論」因人而異，并未制度化，可能帶來(lái)隱患；4）未嚴(yán)格執(zhí)行「匿名性」。
近期各大機(jī)器學(xué)習(xí)頂會(huì)論文投遞數(shù)量暴漲，導(dǎo)致論文數(shù)量增多與合格論文評(píng)審人員數(shù)量不足之間的矛盾。ICLR 的評(píng)審制度對(duì)此采取的措施是「優(yōu)先遵從領(lǐng)域主席意見(jiàn)」，在匿名評(píng)審與領(lǐng)域主席觀點(diǎn)不一致時(shí)，允許私下討論。在這一案例中，我們可以清楚地看到私下討論未必都能成功。在之前的 reddit 討論中，一位 ICLR 2019 評(píng)審人表示：「是有私下討論的，不過(guò)不是必須。作者/評(píng)審/主席可以選擇是否公開(kāi)信息?！?/p>
我們目前對(duì) ICLR 的「私下討論」環(huán)節(jié)并不了解，由誰(shuí)發(fā)起、討論記錄是否公開(kāi)或至少提交給 ICLR 程序委員會(huì)、討論過(guò)程中是否有可能出現(xiàn)「學(xué)術(shù)欺凌」，這些都是值得關(guān)注的問(wèn)題。
之前曾有多位學(xué)術(shù)大牛表示：junior 會(huì)比較嚴(yán)格，因?yàn)槟承┘?xì)節(jié)不足而打低分，有可能忽視某項(xiàng)工作的真正創(chuàng)造性；而 senior 會(huì)比較寬松，看到真正的閃光點(diǎn)。這種情況是會(huì)存在的，但遵從某一個(gè)人的意見(jiàn)也有可能出現(xiàn)偏差。因此在意見(jiàn)不統(tǒng)一的時(shí)候，充分的討論是必要的，而如何保證討論的公平公開(kāi)，從而保證論文接收決定的公平性，這值得我們思考。
此外，ICLR 官方回復(fù)稱(chēng)」在本案例中沒(méi)有證據(jù)表明 AC 受匿名問(wèn)題影響」，但這似乎并不代表」匿名問(wèn)題」在其他案例中不存在問(wèn)題?！鸽p盲評(píng)審」卻不能保證嚴(yán)格的「雙盲」，這事實(shí)上是對(duì)「學(xué)術(shù)不誠(chéng)實(shí)」行為開(kāi)放的一個(gè)秘密通道。
我們期望學(xué)術(shù)界出現(xiàn)更多創(chuàng)新性研究，期望論文評(píng)審制度更加完備，期望學(xué)術(shù)公平。