從計(jì)算機(jī)視覺(jué)到自然語(yǔ)言處理，這幾天很多研究者都提出了新的數(shù)據(jù)集以期解決新的問(wèn)題。吳恩達(dá)幾個(gè)小時(shí)前開(kāi)源的「胸片」數(shù)據(jù)集希望借助 CV 輔助疾病診斷；Facebook 幾天前開(kāi)源的「BISON」希望借助 CV 與 NLP 學(xué)習(xí)文字與圖像的內(nèi)在聯(lián)系；而幾個(gè)小時(shí)前谷歌更是開(kāi)源了大型「自然問(wèn)答」數(shù)據(jù)集，他們希望借助 NLP 學(xué)習(xí)人們谷歌問(wèn)題并搜索答案的過(guò)程。

在這篇文章中，我們將介紹這幾天開(kāi)源的三種數(shù)據(jù)集，它們與已有的通用數(shù)據(jù)集都不太一樣，且更關(guān)注精細(xì)化的任務(wù)。例如在谷歌開(kāi)源的 QA 數(shù)據(jù)集中，它里面都是真實(shí)的搜索問(wèn)題，答案也都是從維基百科查找的。這種大型的真實(shí)數(shù)據(jù)集更適合訓(xùn)練一個(gè)不那么「低智商」的 QA 對(duì)話系統(tǒng)，也更符合成年人實(shí)際會(huì)問(wèn)的一些問(wèn)題。

其它如吳恩達(dá)等研究者開(kāi)放的胸部影像數(shù)據(jù)集和 Facebook 開(kāi)源的新型圖像描述數(shù)據(jù)集都很有特點(diǎn)，也許以后年年體檢的「胸片」就能使用 DL 輔助診斷了，也許文本內(nèi)容和圖像內(nèi)容以后就能相互轉(zhuǎn)換了。

谷歌提出自然問(wèn)答數(shù)據(jù)集 Natural Questions（NQ）

開(kāi)放性的問(wèn)答任務(wù)一直是衡量自然語(yǔ)言理解的好標(biāo)準(zhǔn)，QA 系統(tǒng)一般能閱讀網(wǎng)頁(yè)并返回正確的答案。然而目前并沒(méi)有比較大的自然問(wèn)答數(shù)據(jù)集，因?yàn)楦哔|(zhì)量的自然問(wèn)答數(shù)據(jù)集需要大量實(shí)際問(wèn)題以及尋找正確答案的人力成本。為了解決這一問(wèn)題，谷歌近日開(kāi)放了一個(gè)大規(guī)模數(shù)據(jù)集 Natural Questions（NQ），它可以用來(lái)訓(xùn)練并評(píng)估開(kāi)放性問(wèn)答系統(tǒng)，并且再現(xiàn)了人類尋找問(wèn)題答案的端到端過(guò)程。

NQ 數(shù)據(jù)集非常大，包含 30 萬(wàn)條自然發(fā)生的問(wèn)題，以及對(duì)應(yīng)的回答標(biāo)注，其中每一條回答都是由人工從維基百科頁(yè)面找到的。此外，這個(gè)自然問(wèn)答數(shù)據(jù)集還包括 1.6 萬(wàn)個(gè)特殊樣本，其中每一個(gè)樣本的答案都由 5 個(gè)不同的標(biāo)注者標(biāo)注，因此這種多樣性的回答更適合評(píng)估 QA 系統(tǒng)的效果。

因?yàn)榛卮?NQ 中的自然性問(wèn)題比回答「小問(wèn)題」有更高的要求，模型需要對(duì)提問(wèn)有更深的理解，因此這樣的模型會(huì)更復(fù)雜，也會(huì)更貼近真實(shí)問(wèn)答場(chǎng)景。所以谷歌在發(fā)布這個(gè)數(shù)據(jù)集的同時(shí)，還提出了一項(xiàng)挑戰(zhàn)賽，它希望挑戰(zhàn)賽能激勵(lì)研究者基于這個(gè)數(shù)據(jù)集做出更好的問(wèn)答系統(tǒng)——更能理解自然語(yǔ)言的問(wèn)答系統(tǒng)。

NQ 數(shù)據(jù)集的論文中展示了標(biāo)注的過(guò)程與結(jié)果。簡(jiǎn)而言之，谷歌的標(biāo)注過(guò)程可以分為以下幾個(gè)步驟：向標(biāo)注者呈現(xiàn)問(wèn)題和維基百科頁(yè)面；標(biāo)注者返回一個(gè)長(zhǎng)回答與短回答。其中長(zhǎng)回答（I）可以為維基百科頁(yè)面上的 HTML 邊界框，一般可以是一段話或一張表，它包含回答這些問(wèn)題的答案。當(dāng)然，如果沒(méi)有合適的答案或者答案太分散，標(biāo)注者也可以返回 I=NULL。短回答（s）可以是 I 中的一個(gè)或一組實(shí)體，它們可回答問(wèn)題。如下展示了數(shù)據(jù)集的樣本示例：

圖 1：數(shù)據(jù)集中的樣本標(biāo)注。

論文：Natural Questions: a Benchmark for Question Answering Research

論文地址：https://storage.googleapis.com/pub-tools-public-publication-data/pdf/b8c26e4347adc3453c15d96a09e6f7f102293f71.pdf

摘要：我們提出了 Natural Questions（NQ）語(yǔ)料庫(kù)，它是一種新型問(wèn)答數(shù)據(jù)集。問(wèn)題都是提交到谷歌搜索引擎的匿名搜索請(qǐng)求。標(biāo)注者會(huì)收到一條問(wèn)題以及對(duì)應(yīng)的維基百科頁(yè)面，該維基百科頁(yè)面通過(guò)問(wèn)題的谷歌搜索結(jié)果（Top 5）確定。標(biāo)注者會(huì)標(biāo)注一個(gè)長(zhǎng)回答（通常是段落）和一個(gè)短回答，其中如果頁(yè)面有明確答案，短回答是單個(gè)或多個(gè)實(shí)體，如果沒(méi)有答案，短回答和長(zhǎng)回答標(biāo)注為 NULL。

目前數(shù)據(jù)集包含 307373 對(duì)訓(xùn)練樣本，它們有單個(gè)標(biāo)注；7830 對(duì)開(kāi)發(fā)或驗(yàn)證樣本，它們有 5 種標(biāo)注；還有 7842 對(duì)測(cè)試樣本，它們也有 5 種標(biāo)注。我們還提出了驗(yàn)證數(shù)據(jù)質(zhì)量的實(shí)驗(yàn)，并分析了 302 個(gè)樣本的 25 種標(biāo)注，從而充分了解標(biāo)注任務(wù)中的人工差異。為了評(píng)估問(wèn)答系統(tǒng)，我們提出了魯棒性的度量方法，并表示這些指標(biāo)有非常高的人類上邊界；我們同樣使用相關(guān)文獻(xiàn)中的競(jìng)爭(zhēng)性方法建立了基線結(jié)果。

吳恩達(dá)提出胸部放射影像數(shù)據(jù)集 CheXpert

胸部放射影像是全球最常見(jiàn)的影像檢查，對(duì)很多威脅終身的疾病的篩查、診斷和治療至關(guān)重要。在本文中，作者介紹了一種用于解釋胸部放射影像的大型數(shù)據(jù)集——CheXpert (Chest eXpert)。該數(shù)據(jù)集包含來(lái)自 65,240 個(gè)病人的 224,316 張胸部放射影像，這些影像中標(biāo)注了 14 種常見(jiàn)的胸部放射影像觀察結(jié)果。作者設(shè)計(jì)了一個(gè)標(biāo)注工具（labeler），它能夠從放射報(bào)告文本中提取觀察結(jié)果并使用不確定性標(biāo)簽捕捉報(bào)告中存在的不確定性。

圖 1：CheXpert 任務(wù)旨在根據(jù)多視角胸部放射影像預(yù)測(cè)不同觀察結(jié)果的概率。

CheXpert 任務(wù)要根據(jù)多視角胸部放射影像（見(jiàn)圖 1）來(lái)預(yù)測(cè) 14 種不同觀察結(jié)果的概率。作者尤其關(guān)注數(shù)據(jù)集中的不確定性標(biāo)簽，并研究了結(jié)合這些不確定性標(biāo)簽來(lái)訓(xùn)練模型的不同方法。然后在包含 200 項(xiàng)標(biāo)記的驗(yàn)證集上評(píng)估了這些不確定性方法的性能，這些標(biāo)注真值由 3 位放射科醫(yī)生一致確定，他們用放射影像注釋了該驗(yàn)證集。作者根據(jù)病理的臨床意義和在數(shù)據(jù)集中的流行程度，在 5 個(gè)選定的觀察結(jié)果上評(píng)估其方法，發(fā)現(xiàn)不同的不確定性方法能夠用于不同的觀察結(jié)果。

表 1：CheXpert 數(shù)據(jù)集包含 14 個(gè)標(biāo)記的觀察結(jié)果。作者報(bào)告了訓(xùn)練集中包含這些觀察結(jié)果的研究數(shù)量。

論文：CheXpert: A Large Chest Radiograph Dataset with Uncertainty Labels and Expert Comparison

論文地址：https://arxiv.org/abs/1901.07031v1

摘要：大型的標(biāo)記數(shù)據(jù)集使得深度學(xué)習(xí)方法在諸多醫(yī)療影像任務(wù)上獲得了專家級(jí)的表現(xiàn)。我們要展示的 CheXpert 是一個(gè)大型數(shù)據(jù)集，它包含來(lái)自 65,240 個(gè)病人的 224,316 張胸部放射影像。我們?cè)O(shè)計(jì)了一個(gè)標(biāo)注工具（labeler）來(lái)自動(dòng)檢測(cè)影像報(bào)告中的 14 種觀察結(jié)果，并捕捉影像解釋中固有的不確定性。我們研究了使用不確定性標(biāo)簽訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的不同方法，該網(wǎng)絡(luò)在給定可用正面和側(cè)面放射影像的情況下輸出這些觀察結(jié)果的概率。在一個(gè)包含 200 項(xiàng)胸部放射影像研究的驗(yàn)證集上，我們發(fā)現(xiàn)不同的不確定性方法可以用于不同的病理，這些研究由 3 位經(jīng)過(guò)認(rèn)證的放射科醫(yī)生手工注釋。然后，我們?cè)诎?500 項(xiàng)胸部放射影像研究（這些研究由 5 位經(jīng)過(guò)認(rèn)證的放射科醫(yī)生一致注釋）的測(cè)試集上評(píng)估我們的最佳模型，并將模型的表現(xiàn)與另外 3 位放射科醫(yī)生檢測(cè) 5 種選定病理的表現(xiàn)進(jìn)行比較。對(duì)于心臟肥大、水腫和胸腔積液三種疾病，ROC 和 PR 模型曲線位于所有 3 個(gè)放射科醫(yī)師操作點(diǎn)之上。我們將該數(shù)據(jù)集作為評(píng)估胸部放射影像解釋模型性能的標(biāo)準(zhǔn)基準(zhǔn)公開(kāi)發(fā)布。

該數(shù)據(jù)集可從以下地址免費(fèi)獲?。?/p>

https://stanfordmlgroup.github.io/competitions/chexpert

Facebook 提出新型視覺(jué)定位數(shù)據(jù)集 BISON

為系統(tǒng)提供關(guān)聯(lián)語(yǔ)言內(nèi)容和視覺(jué)內(nèi)容的能力是計(jì)算機(jī)視覺(jué)領(lǐng)域的一大成就。圖像描述生成和檢索等任務(wù)旨在測(cè)試這種能力，但是復(fù)雜的評(píng)估指標(biāo)也同時(shí)帶來(lái)了一些其它能力和偏差。Facebook 近日發(fā)表論文，介紹了一種替代性視覺(jué)定位系統(tǒng)評(píng)估任務(wù) Binary Image SelectiON (BISON) ：給出圖像描述，讓系統(tǒng)從一對(duì)語(yǔ)義相似的圖像中選擇與圖像描述最匹配的圖。系統(tǒng)在 BISON 任務(wù)上的準(zhǔn)確率不僅可解釋，還能夠衡量系統(tǒng)關(guān)聯(lián)圖像描述中精細(xì)文本內(nèi)容與圖像中視覺(jué)內(nèi)容的能力。Facebook 研究者收集了 BISON 數(shù)據(jù)集，它補(bǔ)充了 COCO Captions 數(shù)據(jù)集。研究者還使用 BISON 數(shù)據(jù)集對(duì)圖像描述生成和基于描述的圖像檢索系統(tǒng)進(jìn)行輔助評(píng)估。圖像描述生成的度量指標(biāo)表明視覺(jué)定位系統(tǒng)已經(jīng)優(yōu)于人類，但 BISON 表明這些系統(tǒng)與人類表現(xiàn)還有距離。

圖 2：COCO-BISON 數(shù)據(jù)集收集過(guò)程圖示：研究者使用 COCO captions 數(shù)據(jù)集進(jìn)行 BISON 數(shù)據(jù)集收集工作。首先利用描述相似度尋找相似圖像，然后標(biāo)注者選擇對(duì)圖像對(duì)中其中一個(gè)圖像的描述，最后研究者讓多個(gè)標(biāo)注者分別基于描述選擇正確的圖像，從而驗(yàn)證標(biāo)注的準(zhǔn)確性。

該研究由美國(guó)南加州大學(xué)博士 Hexiang Hu 和 Facebook 研究者合作完成。目前已開(kāi)源了驗(yàn)證數(shù)據(jù)和評(píng)估代碼。

驗(yàn)證數(shù)據(jù)：https://raw.githubusercontent.com/facebookresearch/binary-image-selection/master/annotations/bison_annotations.cocoval2014.json

評(píng)估代碼：https://github.com/facebookresearch/binary-image-selection

論文地址：https://arxiv.org/abs/1901.06595