1 月 13 日消息，據(jù)英偉達(dá)官方博客，英偉達(dá)宣布推出一款名為 Nemotron-CC 的大型英文 AI 訓(xùn)練數(shù)據(jù)庫(kù)，總計(jì)包含 6.3 萬(wàn)億個(gè) Token，其中 1.9 萬(wàn)億為合成數(shù)據(jù)。英偉達(dá)聲稱(chēng)該訓(xùn)練數(shù)據(jù)庫(kù)可以幫助為學(xué)術(shù)界和企業(yè)界進(jìn)一步推動(dòng)大語(yǔ)言模型的訓(xùn)練過(guò)程。

目前，業(yè)界各類(lèi) AI 模型的具體性能主要取決于相應(yīng)模型的訓(xùn)練數(shù)據(jù)。然而現(xiàn)有公開(kāi)數(shù)據(jù)庫(kù)在規(guī)模和質(zhì)量上往往存在局限性，英偉達(dá)稱(chēng) Nemotron-CC 的出現(xiàn)正是為了解決這一瓶頸，該訓(xùn)練數(shù)據(jù)庫(kù) 6.3 萬(wàn)億 Token 的規(guī)模內(nèi)含大量經(jīng)過(guò)驗(yàn)證的高質(zhì)量數(shù)據(jù)，號(hào)稱(chēng)是 " 訓(xùn)練大型語(yǔ)言模型的理想素材 "。

數(shù)據(jù)來(lái)源方面，Nemotron-CC 基于 Common Crawl 網(wǎng)站數(shù)據(jù)構(gòu)建，并在經(jīng)過(guò)嚴(yán)格的數(shù)據(jù)處理流程后，提取而成高質(zhì)量子集 Nemotron-CC-HQ。

在性能方面，英偉達(dá)稱(chēng)與目前業(yè)界領(lǐng)先的公開(kāi)英文訓(xùn)練數(shù)據(jù)庫(kù) DCLM（Deep Common Crawl Language Model）相比，使用 Nemotron-CC-HQ 訓(xùn)練的模型在 MMLU（Massive Multitask Language Understanding）基準(zhǔn)測(cè)試中的分?jǐn)?shù)提高了 5.6 分。

進(jìn)一步測(cè)試顯示，使用 Nemotron-CC 訓(xùn)練的 80 億參數(shù)模型在 MMLU 基準(zhǔn)測(cè)試中分?jǐn)?shù)提升 5 分，在 ARC-Challenge 基準(zhǔn)測(cè)試中提升 3.1 分，并在 10 項(xiàng)不同任務(wù)的平均表現(xiàn)中提高 0.5 分，超越了基于 Llama 3 訓(xùn)練數(shù)據(jù)集開(kāi)發(fā)的 Llama 3.1 8B 模型。

英偉達(dá)官方表示，Nemotron-CC 的開(kāi)發(fā)過(guò)程中使用了模型分類(lèi)器、合成數(shù)據(jù)重述（Rephrasing）等技術(shù)，最大限度地保證了數(shù)據(jù)的高質(zhì)量和多樣性。同時(shí)他們還針對(duì)特定高質(zhì)量數(shù)據(jù)降低了傳統(tǒng)的啟發(fā)式過(guò)濾器處理權(quán)重，從而進(jìn)一步提高了數(shù)據(jù)庫(kù)高質(zhì)量 Token 的數(shù)量，并避免對(duì)模型精確度造成損害。

英偉達(dá)已將 Nemotron-CC 訓(xùn)練數(shù)據(jù)庫(kù)已在 Common Crawl 網(wǎng)站上公開(kāi)（點(diǎn)此訪問(wèn)），英偉達(dá)稱(chēng)相關(guān)文檔文件將在稍晚時(shí)候于該公司的 GitHub 頁(yè)中公布。