融合多教師模型的知識(shí)蒸餾文本分類
所屬分類：技術(shù)論文
上傳者：
文檔大?。?span>3704 K
標(biāo)簽： 文本分類 知識(shí)蒸餾 BERT-wwm-ext
所需積分：0分積分不夠怎么辦？
文檔介紹：針對(duì)簡單文本分類模型精度不高，預(yù)訓(xùn)練模型結(jié)構(gòu)復(fù)雜，在實(shí)際環(huán)境中難以直接使用的問題，提出多教師知識(shí)蒸餾的文本分類方法。該模型使用“教師-學(xué)生網(wǎng)絡(luò)”的訓(xùn)練方法，教師模型為BERT-wwm-ext和XLNet預(yù)訓(xùn)練模型，將兩個(gè)模型輸出的概率矩陣通過權(quán)重系數(shù)融合為軟標(biāo)簽。學(xué)生模型為BiGRU-CNN網(wǎng)絡(luò)，使用均方差函數(shù)計(jì)算軟標(biāo)簽誤差，使用交叉熵?fù)p失函數(shù)計(jì)算硬標(biāo)簽誤差，通過硬標(biāo)簽和軟標(biāo)簽訓(xùn)練學(xué)生模型使損失函數(shù)值達(dá)到最小。實(shí)驗(yàn)結(jié)果表明，提出的方法精度較學(xué)生模型有較大的改進(jìn)，接近預(yù)訓(xùn)練模型，在保證分類精度的前提下減少了運(yùn)行時(shí)間，提高了效率。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。