《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 融合多教師模型的知識(shí)蒸餾文本分類
融合多教師模型的知識(shí)蒸餾文本分類
電子技術(shù)應(yīng)用 11期
苑婧1，周楊1，胡校飛1，孫姝婭2，張呈龍1，劉龍輝1
（1.戰(zhàn)略支援部隊(duì)信息工程大學(xué)， 河南 鄭州 450001；2.華北水利水電大學(xué)， 河南 鄭州 450000）
摘要： 針對(duì)簡(jiǎn)單文本分類模型精度不高，預(yù)訓(xùn)練模型結(jié)構(gòu)復(fù)雜，在實(shí)際環(huán)境中難以直接使用的問(wèn)題，提出多教師知識(shí)蒸餾的文本分類方法。該模型使用“教師-學(xué)生網(wǎng)絡(luò)”的訓(xùn)練方法，教師模型為BERT-wwm-ext和XLNet預(yù)訓(xùn)練模型，將兩個(gè)模型輸出的概率矩陣通過(guò)權(quán)重系數(shù)融合為軟標(biāo)簽。學(xué)生模型為BiGRU-CNN網(wǎng)絡(luò)，使用均方差函數(shù)計(jì)算軟標(biāo)簽誤差，使用交叉熵?fù)p失函數(shù)計(jì)算硬標(biāo)簽誤差，通過(guò)硬標(biāo)簽和軟標(biāo)簽訓(xùn)練學(xué)生模型使損失函數(shù)值達(dá)到最小。實(shí)驗(yàn)結(jié)果表明，提出的方法精度較學(xué)生模型有較大的改進(jìn)，接近預(yù)訓(xùn)練模型，在保證分類精度的前提下減少了運(yùn)行時(shí)間，提高了效率。
中圖分類號(hào)：TP301
文獻(xiàn)標(biāo)志碼：A
DOI: 10.16157/j.issn.0258-7998.233869
引用格式： 苑婧，周楊，胡校飛，等. 融合多教師模型的知識(shí)蒸餾文本分類[J]. 電子技術(shù)應(yīng)用，2023，49(11)：42-48.
Integrated multi-teacher model for knowledge distillation text classification
Yuan Jing1，Zhou Yang1，Hu Xiaofei1，Sun Shuya2，Zhang Chenglong1，Liu Longhui1
(1.Strategic Support Force Information Engineering University， Zhengzhou 450001， China；2.North China University of Water Resources and Electric Power， Zhengzhou 450000， China)
Abstract： Aiming at the problems of low accuracy of simple text classification model, complex structure of pre-training model and difficult to be directly used in practical environment, this paper proposes a text classification method based on multi-teacher model knowledge distillation. This model uses the training method of "teacher-student network", and the teacher model is the BERT-wwm-ext and XLNet pre-training models. The probability matrix of the output of the two models is fused into soft labels by weight coefficient. The student model is BiGRU-CNN network. The mean square error function is used to calculate the soft label error, and the cross-entropy loss function is used to calculate the hard label error. The student model is trained by hard label and soft label to minimize the value of the loss function. The test results show that the accuracy of the proposed method have great improvement compared with the student model, and it is close to the pre-training model, which can save the running time and improve the efficiency on the premise of ensuring the classification accuracy.
Key words : text classification；knowledge distillation；BERT-wwm-ext；XLNet；BiGRU-CNN

【引言】

文本分類為輿情監(jiān)控、廣告推送、挖掘社交媒體用戶的時(shí)空行為、追蹤敏感信息發(fā)揮了重要作用，其主要任務(wù)是根據(jù)文本內(nèi)容或主題自動(dòng)識(shí)別其所屬類別。目前文本分類主要有機(jī)器學(xué)習(xí)[1]、深度學(xué)習(xí)[2]和預(yù)訓(xùn)練模型，其中預(yù)訓(xùn)練模型分類準(zhǔn)確率最高。

深度學(xué)習(xí)模型通過(guò)捕捉文本的上下文特征完成文本分類任務(wù)，包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[3]、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[4]、長(zhǎng)短期記憶網(wǎng)絡(luò)(Long and Short Term Memory，LSTM)[5]、門控循環(huán)單元(Gated Recurrent Unit GRU)[6]等。結(jié)合不同的模型可以有效提高模型的性能，例如Sandhya結(jié)合長(zhǎng)LSTM和RNN對(duì)文本文檔進(jìn)行特征提取[7]，陳可嘉[8]使用BiGRU-CNN模型結(jié)合自注意力機(jī)制進(jìn)行文本分類，均全面提取了文本的局部和整體特征，提高了模型的準(zhǔn)確性。

預(yù)訓(xùn)練文本分類模型模型使用大量無(wú)標(biāo)注語(yǔ)料，在多個(gè)自然語(yǔ)言處理任務(wù)中有著良好的效果[9]，包括Bert[10]、ELMo[11]、XLNet[12]等。翟劍峰使用Bert模型用于用戶畫像[13]，王浩暢使用ELMo模型用于機(jī)器翻譯[14]，李東金使用XLNet模型用于情感分析[15]。但是預(yù)訓(xùn)練模型參數(shù)量大、結(jié)構(gòu)復(fù)雜、運(yùn)行時(shí)間長(zhǎng)，在實(shí)際生產(chǎn)環(huán)境直接使用難度較大，因此需在保證準(zhǔn)確率的前提下對(duì)模型進(jìn)行壓縮。

合理的模型壓縮可以在保證準(zhǔn)確率的前提下有效降低模型參數(shù)量和內(nèi)存以提高實(shí)際應(yīng)用的時(shí)間效率[16]，常見的模型壓縮方法包括網(wǎng)絡(luò)剪枝[17]、參數(shù)量化、知識(shí)蒸餾[18]等。葉榕使用知識(shí)蒸餾的方法結(jié)合Bert和CNN模型用于新聞文本分類[19]，楊澤使用知識(shí)蒸餾的方法改進(jìn)網(wǎng)絡(luò)問(wèn)答系統(tǒng)[20]，都在不影響準(zhǔn)確率的前提下，大大縮短了運(yùn)行時(shí)間。

本文提出了一種多教師模型知識(shí)蒸餾的方法，在不顯著降低性能的前提下，減小模型了的復(fù)雜度。結(jié)合預(yù)訓(xùn)練模型XLNet和BERT-wwm-ext輸出的概率分布融合作為軟標(biāo)簽，在訓(xùn)練過(guò)程中指導(dǎo)學(xué)生模型BiGRU-CNN網(wǎng)絡(luò)，提高了模型的泛化能力。


文章詳細(xì)內(nèi)容下載請(qǐng)點(diǎn)擊：融合多教師模型的知識(shí)蒸餾文本分類AET-電子技術(shù)應(yīng)用-最豐富的電子設(shè)計(jì)資源平臺(tái) (chinaaet.com)


【作者信息】

苑婧1，周楊1，胡校飛1，孫姝婭2，張呈龍1，劉龍輝1

（1.戰(zhàn)略支援部隊(duì)信息工程大學(xué)， 河南 鄭州 450001；2.華北水利水電大學(xué)， 河南 鄭州 450000）




此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。