《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 人工智能 > 設(shè)計應(yīng)用 > 一種多教師模型知識蒸餾深度神經(jīng)網(wǎng)絡(luò)模型壓縮算法
一種多教師模型知識蒸餾深度神經(jīng)網(wǎng)絡(luò)模型壓縮算法
2023年電子技術(shù)應(yīng)用第8期
顧明珠1，2，明瑞成2，邱創(chuàng)一1，2，王新文1，2
（1.福州大學(xué) 先進制造學(xué)院，福建 泉州 362000；2.中國科學(xué)院海西研究院泉州裝備制造研究中心，福建 泉州 362000）
摘要： 為了能將龐大的深度學(xué)習(xí)模型壓縮后部署到算力和存儲能力有限的設(shè)備中時盡可能減小精度損失，對知識蒸餾模型壓縮方法進行研究，提出了一種改進后帶篩選的多教師模型知識蒸餾壓縮算法。利用多教師模型的集成優(yōu)勢，以各教師模型的預(yù)測交叉熵為篩選的量化標(biāo)準(zhǔn)篩選出表現(xiàn)更好的教師模型對學(xué)生進行指導(dǎo)，并讓學(xué)生模型從教師模型的特征層開始提取信息，同時讓表現(xiàn)更好的教師模型在指導(dǎo)中更具有話語權(quán)。在CIFAR100數(shù)據(jù)集上的VGG13等分類模型實驗結(jié)果表明，與其他壓縮算法相比在最終得到的學(xué)生模型大小相同的情況下，精度上有著更好的表現(xiàn)。
中圖分類號：TP399 文獻標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.233812
中文引用格式： 顧明珠，明瑞成，邱創(chuàng)一，等. 一種多教師模型知識蒸餾深度神經(jīng)網(wǎng)絡(luò)模型壓縮算法[J]. 電子技術(shù)應(yīng)用，2023，49(8)：7-12.
英文引用格式： Gu Mingzhu，Ming Ruicheng，Qiu Chuangyi，et al. A multi-teacher knowledge distillation model compression algorithm for deep neural network[J]. Application of Electronic Technique，2023，49(8)：7-12.
A multi-teacher knowledge distillation model compression algorithm for deep neural network
Gu Mingzhu1，2，Ming Ruicheng2，Qiu Chuangyi1，2，Wang Xinwen1，2
(1.School of Advanced Manufacturing， Fuzhou University， Quanzhou 362000， China； 2.Quanzhou Institute of Equipment Manufacturing，Haixi Institutes Chinese Academy of Sciences，Quanzhou 362000， China)
Abstract： In order to minimize the accuracy loss when compressing huge deep learning models and deploying them to devices with limited computing power and storage capacity, a knowledge distillation model compression method is investigated and an improved multi-teacher model knowledge distillation compression algorithm with filtering is proposed. Taking advantage of the integration of multi-teacher models, the better-performing teacher models are screened for student instruction using the predicted cross-entropy of each teacher model as the quantitative criterion for screening, and the student models are allowed to extract information starting from the feature layer of the teacher models, while the better-performing teacher models are allowed to have more say in the instruction. The experimental results of classification models such as VGG13 on the CIFAR100 dataset show that the multi-teacher model compression method in this paper has better performance in terms of accuracy compared with other compression algorithms with the same size of the final obtained student models.
Key words : model compression；distillation of knowledge；multi-teacher model；cross entropy；feature layer

0　引言

隨著人工智能技術(shù)發(fā)展，要將越來越龐大的的模型部署到實際的工業(yè)社會中時,相應(yīng)硬件的算力要求和存儲要求成為了最大障礙。因此，為加快人工智能技術(shù)在社會生活和工業(yè)的廣泛使用，越來越多的學(xué)者們對深度學(xué)習(xí)模型進行輕量化壓縮進行研究[1]，而知識蒸餾方法已然成為比較主流的模型輕量化方法[2]。

知識蒸餾是指利用已經(jīng)訓(xùn)練好的大型深度學(xué)習(xí)模型輔助訓(xùn)練出一個小型模型，其中大型模型稱為教師模型，起到監(jiān)督和輔助小型模型訓(xùn)練的作用。小型模型稱為學(xué)生模型，接受來自教師模型的知識，并最終用于實際部署。2015年Hinton[3]首次提出了知識蒸餾這一概念以來，研究者們開始對壓縮后如何保證學(xué)生模型精度這一問題進行研究。知識蒸餾從教師模型規(guī)模分為單教師模型的蒸餾和多教師模型知識蒸餾兩類。單教師模型即只使用一個教師模型對學(xué)生模型進行蒸餾，如Romero[4]將學(xué)生模型的網(wǎng)絡(luò)設(shè)計成較細(xì)且層數(shù)較深的形狀，并且將學(xué)生模型和教師模型的特征層連接，讓學(xué)生模型從教師模型的特征層提層知識。Chen[5]等在蒸餾中加入GAN結(jié)構(gòu)，模擬原始數(shù)據(jù)集擴大數(shù)據(jù)量提供給新的模型進行知識蒸餾。Liu[6]等人將NAS引入知識蒸餾，根據(jù)教師模型結(jié)構(gòu)從NAS中選擇最契合的學(xué)生網(wǎng)絡(luò)與之匹配以達(dá)到最佳蒸餾效果，但NAS需要巨大內(nèi)存使該方法難以大面積推廣。Dai[7]等提出利用教師模型和學(xué)生模型預(yù)測實例的差異，提出實例差異的評估指標(biāo)，并利用可區(qū)分的實例進行蒸餾。知識蒸餾中學(xué)生網(wǎng)絡(luò)的知識大部分來源于教師模型，因此由單個教師模型知識蒸餾得到的學(xué)生模型精度上限受限于對應(yīng)的教師模型，難以有很大提升。



本文詳細(xì)內(nèi)容請下載：http://ihrv.cn/resource/share/2000005484




作者信息：

顧明珠1，2，明瑞成2，邱創(chuàng)一1，2，王新文1，2

（1.福州大學(xué) 先進制造學(xué)院，福建 泉州 362000；2.中國科學(xué)院海西研究院泉州裝備制造研究中心，福建 泉州 362000）

微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。