一種多教師模型知識(shí)蒸餾深度神經(jīng)網(wǎng)絡(luò)模型壓縮算法
所屬分類：技術(shù)論文
上傳者：zhoubin333
文檔大小：1151 K
標(biāo)簽： 模型壓縮 知識(shí)蒸餾 多教師模型
所需積分：0分積分不夠怎么辦？
文檔介紹：為了能將龐大的深度學(xué)習(xí)模型壓縮后部署到算力和存儲(chǔ)能力有限的設(shè)備中時(shí)盡可能減小精度損失，對(duì)知識(shí)蒸餾模型壓縮方法進(jìn)行研究，提出了一種改進(jìn)后帶篩選的多教師模型知識(shí)蒸餾壓縮算法。利用多教師模型的集成優(yōu)勢(shì)，以各教師模型的預(yù)測(cè)交叉熵為篩選的量化標(biāo)準(zhǔn)篩選出表現(xiàn)更好的教師模型對(duì)學(xué)生進(jìn)行指導(dǎo)，并讓學(xué)生模型從教師模型的特征層開(kāi)始提取信息，同時(shí)讓表現(xiàn)更好的教師模型在指導(dǎo)中更具有話語(yǔ)權(quán)。在CIFAR100數(shù)據(jù)集上的VGG13等分類模型實(shí)驗(yàn)結(jié)果表明，與其他壓縮算法相比在最終得到的學(xué)生模型大小相同的情況下，精度上有著更好的表現(xiàn)。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。