《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 基于權(quán)值交互思想的卷積神經(jīng)網(wǎng)絡(luò)量化算法
基于權(quán)值交互思想的卷積神經(jīng)網(wǎng)絡(luò)量化算法
2020年電子技術(shù)應(yīng)用第10期
肖國麟，楊春玲，陳 宇
哈爾濱工業(yè)大學(xué) 電氣工程及自動(dòng)化學(xué)院，黑龍江 哈爾濱150001
摘要： 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)量化算法廣泛使用對(duì)稱均勻量化操作對(duì)模型權(quán)值進(jìn)行量化，沒有考慮到相鄰權(quán)值量化之間的相互關(guān)系，即上一個(gè)權(quán)值的量化操作產(chǎn)生的量化噪聲可以通過調(diào)整之后權(quán)值的量化方向加以彌補(bǔ)。針對(duì)上述問題，提出了一種基于權(quán)值交互思想的三值卷積神經(jīng)網(wǎng)絡(luò)量化算法，達(dá)到了16倍的模型壓縮比，以ImageNet作為數(shù)據(jù)集，量化后的AlexNet和ResNet-18網(wǎng)絡(luò)上模型預(yù)測(cè)準(zhǔn)確率只下降了不到3%。該方法達(dá)到了較高的模型壓縮比，具有較高的精度，可以用于將卷積神經(jīng)網(wǎng)絡(luò)移植到計(jì)算資源有限的移動(dòng)端平臺(tái)上。
中圖分類號(hào)： TN911.73；TP391
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200263
中文引用格式： 肖國麟，楊春玲，陳宇. 基于權(quán)值交互思想的卷積神經(jīng)網(wǎng)絡(luò)量化算法[J].電子技術(shù)應(yīng)用，2020，46(10)：39-41.
英文引用格式： Xiao Guolin，Yang Chunling，Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique，2020，46(10)：39-41.
Convolutional neural network quantization algorithm based on weight interaction ideas
Xiao Guolin，Yang Chunling，Chen Yu
School of Electrical Engineering and Automation，Harbin Institute of Technology，Harbin 150001，China
Abstract： Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.
Key words : ternary quantization；convolutional neural network；weight interaction；model compression

0 引言

    隨著深度學(xué)習(xí)的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被越來越多地應(yīng)用于各個(gè)領(lǐng)域，如圖像識(shí)別[1-2]和目標(biāo)檢測(cè)[3-4]。然而，隨著應(yīng)用要求的提高，CNN的結(jié)構(gòu)越來越深，導(dǎo)致其對(duì)于計(jì)算力和內(nèi)存的需求大大提高。同時(shí)由于移動(dòng)端設(shè)備的飛速發(fā)展，設(shè)備小型化的需求和市場(chǎng)不斷擴(kuò)大，將CNN應(yīng)用到小型移動(dòng)端設(shè)備的需求也隨之增加。然而，受限于電源、內(nèi)存及功耗，移動(dòng)端平臺(tái)無法滿足高性能CNN對(duì)于硬件性能、功耗及內(nèi)存的要求，因此優(yōu)化CNN模型從而降低其對(duì)于計(jì)算資源的要求非常必要[5]。

    CNN權(quán)值量化是目前一種主流的CNN模型優(yōu)化方法，而三值量化其中一種能夠?qū)?quán)值由32位量化到2位（0，±α）從而達(dá)到16倍壓縮比的低位量化方法。自從2016年三值化網(wǎng)絡(luò)被LI F等人提出以來[6]，其方法不斷改進(jìn)，性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細(xì)粒度三值化網(wǎng)絡(luò)[7]，將激活函數(shù)量化到8或4位，將權(quán)重量化至2位，將每N個(gè)權(quán)值分為一個(gè)組，分組量化，兩組之間相互獨(dú)立，其中N=2，4，8，16，…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓(xùn)練的方式得到最優(yōu)解，但相比原精度的32位卷積網(wǎng)絡(luò)仍有較大性能差距。目前的三值量化網(wǎng)絡(luò)性能不佳的其中一個(gè)問題在于都使用對(duì)稱均勻量化操作，只考慮了單個(gè)權(quán)值的量化，忽視了相鄰權(quán)值量化之間的相互關(guān)系，量化噪音直接相互累加，導(dǎo)致每一層網(wǎng)絡(luò)的噪聲積累過高，使得量化模型的預(yù)測(cè)準(zhǔn)確率有極大的下降。

    針對(duì)此問題，本文提出一種新的CNN模型三值量化算法，基于權(quán)值交互思想，在同一卷積核內(nèi)，將先前量化產(chǎn)生的積累噪聲作為一個(gè)負(fù)變量加入到下一個(gè)權(quán)值的量化操作中，使得對(duì)下一個(gè)權(quán)值朝著能減小積累噪聲的方向進(jìn)行量化。然后，通過層級(jí)貪婪搜索算法逐層搜索局部最優(yōu)解，得到效果近似最優(yōu)解的優(yōu)化解，降低搜索算法復(fù)雜度，極大減少搜索所需時(shí)間。實(shí)驗(yàn)證明，相比于其他使用對(duì)稱均勻量化操作的算法，本文的算法極大地減小了由于量化操作導(dǎo)致的模型預(yù)測(cè)準(zhǔn)確率的損失。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://ihrv.cn/resource/share/2000003017




作者信息:

肖國麟，楊春玲，陳  宇

(哈爾濱工業(yè)大學(xué) 電氣工程及自動(dòng)化學(xué)院，黑龍江 哈爾濱150001)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。