《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > GSDCPeleeNet：基于PeleeNet的高效輕量化卷積神經(jīng)網(wǎng)絡(luò)
GSDCPeleeNet：基于PeleeNet的高效輕量化卷積神經(jīng)網(wǎng)絡(luò)
2021年電子技術(shù)應(yīng)用第3期
倪偉健，秦會(huì)斌
杭州電子科技大學(xué) 電子信息學(xué)院 新型電子器件與應(yīng)用研究所，浙江 杭州310018
摘要： 卷積神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域都發(fā)揮著重要的作用，尤其是在計(jì)算機(jī)視覺領(lǐng)域，但過多的參數(shù)數(shù)量和計(jì)算量限制了它在移動(dòng)設(shè)備上的應(yīng)用。針對(duì)上述問題，結(jié)合分組卷積方法和參數(shù)共享、密集連接的思想，提出了一種新的卷積算法Group-Shard-Dense-Channle-Wise。利用該卷積算法，在PeleeNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，改進(jìn)出一種高效的輕量化卷積神經(jīng)網(wǎng)絡(luò)——GSDCPeleeNet。與其他卷積神經(jīng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)在具有更少參數(shù)的情況下，幾乎不損失識(shí)別精度甚至識(shí)別精度更高。該網(wǎng)絡(luò)選取1×1卷積層中卷積核信道方向上的步長(zhǎng)s作為超參數(shù)，調(diào)整并適當(dāng)?shù)剡x取該超參數(shù)，可以在網(wǎng)絡(luò)參數(shù)量更小的情況下，擁有更好的圖像分類效果。
中圖分類號(hào)： TN911.73；TP399
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200844
中文引用格式： 倪偉健，秦會(huì)斌. GSDCPeleeNet：基于PeleeNet的高效輕量化卷積神經(jīng)網(wǎng)絡(luò)[J].電子技術(shù)應(yīng)用，2021，47(3)：22-26，30.
英文引用格式： Ni Weijian，Qin Huibin. GSDCPeleeNet：efficient lightweight convolutional neural based on PeleeNet[J]. Application of Electronic Technique，2021，47(3)：22-26，30.
GSDCPeleeNet：efficient lightweight convolutional neural based on PeleeNet
Ni Weijian，Qin Huibin
Institute of New Electronic Devices and Applications，School of Electronic Information，Hangzhou Dianzi University， Hangzhou 310018，China
Abstract： Convolutional neural network plays an important role in various fields, especially in the field of computer vision, but its application in mobile devices is limited by the excessive number of parameters and computation. In view of the above problems, a new convolution algorithm, Group-Shard-Dense-Channle-Wise, is proposed in combination with the idea of grouping convolution and parameter sharing and dense connection. Based on the PeleeNet network structure, an efficient lightweight convolutional neural network, GSDCPeleeNet, is improved by using the convolution algorithm. Compared with other convolutional neural networks, this network has almost no loss of recognition accuracy or even higher recognition accuracy under the condition of fewer parameters. In this network, the step size s in the channel direction of convolution kernel in the 1×1 convolutional layer is selected as the super parameter. When the number of network parameters is smaller, better image classification effect can be achieved by adjusting and selecting the super parameter appropriately.
Key words : image classification；convolutional neural network；lightweight；dense connectivity；parameter sharing

0 引言

    隨著深度學(xué)習(xí)理論的提出和硬件設(shè)備計(jì)算速度的不斷突破，卷積神經(jīng)網(wǎng)絡(luò)在近年來得以迅速發(fā)展。2012年，AlexNet[1]在ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽中獲得了圖像分類冠軍。之后，為了提高網(wǎng)絡(luò)模型的準(zhǔn)確率，研究人員不斷地加深卷積網(wǎng)絡(luò)的深度，相繼提出了性能更加優(yōu)越的卷積神經(jīng)網(wǎng)絡(luò)，如VGG16[2]、GoogLeNet[3]和DenseNet[4]等。

    這些網(wǎng)絡(luò)準(zhǔn)確率普遍較高，但是有著非常復(fù)雜的模型和很深的層次，參數(shù)量十分巨大。在實(shí)際生活的應(yīng)用中，模型往往需要在資源有限的嵌入式設(shè)備和移動(dòng)設(shè)備上運(yùn)行。因此，研究人員開始著手研究，并且相繼提出了更高效的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)。它們保持了網(wǎng)絡(luò)的性能，大大減少了模型的參數(shù)量，從而減少計(jì)算量，提升了模型速度。

    曠視科技的ShuffleNet在ResNet[5]單元上進(jìn)行了改進(jìn)，有兩個(gè)創(chuàng)新的地方：逐點(diǎn)分組卷積和通道混洗[6]。WANG R J等提出的PeleeNet是一種輕量級(jí)網(wǎng)絡(luò)，它在DenseNet基礎(chǔ)上進(jìn)行了改進(jìn)和創(chuàng)新，主要有五個(gè)方面的結(jié)構(gòu)改進(jìn)[7]。ZHANG J N等提出了一種卷積核及其壓縮算法，通過這種卷積方法，ZHANG J N等發(fā)明了輕量卷積神經(jīng)網(wǎng)絡(luò)SDChannelNets[8]。

    可以看出，上述輕量卷積神經(jīng)網(wǎng)絡(luò)均存在一定不足。在使用分組卷積時(shí)，為了解決分組卷積導(dǎo)致的信息丟失問題，需要增加額外的操作。在運(yùn)用1×1卷積時(shí)，會(huì)導(dǎo)致1×1卷積的參數(shù)量在網(wǎng)絡(luò)總參數(shù)量中占據(jù)大部分。通過分析，這些網(wǎng)絡(luò)需要通過調(diào)整相應(yīng)的超參數(shù)來提高網(wǎng)絡(luò)識(shí)別精度。這些操作往往會(huì)大大增加網(wǎng)絡(luò)模型參數(shù)量。

    為了解決這個(gè)不足，本文結(jié)合參數(shù)共享、密集連接的卷積方法和分組卷積，基于PeleeNet網(wǎng)絡(luò)，提出了輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)GSDCPeleeNet。適當(dāng)調(diào)節(jié)超參數(shù)，在損失較小準(zhǔn)確度甚至擁有更高準(zhǔn)確度的情況下，減小了模型的參數(shù)量。  




本文詳細(xì)內(nèi)容請(qǐng)下載:http://ihrv.cn/resource/share/2000003403




作者信息:

倪偉健，秦會(huì)斌

(杭州電子科技大學(xué) 電子信息學(xué)院 新型電子器件與應(yīng)用研究所，浙江 杭州310018)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。