中文引用格式: 項浩斌,楊瑞敏,吳文濤,等. 基于動態(tài)自適應(yīng)計算引擎的MobileNetV3網(wǎng)絡(luò)加速器設(shè)計[J]. 電子技術(shù)應(yīng)用,2025,51(1):8-17.
英文引用格式: Xiang Haobin,Yang Ruimin,Wu Wentao,et al. Design of MobileNetV3 network accelerator based on dynamic adaptive computing engine[J]. Application of Electronic Technique,2025,51(1):8-17.
引言
近年來,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在圖像分類[1]、目標(biāo)檢測[2]、立體視覺[3]等方面得到應(yīng)用。為了追求更高的分類精度,CNN結(jié)構(gòu)變得越來越復(fù)雜,導(dǎo)致密集的計算和頻繁的內(nèi)存訪問,因此將CNN部署在功耗和資源有限的邊緣設(shè)備上面臨著巨大挑戰(zhàn)[4-5]。
最近研究表明,大規(guī)模CNN具有高度的誤差彈性,模型參數(shù)和操作具有相當(dāng)大的冗余[6-7]。因此,為了部署在資源受限的邊緣設(shè)備上,相關(guān)學(xué)者提出模型輕量化的技術(shù),如輕量化網(wǎng)絡(luò)設(shè)計、剪枝[8]和量化[9]等,在保持精度的前提下降低計算復(fù)雜度。其中,MobileNetV3是一種特征提取能力較強(qiáng)的輕量化網(wǎng)絡(luò),它用深度可分離卷積(Depthwise Separable Convolution,DSC)取代傳統(tǒng)的計算密集型標(biāo)準(zhǔn)卷積(Standard Convolution,SC),通過解耦通道維度和空間維度之間的相關(guān)性,顯著減少模型的參數(shù)量,但是針對高速實時任務(wù),仍需進(jìn)一步優(yōu)化。
為了應(yīng)對這一挑戰(zhàn),基于圖形處理單元(Graphics Processing Unit,GPU)、現(xiàn)場可編程門陣列(Field Programmable Gate Array,F(xiàn)PGA)和專用集成電路(Application Specific Integrated Circuit,ASIC)的專用神經(jīng)網(wǎng)絡(luò)加速器已經(jīng)成為研究熱點(diǎn)[10]。盡管ASIC加速器在性能方面具有優(yōu)勢,但設(shè)計和實現(xiàn)時間較長。FPGA在執(zhí)行相同計算負(fù)載時能耗較低,比傳統(tǒng)的中央處理器(Central Processing Unit,CPU)和GPU更具節(jié)能優(yōu)勢。因此,近年來FPGA在實現(xiàn)CNN硬件加速器[11-15]方面得到廣泛應(yīng)用。然而,MobileNetV3基于DSC的架構(gòu)在內(nèi)存帶寬方面的瓶頸限制了加速器的性能,導(dǎo)致基于DSC的加速器處理單元(Processing Element,PE)效率較低。為了實現(xiàn)DSC進(jìn)一步加速,Liu等人[16]設(shè)計了深度卷積(Depthwise Convolution,DWC)和點(diǎn)卷積(Pointwise Convolution,PWC)兩種模式的動態(tài)DSC加速器。但該研究中PE配置極其復(fù)雜,并需要對逐層數(shù)據(jù)流進(jìn)行大量的內(nèi)存訪問,導(dǎo)致加速效果有限。Light-OPU[17]開發(fā)了高效的軟硬件協(xié)同加速系統(tǒng),在輕量級和標(biāo)準(zhǔn)卷積運(yùn)算之間共享計算引擎,同時在DSC層計算時,保持較低資源利用率?,F(xiàn)有的大多數(shù)基于DSC的加速器都采用了平鋪策略來適應(yīng)芯片上存儲有限的許多特征映射。然而在推理過程中,這種策略產(chǎn)生大量的片外數(shù)據(jù)傳輸和數(shù)據(jù)處理,導(dǎo)致延遲和能耗的增加[18-19] 。
此外,為了有效實現(xiàn)基于DSC的CNN的算法,人們提出了許多特定的硬件加速器。Shao等人[20]和Xie等人[21]利用層間特征壓縮技術(shù)或模型網(wǎng)絡(luò)的稀疏性來減少片上存儲的消耗,而Hsieh 等人[22]和Mrazek等人[23]則通過減少片上存儲的消耗來減輕計算資源的壓力。然而這些加速器大多只關(guān)注可重構(gòu)性和靈活性有限的標(biāo)準(zhǔn)卷積層,這使得它們不能在不同的應(yīng)用程序和場景中使用新出現(xiàn)的卷積變體。目前基于DSC的加速器采用統(tǒng)一的引擎架構(gòu),實現(xiàn)層間和層內(nèi)并行的靈活控制[24-25],但是這些設(shè)計對硬件要求極高,不適用于大型網(wǎng)絡(luò)和資源受限的嵌入式平臺。
為了解決上述問題,本文提出一種基于動態(tài)自適應(yīng)計算引擎硬件加速器,旨在優(yōu)化和改進(jìn)基于DSC卷積神經(jīng)網(wǎng)絡(luò),從而實現(xiàn)對MobileNetV3網(wǎng)絡(luò)的加速。首先,設(shè)計了局部區(qū)域感知卷積的流水線硬件推理架構(gòu),通過對局部區(qū)域進(jìn)行感知,更加精確地定位和處理卷積操作,減少計算量和數(shù)據(jù)傳輸。其次,提出了高度可配置的動態(tài)自適應(yīng)計算引擎,可以根據(jù)模型結(jié)構(gòu)和計算需求進(jìn)行靈活的優(yōu)化和配置,以提高計算引擎的利用率和效率,避免了固定配置下的資源浪費(fèi)和性能瓶頸。最后,采用全局自適應(yīng)的點(diǎn)卷積方法,減少內(nèi)存訪問次數(shù),提高計算效率,減少數(shù)據(jù)傳輸和處理的開銷。
本文詳細(xì)內(nèi)容請下載:
http://ihrv.cn/resource/share/2000006275
作者信息:
項浩斌1,楊瑞敏1,吳文濤1,李春雷1,董燕1,2
(1.中原工學(xué)院 信息與通信工程學(xué)院,河南 鄭州 450007;
2.電子科技大學(xué) 自動化工程學(xué)院,四川 成都 610000)