中文引用格式： 項浩斌，楊瑞敏，吳文濤，等. 基于動態(tài)自適應(yīng)計算引擎的MobileNetV3網(wǎng)絡(luò)加速器設(shè)計[J]. 電子技術(shù)應(yīng)用，2025，51(1)：8-17.
英文引用格式： Xiang Haobin，Yang Ruimin，Wu Wentao，et al. Design of MobileNetV3 network accelerator based on dynamic adaptive computing engine[J]. Application of Electronic Technique，2025，51(1)：8-17.
引言
近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像分類[1]、目標檢測[2]、立體視覺[3]等方面得到應(yīng)用。為了追求更高的分類精度，CNN結(jié)構(gòu)變得越來越復雜，導致密集的計算和頻繁的內(nèi)存訪問，因此將CNN部署在功耗和資源有限的邊緣設(shè)備上面臨著巨大挑戰(zhàn)[4-5]。
最近研究表明，大規(guī)模CNN具有高度的誤差彈性，模型參數(shù)和操作具有相當大的冗余[6-7]。因此，為了部署在資源受限的邊緣設(shè)備上，相關(guān)學者提出模型輕量化的技術(shù)，如輕量化網(wǎng)絡(luò)設(shè)計、剪枝[8]和量化[9]等，在保持精度的前提下降低計算復雜度。其中，MobileNetV3是一種特征提取能力較強的輕量化網(wǎng)絡(luò)，它用深度可分離卷積（Depthwise Separable Convolution，DSC）取代傳統(tǒng)的計算密集型標準卷積（Standard Convolution，SC），通過解耦通道維度和空間維度之間的相關(guān)性，顯著減少模型的參數(shù)量，但是針對高速實時任務(wù)，仍需進一步優(yōu)化。
為了應(yīng)對這一挑戰(zhàn),基于圖形處理單元（Graphics Processing Unit，GPU）、現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）和專用集成電路（Application Specific Integrated Circuit，ASIC）的專用神經(jīng)網(wǎng)絡(luò)加速器已經(jīng)成為研究熱點[10]。盡管ASIC加速器在性能方面具有優(yōu)勢，但設(shè)計和實現(xiàn)時間較長。FPGA在執(zhí)行相同計算負載時能耗較低，比傳統(tǒng)的中央處理器（Central Processing Unit，CPU）和GPU更具節(jié)能優(yōu)勢。因此，近年來FPGA在實現(xiàn)CNN硬件加速器[11-15]方面得到廣泛應(yīng)用。然而，MobileNetV3基于DSC的架構(gòu)在內(nèi)存帶寬方面的瓶頸限制了加速器的性能，導致基于DSC的加速器處理單元（Processing Element，PE）效率較低。為了實現(xiàn)DSC進一步加速，Liu等人[16]設(shè)計了深度卷積（Depthwise Convolution，DWC）和點卷積（Pointwise Convolution，PWC）兩種模式的動態(tài)DSC加速器。但該研究中PE配置極其復雜，并需要對逐層數(shù)據(jù)流進行大量的內(nèi)存訪問，導致加速效果有限。Light-OPU[17]開發(fā)了高效的軟硬件協(xié)同加速系統(tǒng)，在輕量級和標準卷積運算之間共享計算引擎，同時在DSC層計算時，保持較低資源利用率?，F(xiàn)有的大多數(shù)基于DSC的加速器都采用了平鋪策略來適應(yīng)芯片上存儲有限的許多特征映射。然而在推理過程中，這種策略產(chǎn)生大量的片外數(shù)據(jù)傳輸和數(shù)據(jù)處理，導致延遲和能耗的增加[18-19] 。
此外，為了有效實現(xiàn)基于DSC的CNN的算法，人們提出了許多特定的硬件加速器。Shao等人[20]和Xie等人[21]利用層間特征壓縮技術(shù)或模型網(wǎng)絡(luò)的稀疏性來減少片上存儲的消耗，而Hsieh 等人[22]和Mrazek等人[23]則通過減少片上存儲的消耗來減輕計算資源的壓力。然而這些加速器大多只關(guān)注可重構(gòu)性和靈活性有限的標準卷積層，這使得它們不能在不同的應(yīng)用程序和場景中使用新出現(xiàn)的卷積變體。目前基于DSC的加速器采用統(tǒng)一的引擎架構(gòu)，實現(xiàn)層間和層內(nèi)并行的靈活控制[24-25]，但是這些設(shè)計對硬件要求極高，不適用于大型網(wǎng)絡(luò)和資源受限的嵌入式平臺。
為了解決上述問題，本文提出一種基于動態(tài)自適應(yīng)計算引擎硬件加速器，旨在優(yōu)化和改進基于DSC卷積神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)對MobileNetV3網(wǎng)絡(luò)的加速。首先，設(shè)計了局部區(qū)域感知卷積的流水線硬件推理架構(gòu)，通過對局部區(qū)域進行感知，更加精確地定位和處理卷積操作，減少計算量和數(shù)據(jù)傳輸。其次，提出了高度可配置的動態(tài)自適應(yīng)計算引擎，可以根據(jù)模型結(jié)構(gòu)和計算需求進行靈活的優(yōu)化和配置，以提高計算引擎的利用率和效率，避免了固定配置下的資源浪費和性能瓶頸。最后，采用全局自適應(yīng)的點卷積方法，減少內(nèi)存訪問次數(shù)，提高計算效率，減少數(shù)據(jù)傳輸和處理的開銷。
本文詳細內(nèi)容請下載：
http://ihrv.cn/resource/share/2000006275
作者信息：
項浩斌1，楊瑞敏1，吳文濤1，李春雷1，董燕1，2
（1.中原工學院 信息與通信工程學院，河南 鄭州 450007；
2.電子科技大學 自動化工程學院，四川 成都 610000）
