自動化構(gòu)建移動端神經(jīng)網(wǎng)絡(luò)的技術(shù)研究[通信與網(wǎng)絡(luò)][通信網(wǎng)絡(luò)]

深度學(xué)習(xí)已在視覺、語音、自然語言等應(yīng)用領(lǐng)域取得巨大成功，然而隨著網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，神經(jīng)網(wǎng)絡(luò)參數(shù)量也迅速增長，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)和調(diào)節(jié)參數(shù)這一過程需要大量的專業(yè)知識與反復(fù)試驗(yàn)，成本極高。此外，由于功耗限制與存儲空間等因素，移動端設(shè)備上的神經(jīng)網(wǎng)絡(luò)模型規(guī)模受限。設(shè)計(jì)了一種高效的移動端神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法，具體包括：(1)設(shè)計(jì)了一種在預(yù)先給定神經(jīng)網(wǎng)絡(luò)架構(gòu)的情況下可以自動計(jì)算模型浮點(diǎn)數(shù)運(yùn)算次數(shù)的算法；(2)改進(jìn)現(xiàn)有的基于梯度的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法，設(shè)計(jì)了一種帶約束的架構(gòu)搜索算法；(3)在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過程中加入對浮點(diǎn)數(shù)運(yùn)算次數(shù)的約束，通過調(diào)節(jié)約束的強(qiáng)弱搜索到幾種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。訓(xùn)練搜索到的神經(jīng)網(wǎng)絡(luò)，測試其在圖像分類任務(wù)上的性能，并與工業(yè)界常用的模型相比較。實(shí)驗(yàn)結(jié)果表明，該方法搜索到的模型能達(dá)到目前工業(yè)界主流模型性能。

發(fā)表于：12/23/2020 9:06:00 AM