《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計應(yīng)用 > 面向移動邊緣計算基于強化學(xué)習的計算卸載算法
面向移動邊緣計算基于強化學(xué)習的計算卸載算法
2021年電子技術(shù)應(yīng)用第2期
楊 戈1，2，張 衡1
1.北京師范大學(xué)珠海分校 智能多媒體技術(shù)重點實驗室，廣東 珠海519087； 2.北京大學(xué)深圳研究生院 深圳物聯(lián)網(wǎng)智能感知技術(shù)工程實驗室，廣東 深圳518055
摘要： 針對移動邊緣計算(Mobile Edge Computing，MEC)的計算卸載決策的問題，基于強化學(xué)習方法提出了一個在多用戶的MEC系統(tǒng)中的計算卸載決策算法(Offloading Decision algorithm based on Reinforcement Learning，ODRL)。ODRL算法根據(jù)任務(wù)模型、計算模型以及信道狀態(tài)對任務(wù)進行卸載決策，采用強化學(xué)習方法求解最優(yōu)計算卸載策略。仿真結(jié)果證明了所提出的ODRL算法與基線策略相比，具有更低的系統(tǒng)總成本。
中圖分類號： TN911.22
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200920
中文引用格式： 楊戈，張衡. 面向移動邊緣計算基于強化學(xué)習的計算卸載算法[J].電子技術(shù)應(yīng)用，2021，47(2)：36-40，48.
英文引用格式： Yang Ge，Zhang Heng. Offloading decision algorithm based on reinforcement learning for mobile edge computing[J]. Application of Electronic Technique，2021，47(2)：36-40，48.
Offloading decision algorithm based on reinforcement learning for mobile edge computing
Yang Ge1，2，Zhang Heng1
1.Key Laboratory of Intelligent Multimedia Technology，Beijing Normal University(Zhuhai Campus)，Zhuhai 519087，China； 2.Engineering Lab on Intelligent Perception for Internet of Things(ELIP)，Shenzhen Graduate School， Peking University，Shenzhen 518055，China
Abstract： For the problem of computing offloading decision in mobile edge computing, this paper proposes an offloading decision algorithm based on enhanced learning in multiuser MEC system. According to the task model, calculation model and channel state, ODRL algorithm makes the task unloading decision and uses reinforcement learning method to solve the optimal computing unloading strategy. Simulation results show that the ODRL algorithm proposed in this paper has lower total system cost compared with the baseline strategy.
Key words : mobile edge computing；computing offloading；reinforcement learning；Q-learning

0 引言

    隨著萬物互聯(lián)趨勢不斷加深，網(wǎng)絡(luò)邊緣的智能終端設(shè)備不斷增加[1-10]。移動邊緣計算是為提升移動設(shè)備服務(wù)質(zhì)量而提出的一種具有前景的新范式[11-20]。

    (1)以降低時延為優(yōu)化目標

    文獻[3]將卸載決策歸結(jié)為兩種時間尺度下的隨機優(yōu)化問題，并采用馬爾科夫決策過程來處理這個問題。通過分析每個任務(wù)的平均時延和設(shè)備的平均能耗，提出了一個能量約束的時延最小化問題，并設(shè)計了一個有效的一維搜索算法找到了最優(yōu)的任務(wù)卸載策略。

    文獻[4]提出了一種低復(fù)雜度的漸近最優(yōu)在線算法，該算法在每個時隙中通過封閉形式或二等分搜索獲得最優(yōu)解，共同決定卸載決策、移動執(zhí)行的CPU周期頻率和計算卸載的發(fā)射功率。

    文獻[5]提出了一種基于云的分層車輛邊緣計算(VEC)卸載框架，在該框架中引入了附近的備用計算服務(wù)器來彌補MEC服務(wù)器的不足計算資源?；诖丝蚣?，文獻采用斯塔克爾伯格博弈方法設(shè)計了一種最佳的多級卸載方案，該方案可以最大程度地利用車輛和計算服務(wù)器的效用。

    (2)以降低能耗為優(yōu)化目標

    文獻[6]將卸載決策公式化為凸優(yōu)化問題，用于在邊緣云計算能力無限和有限的兩種情況以及在計算等待時間的約束下最小化加權(quán)和移動能量消耗。文獻[7]對該方案做出了改進，相比前者降低了90%的能耗。

    (3)以權(quán)衡能耗和時延為目標

    文獻[8]分析了單用戶MEC系統(tǒng)的能耗延遲權(quán)衡問題，提出了一種基于Lyapunov優(yōu)化的云卸載計劃方案以及云執(zhí)行輸出的下載調(diào)度方案。在文獻[9]中擴展到了多用戶系統(tǒng)。

    文獻[10]研究了在多信道無線干擾環(huán)境下移動邊緣云計算的多用戶計算卸載問題。采用博弈論方法以分布式方式實現(xiàn)有效的計算卸載。




本文詳細內(nèi)容請下載:http://ihrv.cn/resource/share/2000003370




作者信息:

楊  戈1，2，張  衡1

(1.北京師范大學(xué)珠海分校 智能多媒體技術(shù)重點實驗室，廣東 珠海519087；

2.北京大學(xué)深圳研究生院 深圳物聯(lián)網(wǎng)智能感知技術(shù)工程實驗室，廣東 深圳518055)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。