《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車(chē)協(xié)調(diào)充電算法
基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車(chē)協(xié)調(diào)充電算法
信息技術(shù)與網(wǎng)絡(luò)安全 4期
張子霖
(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，安徽 合肥230026)
摘要： 針對(duì)具有多個(gè)目標(biāo)的多輛電動(dòng)汽車(chē)協(xié)調(diào)充電問(wèn)題，包括降低用戶的充電成本并保證足夠的電池電量，同時(shí)避免變壓器過(guò)載，提出一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式算法。該算法首先將上述問(wèn)題建模為馬爾可夫決策過(guò)程，然后采用一種通信神經(jīng)網(wǎng)絡(luò)模型進(jìn)行信息交互，實(shí)現(xiàn)了全局信息在多個(gè)智能體上的分布式計(jì)算。最后，通過(guò)仿真驗(yàn)證了該算法在住宅充電區(qū)域的有效性和可擴(kuò)展性。
中圖分類(lèi)號(hào)： TP18
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2022.04.013
引用格式： 張子霖. 基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車(chē)協(xié)調(diào)充電算法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(4)：83-89.
A deep RL-based algorithm for coordinated charging of electric vehicles
Zhang Zilin
(Department of Automation，University of Science and Technology of China，Hefei 230026，China)
Abstract： A distributed algorithm based on multi-agent deep reinforcement learning(DRL) is proposed in this paper to solve the problem of coordinated charging of multiple electric vehicles(EVs) with multiple objectives, including reducing the charging cost, ensuring sufficient battery state of charge(SoC) for users, and avoiding the transformer overload. To this end, the above problem is formulated as a Markov Decision Process(MDP), and then a communication neural network(CommNet) model is adopted for information interaction to realize the distributed computation of global information on multiple EVs. Finally, simulations are presented to verify the effectiveness and scalability of the proposed algorithm in a residential charging area.
Key words : electric vehicle；multi-agent system；deep reinforcement learning；distributed charging scheduling

0 引言

電動(dòng)汽車(chē)作為一種新型的分布式移動(dòng)資源，已成為智能電網(wǎng)發(fā)展的重要組成部分[1]，越來(lái)越多的研究人員開(kāi)始關(guān)注電動(dòng)汽車(chē)在電網(wǎng)中的社會(huì)價(jià)值。但電動(dòng)汽車(chē)的日益普及也不可避免地給用戶和電網(wǎng)帶來(lái)了一系列的問(wèn)題和挑戰(zhàn)。例如，大量電動(dòng)汽車(chē)的不協(xié)調(diào)充電，將導(dǎo)致電網(wǎng)承受不可預(yù)測(cè)的負(fù)荷。因此，如何設(shè)計(jì)多輛電動(dòng)汽車(chē)在整個(gè)工作過(guò)程中的協(xié)調(diào)充電策略，以降低能源成本，保證用戶對(duì)電動(dòng)汽車(chē)荷電狀態(tài)的滿意度，并將對(duì)配電網(wǎng)的影響降到最低，是亟需解決的問(wèn)題。

近年來(lái)，為了解決電動(dòng)汽車(chē)的協(xié)調(diào)充電問(wèn)題，出現(xiàn)了許多分布式調(diào)度方法。例如，為了最大限度地提高電動(dòng)汽車(chē)用戶的便利性，開(kāi)發(fā)了一種分散的基于交替方向乘法器的優(yōu)化算法[2]。為使電動(dòng)汽車(chē)充電成本最小化，使用電動(dòng)汽車(chē)充電概率模型建立了一個(gè)嚴(yán)格凸分散系統(tǒng)形式的多人博弈[3]。但上述研究只關(guān)注了單一的目標(biāo)，這在實(shí)際應(yīng)用中往往是受限制的。針對(duì)多目標(biāo)的協(xié)調(diào)充電問(wèn)題，通過(guò)多智能體自私協(xié)同優(yōu)化的方案，除了實(shí)現(xiàn)用戶利益以外，也保證避免變壓器過(guò)載[4]，但它沒(méi)有充分考慮狀態(tài)空間泛化和值函數(shù)逼近的影響，導(dǎo)致擬合性能較差，計(jì)算開(kāi)銷(xiāo)也不理想。針對(duì)該問(wèn)題，文獻(xiàn)[5]考慮采用基于機(jī)器學(xué)習(xí)的方法，其以收斂速度快、計(jì)算效率高而被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)的高維問(wèn)題中。




本文詳細(xì)內(nèi)容請(qǐng)下載：http://ihrv.cn/resource/share/2000004104






作者信息：

張子霖

(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，安徽 合肥230026)




微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。