0  引言

    隨著深度神經(jīng)網(wǎng)絡的推廣，以深度學習技術為代表的人工智能技術在各行各業(yè)得到了前所未有的發(fā)展，近期國家發(fā)改委發(fā)布了新一代人工智能發(fā)展規(guī)劃，國家電網(wǎng)公司更發(fā)布了關于新一代人工智能技術在電力行業(yè)的發(fā)展應用。為推動電網(wǎng)的生產(chǎn)方式變革，提升大電網(wǎng)生產(chǎn)運行水平，促進國家電網(wǎng)公司瘦身健體、提質(zhì)增效，提升業(yè)務創(chuàng)新能力，需要開展以深度學習為代表的電力人工智能基礎共性技術、模型優(yōu)化訓練方案以及現(xiàn)有研究成果對電網(wǎng)巡檢、用電客服以及安全監(jiān)控等重要領域服務技術的研究，全方位推動以深度學習為代表的新一代人工智能技術在電網(wǎng)的應用普及。

    冀北電力公司信息通信專業(yè)作為承擔冬奧賽區(qū)電力供應的重要支撐部分，全力推動建設全業(yè)務泛在電力物聯(lián)網(wǎng)“一網(wǎng)”，打造全景全息智慧智慧平臺“一平臺”，以張家口“零碳冬奧”為契機，大力推進以全業(yè)務數(shù)據(jù)中心為基礎，以深度學習技術為代表的人工智能技術的“二次水平化”，支撐全景全息智慧。同時基于國網(wǎng)云打造數(shù)據(jù)平臺，深化深度學習、機器學習技術，多數(shù)據(jù)源綜合分析，支撐全業(yè)務云上運行。

1  深度學習的概念

1.1  深度學習的背景

    從被認定為全球人工智能研究起點的1956年達特茅斯學術會議到2017年期間，國外以Facebook、Google、Microsoft、斯坦福等公司和學校為代表進行了深度學習在圖像、語音以及文本等方面的應用，以CNN和RNN為兩大方向的深度神經(jīng)網(wǎng)絡在圖像識別、語音識別、機器翻譯等方向取得了很大的成功。國內(nèi)百度、科大訊飛、Face++、南京大學等企業(yè)和公司分別在無人駕駛、語音識別、深度神經(jīng)網(wǎng)絡壓縮以及級聯(lián)學習等方面取得了顯著成績，比如ShuffleNet很大程度上推動了深度神經(jīng)網(wǎng)絡在移動端的應用；周志華教授提出的gcForest模型以傳統(tǒng)決策樹為基礎，結(jié)合級聯(lián)學習將傳統(tǒng)模型擬合能力提上了新的高度。在過去的十余年中計算機視覺以及自然語言處理領域都得到了很大的成功，甚至在某些應用上已經(jīng)超過人類，比如人臉識別、圍棋等。

1.2  深度學習的原理分析

    通過對人腦皮層處理信息的方式進行抽象、歸納和仿真，提出了神經(jīng)網(wǎng)絡（Neural Network）的概念。沒有經(jīng)過處理的信息(聲音、圖像以及文本信息)被輸入到輸出層的“輸入單元”，輸出層的“輸出節(jié)點”到輸入的信息被映射。映射算法是基于用戶自定義的，例如，輸入圖像中有CAT，輸入音頻材料中有“hello”。深度學習是通過多層級神經(jīng)網(wǎng)絡提取并且表示信息數(shù)據(jù)，實現(xiàn)監(jiān)控、分類等復雜任務的算法體系。深度學習算法中深度神經(jīng)網(wǎng)絡作為核心部分，在輸入層和輸出層之間包含了多個隱藏層，使得深度學習算法可以完成許多復雜的數(shù)據(jù)分類工作。

1.3  深度學習的實現(xiàn)過程

    深度學習算法需要通過大量的數(shù)據(jù)進行訓練，這一點類似機器學習算法，例如，比如想非常準確地識別素材中的“CAT”，那么需要使用成千上萬的圖片來訓練并識別它。訓練采用的數(shù)據(jù)越多，算法模型的精度就越高。包括國內(nèi)BAT等很多大公司不惜一切代價爭奪第一手用戶數(shù)據(jù)，甚至爭先提供免費的服務以換取用戶使用數(shù)據(jù)。可以說測試數(shù)據(jù)越多，可以采用的深度學習算法算法就越多，那么為用戶提供的服務就越高效，也就能越來越吸引用戶使用它的服務，這就形成了慢慢良性的競爭循環(huán)，使得在人工智能的賽道上取得領先地位。

2  深度學習的主要網(wǎng)絡模型

2.1  自動編碼器

    自動編碼器（Auto Encoder）最開始作為一種數(shù)據(jù)的壓縮方法，其特點有:（1）跟數(shù)據(jù)相關程度很高，這意味著自動編碼器只能壓縮與訓練數(shù)據(jù)相似的數(shù)據(jù)，這個其實比較顯然，因為使用神經(jīng)網(wǎng)絡提取的特征一般是高度相關于原始的訓練集，使用人臉訓練出來的自動編碼器在壓縮自然界動物的圖片時表現(xiàn)就會比較差，因為它只學習到了人臉的特征，而沒有能夠?qū)W習到自然界圖片的特征；（2）壓縮后數(shù)據(jù)是有損的，這是因為在降維的過程中不可避免地要丟失掉信息。

    自動編碼器可以學習輸入原始數(shù)據(jù)的隱式特征，即編碼（Coding），學習到新的特征可以用來重新形成原始輸入數(shù)據(jù)，即解碼（Decoding），如圖1所示。從非常直觀的角度來看，自動編碼器（AutoEncoder）可以實現(xiàn)特征的縮減，有點類似于主成分分析（PCA），但卻遠強于PCA的性能。這是因為神經(jīng)網(wǎng)絡（Neural Network）可以自動提取非常有效的新能力。自動編碼器（AutoEncoder）作為一種無監(jiān)督的深度學習模型，也可以用來產(chǎn)生不同的訓練樣本的新數(shù)據(jù)，因此自動編碼器是一種生成算法模型。

2.2  卷積神經(jīng)網(wǎng)絡

    卷積神經(jīng)網(wǎng)絡是近年發(fā)展起來，并引起廣泛重視的一種高效識別方法。20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)其獨特的網(wǎng)絡結(jié)構可以有效地降低反饋神經(jīng)網(wǎng)絡的復雜性，繼而提出了卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks-簡稱CNN）。CNN中主要有兩種類型的網(wǎng)絡層，分別是卷積層和池化/采用層（Pooling）。卷積層的作用是提取圖像的各種特征；池化層的作用是對原始特征信號進行抽象，從而大大減少訓練參數(shù)，另外還可以減輕模型過擬合的程度。CNN之所以流行，這將歸功于算法的特殊網(wǎng)絡設計，CNN是由卷基層及次采樣層交叉堆疊而成的。當前向計算開始時，輸入數(shù)據(jù)經(jīng)常利用多個卷積核開展卷積方式計算，從而形成多個不同的特征圖，特征圖的維度屬性對比輸入的維度屬性已經(jīng)有所下降，再通過次采樣層進行緯度降低，經(jīng)過多次的卷積計算降低緯度后，再通過全連接層，從而到達輸出網(wǎng)絡的目的。

    CNN的結(jié)構基本分為兩層。第一層是提取特征層。所有神經(jīng)元的輸入數(shù)據(jù)與連接的前一層的宿主數(shù)據(jù)接受域連接，目的用于提取局部特征。特征映射常常利用影響函數(shù)結(jié)果的驗證函數(shù)作為CNN的激活函數(shù)，激活函數(shù)（Activation functions）對于人工神經(jīng)網(wǎng)絡模型去學習、理解非常復雜和非線性的函數(shù)來說具有十分重要的作用。它們將非線性特性引入到我們的網(wǎng)絡中。其主要目的是將ANN模型中一個節(jié)點的輸入信號轉(zhuǎn)換成一個輸出信號，使得其具有位移和不變形的特性。此外，由于映射表面上神經(jīng)元的共享機理，參數(shù)的數(shù)量在網(wǎng)絡自由選擇中逐漸減少。在CNN中都有一個計算層在每個體基后面，用于局部平均和二次特征提取，這是由于其獨特的二階特征提取結(jié)構導致了降低特征分辨率的優(yōu)勢。

2.3  循環(huán)神經(jīng)網(wǎng)絡

    循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，簡稱RNN）背后的思想就是使用序列信息。在傳統(tǒng)的神經(jīng)網(wǎng)絡中，我們認為所有的輸入（和輸出）彼此之間是互相獨立的。循環(huán)神經(jīng)網(wǎng)絡之所以稱之為循環(huán)，就是因為它們對于所有序列中所有元素都執(zhí)行完全相同的任務，輸出的結(jié)果依賴于輸入的計算結(jié)果。另一種思考循環(huán)神經(jīng)網(wǎng)絡的方法是，RNN存在記憶，記憶可以捕獲迄今為止所有已經(jīng)計算過的信息。與CNN不同，RNN主要在序列方面存在優(yōu)勢。RNN與傳統(tǒng)的神經(jīng)網(wǎng)絡模型有區(qū)別，RNN的每層隱藏層神經(jīng)元之間都存在著相互連接的關系。該結(jié)構的具體表現(xiàn)為神經(jīng)網(wǎng)絡會對前面的輸入信息進行記憶并應用于當前的輸出信息，因此特別適合于計算數(shù)據(jù)序列類型的數(shù)據(jù)，此外，采用RNN和CNN相結(jié)合使用，非常適合處理樣本數(shù)據(jù)之間的相關性問題。

    典型的RNN結(jié)構如圖2所示，對于RNN來說，是一個非常重要的理念，每次RNN的輸入結(jié)合模型的當前狀態(tài)給出一個輸出，從圖中可以看出這個規(guī)則，圖片左邊是RNN的神經(jīng)元，右邊是按時間軸展開后的情況。兩條消息分別輸入輸出兩條消息，每條消息處理隱藏狀態(tài)，這是一個非常有效的表示方法，用于延長同一神經(jīng)元的時間，對比CNN來說可以保存更多的參數(shù)。

3  深度學習在電力信息化的研究現(xiàn)狀

    雖然深度學習已經(jīng)在圖像識別以及自然語言處理等方面取得重大突破，但在電力系統(tǒng)中信息化技術的研究與應用還比較少，近年來，國家電網(wǎng)公司對人工智能技術在輸變電線路巡檢圖像故障識別和自然語言處理等領域進行了深入的研究，現(xiàn)階段在輸電線路圖像物體識別、定位以及圖像主題識別等方面取得了很好的成績，比如輸電線路鳥巢識別準確度≥95%，電網(wǎng)客服領域應用人工智能技術在語音導航、少數(shù)民族語言分析、語音識別以及智能化工單質(zhì)檢等方面取得很大成果，項目成果能夠快速進行客服中心工單質(zhì)檢，并很大程度上改善了客服導撥系統(tǒng)等。

3.1  直升機、無人機輸電線路巡檢視覺分析

    目前，國家電網(wǎng)公司共有華北、東北、華東、華中、西北、華南地區(qū)6個區(qū)域電網(wǎng)，截至2016年年底，國家電網(wǎng)公司35 kV及以上輸電線路回路長度達175.6萬公里，其中，220 kV及以上輸電線路長度64.5萬公里。根據(jù)相關數(shù)據(jù)顯示，我國電力行業(yè)作為一個整體一年投資約1 000億元人民幣，費用包括硬件設施是73%，傳輸設備在國家電網(wǎng)建設的比重是越來越大，比例的擴大電網(wǎng)巡邏的工作也越來越多，100公里的巡邏工作需要巡邏人員20個工作日完成，且巡線人員擔負著巨大的人身安全風險，因此直升機、無人機巡線方式越來越受到電網(wǎng)公司的重視。

    輸電線路巡檢普遍存在：圖像視頻背景復雜性、多干擾因素(光照、遮擋、尺度及旋轉(zhuǎn)等)、相對運動隨機性及相似目標難判別，缺陷難表達，和深度模型泛化能力弱等難點問題。通過采集設備的相關特征量作為訓練集合，得出最終的判斷模型用于檢測，智能算法包括支持向量機、BP神經(jīng)網(wǎng)絡等神經(jīng)網(wǎng)絡算法，而深度學習可以利用電力信息通信設備中大量無標簽的數(shù)據(jù)，對深度神經(jīng)網(wǎng)絡進行初始化權值，得到更好的數(shù)據(jù)支持。

3.2  變電站視頻監(jiān)控視覺分析

    雖然電網(wǎng)公司變電站內(nèi)自動化遙測系統(tǒng)具有在線監(jiān)測報警功能，但主要集中在自動化傳感器的報警數(shù)據(jù)分析上。視頻檢測主要是輔助裝置。隨著監(jiān)測點的增多，傳統(tǒng)的視頻監(jiān)控暴露出諸多不足：過度依賴對異常的人工檢測和對異常視頻數(shù)據(jù)的自動判斷。智能視頻監(jiān)控技術可以克服上述缺點。它是一種自動視頻分析技術在現(xiàn)有的數(shù)字視頻監(jiān)控系統(tǒng)中的應用。通過對高清攝像機拍攝到的攝像機圖像序列進行自動分析，無需人工檢測，能夠?qū)崿F(xiàn)自動定位、識別和跟蹤動態(tài)場景中的目標。基于此分析，變電站視頻監(jiān)控視覺分析系統(tǒng)給出可疑行為或異常的實時警告。

    現(xiàn)有的國家電網(wǎng)公司變電站監(jiān)控圖像計算機識別方法都是采用“對監(jiān)控圖像進行預處理—人為設計提取特征—提前計算人工特征—采用深度學習模型”的方法，從而利用卷積神經(jīng)網(wǎng)絡（CNN）等算法對變電站視頻監(jiān)控畫面進行識別，提高變電站監(jiān)控圖像中異常狀況智能識別的準確率和魯棒性。

3.3  信息通信機房視頻監(jiān)控視覺分析

    電力系統(tǒng)信息通信運維作為電網(wǎng)企業(yè)的核心業(yè)務之一，對保障電網(wǎng)信息通信設備的安全與健康，支持智能電網(wǎng)的安全運行起著異常重要的作用。電網(wǎng)企業(yè)關于“智能化運維（AIOps）”的需求越來越強烈，需要利用人工智能技術（AI）實現(xiàn)電力信息通信設備運維的數(shù)字化和智能化。作為電力信息通信運維的重要內(nèi)容之一，信息通信機房基礎設施運維為電力營銷、調(diào)度、運行、檢修等重要業(yè)務提供了基礎的信息通信保障。

    對信息通信機房設備的監(jiān)控可以歸結(jié)為目標檢測問題，而目標檢測是計算機視覺領域里面一個非常重要的研究方法。目標檢測的任務主要用于：針對視頻或者截取畫面，分析出某一個特定物體在圖片中的具體方位；可以將目標檢測分解為物體定位和物體識別問題。卷積神經(jīng)網(wǎng)絡是深度學習里面場景的數(shù)據(jù)網(wǎng)絡模型，它由很多層隱層組成，每一個隱層提取不同深層次的特征數(shù)據(jù)在訓練數(shù)據(jù)中，最后全連接層連接起來隱層的特征和表示圖像類別信息。卷積神經(jīng)網(wǎng)絡（CNN）具有局部感受野，池化采樣和權值共享等特點，利用這種技術可以有效減少神經(jīng)網(wǎng)絡的復雜程度，降低神經(jīng)網(wǎng)絡訓練復雜程度和測試時間。通過采用深度學習算法可以使得目標檢測的誤檢率大大降低。

3.4  電力資產(chǎn)管理和智能化運維

    電力行業(yè)是資產(chǎn)密集型產(chǎn)業(yè)，資產(chǎn)總量龐大、分布廣泛，傳統(tǒng)方法無法有效管理，將難以支撐電網(wǎng)的運行和發(fā)展；電網(wǎng)網(wǎng)絡龐雜、設備點多面廣、運行特征各異，傳統(tǒng)的運維檢修方法難以對設備狀態(tài)進行精準評價和針對性地投資、改造和運維。

    通過基于深度學習算法的人工智能技術，可以實現(xiàn)對電力設備狀態(tài)數(shù)據(jù)、環(huán)境數(shù)據(jù)、歷史數(shù)據(jù)的深度挖掘，實現(xiàn)電力設備的健康狀態(tài)綜合評價與診斷；給出針對性的運維方案和投資建議，實現(xiàn)故障處理方案的輔助決策，將事后處理變事前預防；利用智能化的手段進行資產(chǎn)運維，對電力資產(chǎn)進行狀態(tài)實時感知、監(jiān)控和自動處理，提高工作效率；提高偶發(fā)事件預測和辨識水平，包括故障和地址、自然災害等；實現(xiàn)電力資產(chǎn)的全面監(jiān)測、實時在線、科學管理和智能運維。

3.5  營業(yè)廳智能機器人

    針對當前電力營業(yè)廳內(nèi)服務人員專業(yè)人員逐步減少、人員知識結(jié)構要求高、高端服務人員運行管理成本較高等現(xiàn)實問題，通過采用智能機器人、隨機學習、深度學習、圖像視頻辯識等人工智能技術，構建營業(yè)廳智能機器人應用系統(tǒng)。實現(xiàn)系統(tǒng)與用戶對話交互式業(yè)務辦理，結(jié)合用電申請/業(yè)擴圖文資料、視頻感知及方案輔助核查技術，完成客戶用電業(yè)務咨詢和業(yè)擴報裝的自助辦理、供電方案輔助審核，實現(xiàn)營業(yè)廳服務的智能化、無人化或少人化，將極大提高電力營業(yè)廳工作效率和服務水平，展現(xiàn)國網(wǎng)公司一流企業(yè)的形象定位。

    應用深度學習、數(shù)據(jù)智能分析技術，實現(xiàn)營業(yè)廳業(yè)擴報裝資料的自動輸入、申請材料和供電方案輔助核查提高業(yè)擴報裝供電方案核查質(zhì)量，減少企業(yè)員工勞動強度。

4  深度學習在電力信息化的展望

4.1  深度學習在異構集群上的計算和優(yōu)化

    深度學習任務在異構集群上的計算和優(yōu)化技術，在模型訓練方面，提高資源利用率，優(yōu)化任務調(diào)度方案和資源配置管理；在任務推理方面，構建深度神經(jīng)網(wǎng)絡模型處理框架，設計網(wǎng)絡模型在異構平臺和嵌入式終端上的移植方法，從而實現(xiàn)低功耗并且高效率的推理方案。

4.2  人工智能深度學習平臺研究

    研究人工智能平臺深度學習技術解決具體實際業(yè)務問題，根據(jù)數(shù)據(jù)全量樣本和自學習機制，更好發(fā)現(xiàn)知識找出數(shù)據(jù)潛在規(guī)律，發(fā)揮數(shù)據(jù)最大價值，改變傳統(tǒng)基于人的經(jīng)驗判斷和專家規(guī)則方式研判模式，在提供實效性前提，提高預測和分析能力。如：基于自然語言處理的輿情風險管控監(jiān)測，通過人工智能的語義分析，改變基于傳統(tǒng)正則表達式的數(shù)據(jù)內(nèi)容爬取，降低數(shù)據(jù)復雜性帶來的計算成本同時提高內(nèi)容含義精準性；如：圖像識別模型算法識別輸電線路圖片和視頻發(fā)現(xiàn)桿塔和線路數(shù)據(jù)樣本規(guī)律，發(fā)現(xiàn)線路和桿塔上的異物、外力破壞、設備備件損壞、線路弧垂等異常并告警，降低現(xiàn)階段通過手機APP拍照、視頻回傳到運檢指揮中心由人工核查的冗余工作，降低人工成本同時提高設備異常識別率，降低電網(wǎng)風險發(fā)生機率。如：用神經(jīng)網(wǎng)絡進行并行處理、非線性映射、自適應能力和魯棒性、學習和記憶等固有性質(zhì)，改變IEC三比值法和傳統(tǒng)特征氣體分析法，有效提高故障識別準確率，降低設備損耗節(jié)約電網(wǎng)公司設備資產(chǎn)。

4.3  計算機視覺

    計算機視覺在電力領域的應用主要集中在電力巡檢和監(jiān)控影像的目標識別與缺陷檢測。但目前技術尚未達到滿足生產(chǎn)需求的精度與效率?？蓮碾娏τ跋褓Y源庫、電力影像多目標檢測與缺陷識別、電力視覺芯片、虛擬/增強現(xiàn)實交互、三維重構等方面開展相關研究，研發(fā)基于電力影像的智能輔助標注技術、研發(fā)基于領域知識和深度學習的電力信息通信設備檢測與計算機視覺缺陷識別算法，形成設備級電力信息通信視覺模塊，實現(xiàn)實時電力信息通信設備識別和缺陷檢測。

4.4  自然語言處理

    基于已有的專業(yè)知識和全系統(tǒng)以文本形式存在的運行和操作規(guī)則、調(diào)度指令和報告、營銷檔案等語料，研究基于電力文本的新詞發(fā)現(xiàn)技術和語意網(wǎng)絡挖掘技術，構建電力主題詞表；研究電力語音文本特征提取、電網(wǎng)設備本體建模、電力行業(yè)知識加工和推理等技術，分領域逐步行成電力行業(yè)知識圖譜，先期構建調(diào)控、運檢、營銷、信息通信等領域知識圖譜，支撐信息通信調(diào)度機器人、電網(wǎng)設備智能運維和智能客服等應用；最終，形成新一代電網(wǎng)企業(yè)智能搜索和智能問答解決方案。

4.5  智能機器人

    電力機器人，是面向電力巡檢、服務、作業(yè)和調(diào)控等應用場景的機器人。當前電力機器人上處于實現(xiàn)“單一模式的自動化重復動作”階段，不能滿足公司對其自主智能行為的需求。智能機器人在電力AI算法封裝，具備自主行為、自主學習、自主識別、人機協(xié)作等核心技術。

5  結(jié)論

    在冀北電力公司大力發(fā)展張家口零碳冬奧的背景下，深度學習可以結(jié)合自身特征提取以及模型擬合方面的優(yōu)勢，針對當前人工智能與電網(wǎng)智能化水平結(jié)合不緊密等問題，如深度學習企業(yè)級服務能力不足、數(shù)據(jù)驅(qū)動支撐新一代電網(wǎng)能力不足，建設全業(yè)務泛在電力物聯(lián)網(wǎng)尚需人工智能技術推進等問題，做出一個科學的決策方案。

    另外，還可以利用深度學習在機器學習以及人工智能方面的優(yōu)點，結(jié)合全業(yè)務數(shù)據(jù)中心的電網(wǎng)數(shù)據(jù)，開展大數(shù)據(jù)處理、數(shù)據(jù)分析挖掘、統(tǒng)一數(shù)據(jù)模型以及數(shù)據(jù)安全等技術研究和應用需求及業(yè)務模型研究，支撐多專業(yè)大數(shù)據(jù)工作。

參考文獻

[1] 曹渝昆，何健偉，鮑自安.深度學習在電力領域的研究現(xiàn)狀與展望[J].上海電力學院學報,2017,33:341-346.

[2] 魏海宏，劉新. 基于深度卷積神經(jīng)網(wǎng)絡的離線手寫簽名鑒定[J].網(wǎng)絡安全技術與應用,2018（3）:40-41.

[3] 梁苗苗．基于深度學習的智能聊天機器人的研究 [D]． 杭州：浙江理工大學，2017.

[4] 肖仕昶．基于計算機視覺的感興趣人群屬性分析系統(tǒng) [D]． 廣州：華南理工大學，2017.

作者信息:

那瓊瀾1，萬  瑩1，張子健2，楊藝西3，趙慶凱1，李環(huán)媛1

（1. 國網(wǎng)冀北電力有限公司信息通信分公司，北京 100053；

2. 國網(wǎng)冀北電力有限公司，北京 100052；

3. 國家電網(wǎng)公司信息通信分公司，北京 100761）