趙  磊1，張  健2，郭乃網(wǎng)1

　?。?.國(guó)家電網(wǎng)上海市電力公司電力科學(xué)研究院，上海200437；2.國(guó)家電網(wǎng)上海市電力公司奉賢供電公司，上海201400）

　　摘  要： 數(shù)據(jù)中心是數(shù)據(jù)集中存儲(chǔ)和管理的中心，也是當(dāng)前及未來(lái)發(fā)展的方向，國(guó)家電網(wǎng)作為國(guó)民經(jīng)濟(jì)的基礎(chǔ)支撐行業(yè)，數(shù)據(jù)中心的發(fā)展對(duì)企業(yè)經(jīng)營(yíng)管理、電力生產(chǎn)、社會(huì)能源節(jié)約具有重要現(xiàn)實(shí)意義。本文總結(jié)了國(guó)家電網(wǎng)公司數(shù)據(jù)中心發(fā)展演變過(guò)程，闡述不同發(fā)展時(shí)期主要的技術(shù)特點(diǎn)。

　　關(guān)鍵詞： 國(guó)家電網(wǎng)；數(shù)據(jù)中心；演進(jìn)

　　0 引言

　　數(shù)據(jù)中心(Data Center，DC)是數(shù)據(jù)集中存儲(chǔ)和管理的中心。在互聯(lián)網(wǎng)大背景下，各行業(yè)業(yè)務(wù)數(shù)據(jù)類型正在發(fā)生著巨大的變化，數(shù)據(jù)中心是互聯(lián)網(wǎng)當(dāng)前及未來(lái)發(fā)展的方向。數(shù)據(jù)中心通過(guò)實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)定義與命名規(guī)范集中的數(shù)據(jù)環(huán)境，從而達(dá)到數(shù)據(jù)共享與利用的目標(biāo)。按規(guī)模劃分為部門(mén)級(jí)數(shù)據(jù)中心、企業(yè)級(jí)數(shù)據(jù)中心、互聯(lián)網(wǎng)數(shù)據(jù)中心以及主機(jī)托管數(shù)據(jù)中心等。另外，根據(jù)2014年初公布的數(shù)據(jù)中心年報(bào)顯示，在當(dāng)前超大規(guī)模（hyperscale）數(shù)據(jù)中心統(tǒng)計(jì)中，服務(wù)器超過(guò)10萬(wàn)臺(tái)的公司屬于Tier1（第一等級(jí)），共有十幾家，國(guó)外包括美國(guó)Google、Amazon、微軟、IBM等8家，國(guó)內(nèi)只有BAT（Baidu，Alibaba，Tencent）三家屬于超大型數(shù)據(jù)中心范疇[1]。一個(gè)典型的數(shù)據(jù)中心常?？缍鄠€(gè)供應(yīng)商和多個(gè)產(chǎn)品的組件，包括主機(jī)設(shè)備、數(shù)據(jù)備份設(shè)備、數(shù)據(jù)存儲(chǔ)設(shè)備、高可用系統(tǒng)、數(shù)據(jù)安全系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)、基礎(chǔ)設(shè)施平臺(tái)等。這些組件需要放在一起，確保它們能作為一個(gè)整體運(yùn)行。

　　電力行業(yè)是國(guó)民經(jīng)濟(jì)的基礎(chǔ)支撐行業(yè)，電力行業(yè)信息化和電力生產(chǎn)自動(dòng)化的發(fā)展與應(yīng)用在電力企業(yè)產(chǎn)生了海量的數(shù)據(jù)。隨著物聯(lián)網(wǎng)、云計(jì)算、電子商務(wù)等技術(shù)在電力行業(yè)的應(yīng)用，電力企業(yè)數(shù)據(jù)中心數(shù)據(jù)量從幾百 TB 快速增長(zhǎng)到幾千 TB，數(shù)據(jù)增長(zhǎng)速度越來(lái)越快，電力行業(yè)步入大數(shù)據(jù)時(shí)代。數(shù)據(jù)中心作為電力數(shù)據(jù)的有效載體，電力企業(yè)數(shù)據(jù)中心的發(fā)展直接關(guān)系數(shù)據(jù)價(jià)值的挖掘，對(duì)電力企業(yè)經(jīng)營(yíng)管理、電力生產(chǎn)、社會(huì)能源節(jié)約都具有重要的現(xiàn)實(shí)意義。本文主要對(duì)國(guó)家電網(wǎng)數(shù)據(jù)中心發(fā)展情況進(jìn)行闡述。

1 電網(wǎng)企業(yè)信息化基礎(chǔ)建設(shè)

　　2003年3月5日，國(guó)家電網(wǎng)公司成立信息化領(lǐng)導(dǎo)小組，強(qiáng)調(diào)加快電力信息化建設(shè)步伐。為實(shí)現(xiàn)“一強(qiáng)三優(yōu)”現(xiàn)代公司（電網(wǎng)堅(jiān)強(qiáng)、資產(chǎn)優(yōu)良、服務(wù)優(yōu)質(zhì)、業(yè)績(jī)優(yōu)秀）發(fā)展戰(zhàn)略目標(biāo),落實(shí)“三抓一創(chuàng)”工作思路，加快推進(jìn)信息化建設(shè)，國(guó)家電網(wǎng)公司制定了“十一五”信息發(fā)展規(guī)劃，并于2006年4月開(kāi)始全面實(shí)施“SG186”工程（SG是國(guó)家電網(wǎng)公司英文縮寫(xiě)）,“1”是指構(gòu)筑一體化企業(yè)級(jí)信息平臺(tái)；“8”是指建設(shè)安全生產(chǎn)管理、營(yíng)銷管理、項(xiàng)目管理、人力資源管理、財(cái)務(wù)資金管理、物資管理、協(xié)同辦公、綜合管理八大業(yè)務(wù)系統(tǒng)；“6”是指建立健全管理控制體系、評(píng)價(jià)考核體系、安全防護(hù)體系、技術(shù)研究體系、人才隊(duì)伍體系六個(gè)保障體系[2]。 “SG186”構(gòu)筑一體化信息平臺(tái)，建設(shè)八大業(yè)務(wù)系統(tǒng),建立健全六個(gè)保障體系，為公司發(fā)展提供信息支撐。2009年底“SG186”工程全面完成，實(shí)現(xiàn)了業(yè)務(wù)管理的縱向貫通、橫向集成。國(guó)家電網(wǎng)公司的信息化水平達(dá)到國(guó)內(nèi)領(lǐng)先、國(guó)際先進(jìn)，初步建成數(shù)字化電網(wǎng)、信息化企業(yè)。

2 數(shù)據(jù)中心建設(shè)

　　“十一五”通過(guò)SG186工程建成了覆蓋公司各級(jí)單位的一體化企業(yè)級(jí)信息系統(tǒng)，同時(shí)也建成了覆蓋總部、省(市)兩級(jí)屬地化數(shù)據(jù)中心。2009年6月，國(guó)家電網(wǎng)公司提出“十二五”信息發(fā)展規(guī)劃，根據(jù)公司信息化集約發(fā)展需求，分三階段建設(shè)集中式信息系統(tǒng)數(shù)據(jù)(災(zāi)備)中心，即“十二五”完成數(shù)據(jù)級(jí)和應(yīng)用級(jí)災(zāi)備建設(shè)，并初步建成集中式數(shù)據(jù)中心，“十三五”全面完成集中式數(shù)據(jù)中心建設(shè)[3]。

　　2.1 數(shù)據(jù)級(jí)災(zāi)備中心

　　2011年5月，國(guó)家電網(wǎng)公司在國(guó)內(nèi)三個(gè)城市建成數(shù)據(jù)災(zāi)備中心實(shí)現(xiàn)公司各類數(shù)據(jù)本端到災(zāi)備端的數(shù)據(jù)復(fù)制，災(zāi)難發(fā)生后，災(zāi)備端數(shù)據(jù)回傳本端恢復(fù)使用。數(shù)據(jù)災(zāi)備中心的關(guān)注點(diǎn)在于數(shù)據(jù)，即災(zāi)難發(fā)生后可以確保國(guó)家電網(wǎng)公司的業(yè)務(wù)數(shù)據(jù)不會(huì)丟失或者遭到破壞，實(shí)現(xiàn)信息系統(tǒng)快速恢復(fù)，確保業(yè)務(wù)的連續(xù)性。數(shù)據(jù)級(jí)災(zāi)備中心示意圖如圖1所示。

　　數(shù)據(jù)級(jí)災(zāi)備中心通過(guò)使用數(shù)據(jù)庫(kù)復(fù)制技術(shù)（Oracle Golden Gate，OGG）和存儲(chǔ)虛擬化復(fù)制技術(shù)實(shí)現(xiàn)了災(zāi)備中心的數(shù)據(jù)復(fù)制技術(shù)整體架構(gòu)，其中OGG軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件，它通過(guò)解析源數(shù)據(jù)庫(kù)在線日志或歸檔日志來(lái)獲得數(shù)據(jù)的增量變化，再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)，從而實(shí)現(xiàn)源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)同步。OGG可以在異構(gòu)的IT基礎(chǔ)（幾乎包括所有常用OS平臺(tái)和數(shù)據(jù)庫(kù)平臺(tái)）之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒級(jí)的實(shí)時(shí)復(fù)制，從而可以在應(yīng)急系統(tǒng)、在線報(bào)表、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)、交易跟蹤、數(shù)據(jù)同步、集中/分發(fā)、容災(zāi)、數(shù)據(jù)庫(kù)升級(jí)和移植、雙業(yè)務(wù)中心等多個(gè)場(chǎng)景下應(yīng)用，同時(shí)它可以實(shí)現(xiàn)一對(duì)一、廣播（一對(duì)多）、聚聚合（多對(duì)一）、雙向、點(diǎn)對(duì)點(diǎn)、級(jí)聯(lián)等多種靈活的拓?fù)浣Y(jié)構(gòu)[4]。

　　存儲(chǔ)虛擬化就是通過(guò)映射或抽象的方式將邏輯映像與物理存儲(chǔ)分開(kāi)，增加一個(gè)資源虛擬視圖的管理層面，激活一種資源并使之更易于透明控制。該技術(shù)可有效簡(jiǎn)化基礎(chǔ)設(shè)施的管理，提高IT資源的利用率和能力，如服務(wù)器、網(wǎng)絡(luò)或存儲(chǔ)。國(guó)網(wǎng)公司選擇異構(gòu)模式，采取多對(duì)一的復(fù)制關(guān)系，在異構(gòu)模式中使用存儲(chǔ)虛擬化技術(shù)進(jìn)行日常數(shù)據(jù)的復(fù)制及通過(guò)產(chǎn)生數(shù)據(jù)的快照進(jìn)行數(shù)據(jù)驗(yàn)證。

　　2.2 應(yīng)用級(jí)災(zāi)備中心

　　在數(shù)據(jù)級(jí)災(zāi)備基礎(chǔ)上，利用應(yīng)用同步技術(shù)與應(yīng)用切換技術(shù)實(shí)現(xiàn)本端與災(zāi)備端的應(yīng)用系統(tǒng)同步即應(yīng)用級(jí)災(zāi)備中心，災(zāi)難發(fā)生后，用戶經(jīng)另一匯聚點(diǎn)訪問(wèn)災(zāi)備端應(yīng)用，如圖2所示。在應(yīng)用級(jí)災(zāi)備數(shù)據(jù)中心，為了實(shí)現(xiàn)災(zāi)備端能順利接管應(yīng)用的運(yùn)行，在生產(chǎn)端的數(shù)據(jù)能恢復(fù)到災(zāi)備端，要求整個(gè)應(yīng)用環(huán)境能夠再現(xiàn)災(zāi)備端。充分利用環(huán)境鏡像更新、應(yīng)用系統(tǒng)存儲(chǔ)復(fù)制等技術(shù)確保災(zāi)備端與生產(chǎn)端應(yīng)用配置、用戶信息保持一致。兩項(xiàng)同步技術(shù)對(duì)生成和恢復(fù)鏡像工具、網(wǎng)絡(luò)帶寬、存儲(chǔ)空間、應(yīng)用服務(wù)器連接SAN環(huán)境等均有較高要求[5]。

　　利用DNS的切換技術(shù)在實(shí)現(xiàn)同步后進(jìn)行相應(yīng)數(shù)據(jù)訪問(wèn)。當(dāng)生產(chǎn)中心服務(wù)器發(fā)生災(zāi)難時(shí)，災(zāi)備從域服務(wù)器自動(dòng)接管生產(chǎn)中心主域服務(wù)器 DNS解析，修改 DNS 服務(wù)器對(duì)應(yīng)域名的 A記錄為災(zāi)備中心服務(wù)器IP。應(yīng)用該DNS切換技術(shù)，網(wǎng)絡(luò)結(jié)構(gòu)無(wú)需特別改動(dòng)，切換時(shí)不必操作客戶端和服務(wù)器地址，只需修改DNS中服務(wù)器域名解析即可，體現(xiàn)了非常高的性價(jià)比。

3 集中式數(shù)據(jù)中心

　　在數(shù)據(jù)級(jí)災(zāi)備中心及應(yīng)用級(jí)災(zāi)備中心的基礎(chǔ)上，國(guó)家電網(wǎng)公司提出集中式數(shù)據(jù)中心計(jì)劃，并于2015年底初步建成集中式數(shù)據(jù)中心，將三地災(zāi)備中心升級(jí)為主要生產(chǎn)數(shù)據(jù)中心，本地主要保留網(wǎng)絡(luò)匯集功能，用戶遠(yuǎn)程集中訪問(wèn)，三地互備，實(shí)現(xiàn)本端與災(zāi)備端的應(yīng)用系統(tǒng)同步。災(zāi)難發(fā)生后，用戶經(jīng)另一匯聚點(diǎn)訪問(wèn)災(zāi)備端應(yīng)用，推動(dòng)數(shù)據(jù)共享和業(yè)務(wù)融合，降低信息系統(tǒng)建設(shè)和運(yùn)維費(fèi)用[6]，如圖3所示。

　　數(shù)據(jù)中心變革的驅(qū)動(dòng)與發(fā)展，主要來(lái)自于業(yè)務(wù)發(fā)展要求以及信息化的角色職能的變化。隨著國(guó)網(wǎng)公司業(yè)務(wù)不斷優(yōu)化整合，從而要求系統(tǒng)更快速的響應(yīng)，減少業(yè)務(wù)系統(tǒng)升級(jí)和推廣時(shí)間；管理集約化的發(fā)展需要信息更集中統(tǒng)一，數(shù)據(jù)實(shí)時(shí)反應(yīng)，支撐業(yè)務(wù)集中管控；流程標(biāo)準(zhǔn)化則要求實(shí)現(xiàn)流程統(tǒng)一、固化，業(yè)務(wù)應(yīng)用功能規(guī)范，數(shù)據(jù)一致；專業(yè)深度融合需要信息共享集成，提升數(shù)據(jù)集成共享水平，促進(jìn)業(yè)務(wù)集成融合?；谏鲜鲂枨?，結(jié)合國(guó)內(nèi)外行業(yè)最佳實(shí)踐，形成國(guó)網(wǎng)集中式數(shù)據(jù)中心技術(shù)架構(gòu)，如圖4所示，此架構(gòu)涵蓋網(wǎng)絡(luò)建設(shè)、存儲(chǔ)建設(shè)、系統(tǒng)軟件建設(shè)及平臺(tái)服務(wù)等多個(gè)方面。

　　3.1 網(wǎng)絡(luò)建設(shè)

　　基于業(yè)務(wù)功能模塊化和網(wǎng)絡(luò)拓?fù)鋵哟位脑O(shè)計(jì)方法，使得網(wǎng)絡(luò)架構(gòu)在功能、容量、覆蓋能力等各方面具有良好擴(kuò)展能力。建設(shè)穩(wěn)健高速的廣域網(wǎng)，以支持用戶的高速應(yīng)用訪問(wèn)、跨數(shù)據(jù)中心高效的應(yīng)用集成交互和災(zāi)備數(shù)據(jù)恢復(fù)，使用TRILL、OTV、LISP等虛擬化技術(shù)提高了二層網(wǎng)絡(luò)擴(kuò)展性，支持跨數(shù)據(jù)中心的資源調(diào)度。基于云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)標(biāo)準(zhǔn)，在各個(gè)層次構(gòu)建虛擬化和冗余、以支持網(wǎng)絡(luò)的快速收斂、容錯(cuò)、虛擬機(jī)感知、移動(dòng)的安全策略、無(wú)打擾網(wǎng)絡(luò)和主機(jī)管理模式?；趪?guó)網(wǎng)等級(jí)保護(hù)安全合規(guī)性，應(yīng)用集中部署和災(zāi)備策略，構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)?；诰W(wǎng)絡(luò)虛擬化和主機(jī)虛擬化技術(shù)特點(diǎn)，標(biāo)準(zhǔn)化網(wǎng)絡(luò)建設(shè)，如IP地址規(guī)劃、VLAN規(guī)劃、路由規(guī)劃、QoS策略規(guī)劃、安全策略規(guī)劃和設(shè)備選型等。

　　3.2 存儲(chǔ)建設(shè)

　　基于三個(gè)災(zāi)備中心、網(wǎng)省SAN網(wǎng)絡(luò)現(xiàn)狀、災(zāi)備和統(tǒng)一備份需求，數(shù)據(jù)中心內(nèi)SAN采用雙Fabric架構(gòu)，核心交換機(jī)冗余架構(gòu)，數(shù)據(jù)中心間的SAN互聯(lián)采取SAN路由技術(shù)，基于存儲(chǔ)虛擬化的數(shù)據(jù)復(fù)制通過(guò)FCOIP實(shí)現(xiàn)，使存儲(chǔ)網(wǎng)絡(luò)能夠擴(kuò)展到廣域網(wǎng)，實(shí)現(xiàn)SAN網(wǎng)絡(luò)之間透明互連和數(shù)據(jù)壓縮傳輸。建設(shè)LAN、LAN-Free和快照+LAN-Free多種備份通道，為主機(jī)配置獨(dú)立的備份HBA卡，虛擬的備份Virutual Fabric降低對(duì)生產(chǎn)的影響，并實(shí)現(xiàn)備份SAN和生產(chǎn)SAN的邏輯隔離。建設(shè)存儲(chǔ)虛擬化和基于block的自動(dòng)分級(jí)存儲(chǔ)。建設(shè)分級(jí)存儲(chǔ)的存儲(chǔ)架構(gòu)，部署存儲(chǔ)資源池的分層服務(wù)體系。集中監(jiān)控和管理復(fù)雜的異構(gòu)核心存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)端到端可視化、可控化和自動(dòng)化的存儲(chǔ)資源統(tǒng)一管理。

　　3.3 系統(tǒng)軟件（中間件、數(shù)據(jù)庫(kù)）建設(shè)

　　標(biāo)準(zhǔn)化中間件、數(shù)據(jù)庫(kù)、操作系統(tǒng)的種類及版本，并規(guī)范配置，簡(jiǎn)化集中后運(yùn)維管理?；谥虚g件架構(gòu)的最佳實(shí)踐，構(gòu)建冗余的硬件服務(wù)器平臺(tái)和多中間件集群來(lái)承載應(yīng)用，并結(jié)合冗余的硬件負(fù)載均衡平臺(tái)實(shí)現(xiàn)流量分發(fā)和容錯(cuò)，以支持可持續(xù)的高并發(fā)業(yè)務(wù)應(yīng)用訪問(wèn)和應(yīng)用的彈性擴(kuò)展?；跀?shù)據(jù)清理、表分區(qū)、數(shù)據(jù)庫(kù)集群、分布式數(shù)據(jù)庫(kù)（橫縱、讀寫(xiě)、生產(chǎn)/歷史/歸檔分庫(kù)）等技術(shù)以應(yīng)對(duì)數(shù)據(jù)總量大、并發(fā)請(qǐng)求高的集中挑戰(zhàn)?；诘燃?jí)保護(hù)主機(jī)安全基本要求、國(guó)網(wǎng)安全基線管理和主機(jī)安全評(píng)估系統(tǒng)，完成系統(tǒng)軟件的安全加固?；谧詣?dòng)化監(jiān)控和自動(dòng)化管理，減少運(yùn)維的人工操作，降低運(yùn)維難度與風(fēng)險(xiǎn)，屏蔽部分運(yùn)維工作的復(fù)雜度。構(gòu)建云資源管理和運(yùn)維監(jiān)控系統(tǒng)對(duì)中間件和數(shù)據(jù)庫(kù)平臺(tái)的負(fù)載感知，實(shí)現(xiàn)集中式數(shù)據(jù)中心自動(dòng)化的資源調(diào)度（集群級(jí)、資源池級(jí)和數(shù)據(jù)中心級(jí)）。

　　3.4 平臺(tái)服務(wù)建設(shè)

　　針對(duì)信息展現(xiàn)，企業(yè)門(mén)戶和目錄權(quán)限分別使用1+N和3+N模式集中部署，針對(duì)應(yīng)用集成的ESB采用3+N，ESR采用1，BPM采用3+N,BAM采用1模式集中部署，針對(duì)數(shù)據(jù)中心，ODS采用3+N，EDW采用1，非結(jié)構(gòu)化平臺(tái)采用3+N模式集中部署?；凇翱v橫向級(jí)聯(lián)、三總線貫通、本地化服務(wù)、集中化管控”的思想，打造“高效支撐、靈活擴(kuò)展、集中管理、易于運(yùn)維”的平臺(tái)服務(wù)。

4 結(jié)論

　　本文總結(jié)了國(guó)家電網(wǎng)公司數(shù)據(jù)中心的發(fā)展情況，按照公司信息化發(fā)展規(guī)劃綱要闡述了信息化基礎(chǔ)建設(shè)、數(shù)據(jù)災(zāi)備中心、應(yīng)用災(zāi)備中心、集中式數(shù)據(jù)中心四個(gè)方面層層遞進(jìn)的發(fā)展關(guān)系，梳理各個(gè)時(shí)期的相關(guān)發(fā)展的技術(shù)要點(diǎn)，為理解國(guó)家電網(wǎng)公司數(shù)據(jù)中心發(fā)展提供參考。

　　參考文獻(xiàn)

　　[1] 張廣彬，盤(pán)駿，曾智強(qiáng).數(shù)據(jù)中心2013：硬件重構(gòu)&軟件定義[R].ZDNet企業(yè)解決方案中心|年度技術(shù)報(bào)告，2014.

　　[2] 謝洪濤.電力企業(yè)數(shù)據(jù)中心的架構(gòu)設(shè)計(jì)研究[D].上海：復(fù)旦大學(xué)，2009.

　　[3] 馬永波.電網(wǎng)企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化研究與應(yīng)用[D].上海：上海交通大學(xué)，2012.

　　[4] 劉信，朱凱進(jìn).國(guó)家電網(wǎng)公司數(shù)據(jù)災(zāi)備中心數(shù)據(jù)復(fù)制方式研究[J].硅谷，2012(14)：94-95.

　　[5] 朱洪斌，王重.應(yīng)用級(jí)災(zāi)備關(guān)鍵技術(shù)研究[J].電力信息化，2011，9(12)：40-43.

　　[6] 趙偉.2013年信息化架構(gòu)調(diào)考培訓(xùn)材料集中式數(shù)據(jù)中心部分[Z].國(guó)網(wǎng)信通部技術(shù)處集中式數(shù)據(jù)中心組，2013.