趙  磊1，張  健2，郭乃網(wǎng)1

　?。?.國家電網(wǎng)上海市電力公司電力科學研究院，上海200437；2.國家電網(wǎng)上海市電力公司奉賢供電公司，上海201400）

　　摘  要： 數(shù)據(jù)中心是數(shù)據(jù)集中存儲和管理的中心，也是當前及未來發(fā)展的方向，國家電網(wǎng)作為國民經(jīng)濟的基礎支撐行業(yè)，數(shù)據(jù)中心的發(fā)展對企業(yè)經(jīng)營管理、電力生產(chǎn)、社會能源節(jié)約具有重要現(xiàn)實意義。本文總結了國家電網(wǎng)公司數(shù)據(jù)中心發(fā)展演變過程，闡述不同發(fā)展時期主要的技術特點。

　　關鍵詞： 國家電網(wǎng)；數(shù)據(jù)中心；演進

　　0 引言

　　數(shù)據(jù)中心(Data Center，DC)是數(shù)據(jù)集中存儲和管理的中心。在互聯(lián)網(wǎng)大背景下，各行業(yè)業(yè)務數(shù)據(jù)類型正在發(fā)生著巨大的變化，數(shù)據(jù)中心是互聯(lián)網(wǎng)當前及未來發(fā)展的方向。數(shù)據(jù)中心通過實現(xiàn)統(tǒng)一的數(shù)據(jù)定義與命名規(guī)范集中的數(shù)據(jù)環(huán)境，從而達到數(shù)據(jù)共享與利用的目標。按規(guī)模劃分為部門級數(shù)據(jù)中心、企業(yè)級數(shù)據(jù)中心、互聯(lián)網(wǎng)數(shù)據(jù)中心以及主機托管數(shù)據(jù)中心等。另外，根據(jù)2014年初公布的數(shù)據(jù)中心年報顯示，在當前超大規(guī)模（hyperscale）數(shù)據(jù)中心統(tǒng)計中，服務器超過10萬臺的公司屬于Tier1（第一等級），共有十幾家，國外包括美國Google、Amazon、微軟、IBM等8家，國內(nèi)只有BAT（Baidu，Alibaba，Tencent）三家屬于超大型數(shù)據(jù)中心范疇[1]。一個典型的數(shù)據(jù)中心常?？缍鄠€供應商和多個產(chǎn)品的組件，包括主機設備、數(shù)據(jù)備份設備、數(shù)據(jù)存儲設備、高可用系統(tǒng)、數(shù)據(jù)安全系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、基礎設施平臺等。這些組件需要放在一起，確保它們能作為一個整體運行。

　　電力行業(yè)是國民經(jīng)濟的基礎支撐行業(yè)，電力行業(yè)信息化和電力生產(chǎn)自動化的發(fā)展與應用在電力企業(yè)產(chǎn)生了海量的數(shù)據(jù)。隨著物聯(lián)網(wǎng)、云計算、電子商務等技術在電力行業(yè)的應用，電力企業(yè)數(shù)據(jù)中心數(shù)據(jù)量從幾百 TB 快速增長到幾千 TB，數(shù)據(jù)增長速度越來越快，電力行業(yè)步入大數(shù)據(jù)時代。數(shù)據(jù)中心作為電力數(shù)據(jù)的有效載體，電力企業(yè)數(shù)據(jù)中心的發(fā)展直接關系數(shù)據(jù)價值的挖掘，對電力企業(yè)經(jīng)營管理、電力生產(chǎn)、社會能源節(jié)約都具有重要的現(xiàn)實意義。本文主要對國家電網(wǎng)數(shù)據(jù)中心發(fā)展情況進行闡述。

1 電網(wǎng)企業(yè)信息化基礎建設

　　2003年3月5日，國家電網(wǎng)公司成立信息化領導小組，強調(diào)加快電力信息化建設步伐。為實現(xiàn)“一強三優(yōu)”現(xiàn)代公司（電網(wǎng)堅強、資產(chǎn)優(yōu)良、服務優(yōu)質(zhì)、業(yè)績優(yōu)秀）發(fā)展戰(zhàn)略目標,落實“三抓一創(chuàng)”工作思路，加快推進信息化建設，國家電網(wǎng)公司制定了“十一五”信息發(fā)展規(guī)劃，并于2006年4月開始全面實施“SG186”工程（SG是國家電網(wǎng)公司英文縮寫）,“1”是指構筑一體化企業(yè)級信息平臺；“8”是指建設安全生產(chǎn)管理、營銷管理、項目管理、人力資源管理、財務資金管理、物資管理、協(xié)同辦公、綜合管理八大業(yè)務系統(tǒng)；“6”是指建立健全管理控制體系、評價考核體系、安全防護體系、技術研究體系、人才隊伍體系六個保障體系[2]。 “SG186”構筑一體化信息平臺，建設八大業(yè)務系統(tǒng),建立健全六個保障體系，為公司發(fā)展提供信息支撐。2009年底“SG186”工程全面完成，實現(xiàn)了業(yè)務管理的縱向貫通、橫向集成。國家電網(wǎng)公司的信息化水平達到國內(nèi)領先、國際先進，初步建成數(shù)字化電網(wǎng)、信息化企業(yè)。

2 數(shù)據(jù)中心建設

　　“十一五”通過SG186工程建成了覆蓋公司各級單位的一體化企業(yè)級信息系統(tǒng)，同時也建成了覆蓋總部、省(市)兩級屬地化數(shù)據(jù)中心。2009年6月，國家電網(wǎng)公司提出“十二五”信息發(fā)展規(guī)劃，根據(jù)公司信息化集約發(fā)展需求，分三階段建設集中式信息系統(tǒng)數(shù)據(jù)(災備)中心，即“十二五”完成數(shù)據(jù)級和應用級災備建設，并初步建成集中式數(shù)據(jù)中心，“十三五”全面完成集中式數(shù)據(jù)中心建設[3]。

　　2.1 數(shù)據(jù)級災備中心

　　2011年5月，國家電網(wǎng)公司在國內(nèi)三個城市建成數(shù)據(jù)災備中心實現(xiàn)公司各類數(shù)據(jù)本端到災備端的數(shù)據(jù)復制，災難發(fā)生后，災備端數(shù)據(jù)回傳本端恢復使用。數(shù)據(jù)災備中心的關注點在于數(shù)據(jù)，即災難發(fā)生后可以確保國家電網(wǎng)公司的業(yè)務數(shù)據(jù)不會丟失或者遭到破壞，實現(xiàn)信息系統(tǒng)快速恢復，確保業(yè)務的連續(xù)性。數(shù)據(jù)級災備中心示意圖如圖1所示。

　　數(shù)據(jù)級災備中心通過使用數(shù)據(jù)庫復制技術（Oracle Golden Gate，OGG）和存儲虛擬化復制技術實現(xiàn)了災備中心的數(shù)據(jù)復制技術整體架構，其中OGG軟件是一種基于日志的結構化數(shù)據(jù)復制備份軟件，它通過解析源數(shù)據(jù)庫在線日志或歸檔日志來獲得數(shù)據(jù)的增量變化，再將這些變化應用到目標數(shù)據(jù)庫，從而實現(xiàn)源數(shù)據(jù)庫與目標數(shù)據(jù)庫同步。OGG可以在異構的IT基礎（幾乎包括所有常用OS平臺和數(shù)據(jù)庫平臺）之間實現(xiàn)大量數(shù)據(jù)亞秒級的實時復制，從而可以在應急系統(tǒng)、在線報表、實時數(shù)據(jù)倉庫供應、交易跟蹤、數(shù)據(jù)同步、集中/分發(fā)、容災、數(shù)據(jù)庫升級和移植、雙業(yè)務中心等多個場景下應用，同時它可以實現(xiàn)一對一、廣播（一對多）、聚聚合（多對一）、雙向、點對點、級聯(lián)等多種靈活的拓撲結構[4]。

　　存儲虛擬化就是通過映射或抽象的方式將邏輯映像與物理存儲分開，增加一個資源虛擬視圖的管理層面，激活一種資源并使之更易于透明控制。該技術可有效簡化基礎設施的管理，提高IT資源的利用率和能力，如服務器、網(wǎng)絡或存儲。國網(wǎng)公司選擇異構模式，采取多對一的復制關系，在異構模式中使用存儲虛擬化技術進行日常數(shù)據(jù)的復制及通過產(chǎn)生數(shù)據(jù)的快照進行數(shù)據(jù)驗證。

　　2.2 應用級災備中心

　　在數(shù)據(jù)級災備基礎上，利用應用同步技術與應用切換技術實現(xiàn)本端與災備端的應用系統(tǒng)同步即應用級災備中心，災難發(fā)生后，用戶經(jīng)另一匯聚點訪問災備端應用，如圖2所示。在應用級災備數(shù)據(jù)中心，為了實現(xiàn)災備端能順利接管應用的運行，在生產(chǎn)端的數(shù)據(jù)能恢復到災備端，要求整個應用環(huán)境能夠再現(xiàn)災備端。充分利用環(huán)境鏡像更新、應用系統(tǒng)存儲復制等技術確保災備端與生產(chǎn)端應用配置、用戶信息保持一致。兩項同步技術對生成和恢復鏡像工具、網(wǎng)絡帶寬、存儲空間、應用服務器連接SAN環(huán)境等均有較高要求[5]。

　　利用DNS的切換技術在實現(xiàn)同步后進行相應數(shù)據(jù)訪問。當生產(chǎn)中心服務器發(fā)生災難時，災備從域服務器自動接管生產(chǎn)中心主域服務器 DNS解析，修改 DNS 服務器對應域名的 A記錄為災備中心服務器IP。應用該DNS切換技術，網(wǎng)絡結構無需特別改動，切換時不必操作客戶端和服務器地址，只需修改DNS中服務器域名解析即可，體現(xiàn)了非常高的性價比。

3 集中式數(shù)據(jù)中心

　　在數(shù)據(jù)級災備中心及應用級災備中心的基礎上，國家電網(wǎng)公司提出集中式數(shù)據(jù)中心計劃，并于2015年底初步建成集中式數(shù)據(jù)中心，將三地災備中心升級為主要生產(chǎn)數(shù)據(jù)中心，本地主要保留網(wǎng)絡匯集功能，用戶遠程集中訪問，三地互備，實現(xiàn)本端與災備端的應用系統(tǒng)同步。災難發(fā)生后，用戶經(jīng)另一匯聚點訪問災備端應用，推動數(shù)據(jù)共享和業(yè)務融合，降低信息系統(tǒng)建設和運維費用[6]，如圖3所示。

　　數(shù)據(jù)中心變革的驅(qū)動與發(fā)展，主要來自于業(yè)務發(fā)展要求以及信息化的角色職能的變化。隨著國網(wǎng)公司業(yè)務不斷優(yōu)化整合，從而要求系統(tǒng)更快速的響應，減少業(yè)務系統(tǒng)升級和推廣時間；管理集約化的發(fā)展需要信息更集中統(tǒng)一，數(shù)據(jù)實時反應，支撐業(yè)務集中管控；流程標準化則要求實現(xiàn)流程統(tǒng)一、固化，業(yè)務應用功能規(guī)范，數(shù)據(jù)一致；專業(yè)深度融合需要信息共享集成，提升數(shù)據(jù)集成共享水平，促進業(yè)務集成融合?；谏鲜鲂枨?，結合國內(nèi)外行業(yè)最佳實踐，形成國網(wǎng)集中式數(shù)據(jù)中心技術架構，如圖4所示，此架構涵蓋網(wǎng)絡建設、存儲建設、系統(tǒng)軟件建設及平臺服務等多個方面。

　　3.1 網(wǎng)絡建設

　　基于業(yè)務功能模塊化和網(wǎng)絡拓撲層次化的設計方法，使得網(wǎng)絡架構在功能、容量、覆蓋能力等各方面具有良好擴展能力。建設穩(wěn)健高速的廣域網(wǎng)，以支持用戶的高速應用訪問、跨數(shù)據(jù)中心高效的應用集成交互和災備數(shù)據(jù)恢復，使用TRILL、OTV、LISP等虛擬化技術提高了二層網(wǎng)絡擴展性，支持跨數(shù)據(jù)中心的資源調(diào)度?；谠朴嬎銛?shù)據(jù)中心的網(wǎng)絡架構標準，在各個層次構建虛擬化和冗余、以支持網(wǎng)絡的快速收斂、容錯、虛擬機感知、移動的安全策略、無打擾網(wǎng)絡和主機管理模式?；趪W(wǎng)等級保護安全合規(guī)性，應用集中部署和災備策略，構建數(shù)據(jù)中心網(wǎng)絡分區(qū)?；诰W(wǎng)絡虛擬化和主機虛擬化技術特點，標準化網(wǎng)絡建設，如IP地址規(guī)劃、VLAN規(guī)劃、路由規(guī)劃、QoS策略規(guī)劃、安全策略規(guī)劃和設備選型等。

　　3.2 存儲建設

　　基于三個災備中心、網(wǎng)省SAN網(wǎng)絡現(xiàn)狀、災備和統(tǒng)一備份需求，數(shù)據(jù)中心內(nèi)SAN采用雙Fabric架構，核心交換機冗余架構，數(shù)據(jù)中心間的SAN互聯(lián)采取SAN路由技術，基于存儲虛擬化的數(shù)據(jù)復制通過FCOIP實現(xiàn)，使存儲網(wǎng)絡能夠擴展到廣域網(wǎng)，實現(xiàn)SAN網(wǎng)絡之間透明互連和數(shù)據(jù)壓縮傳輸。建設LAN、LAN-Free和快照+LAN-Free多種備份通道，為主機配置獨立的備份HBA卡，虛擬的備份Virutual Fabric降低對生產(chǎn)的影響，并實現(xiàn)備份SAN和生產(chǎn)SAN的邏輯隔離。建設存儲虛擬化和基于block的自動分級存儲。建設分級存儲的存儲架構，部署存儲資源池的分層服務體系。集中監(jiān)控和管理復雜的異構核心存儲系統(tǒng)，實現(xiàn)端到端可視化、可控化和自動化的存儲資源統(tǒng)一管理。

　　3.3 系統(tǒng)軟件（中間件、數(shù)據(jù)庫）建設

　　標準化中間件、數(shù)據(jù)庫、操作系統(tǒng)的種類及版本，并規(guī)范配置，簡化集中后運維管理?；谥虚g件架構的最佳實踐，構建冗余的硬件服務器平臺和多中間件集群來承載應用，并結合冗余的硬件負載均衡平臺實現(xiàn)流量分發(fā)和容錯，以支持可持續(xù)的高并發(fā)業(yè)務應用訪問和應用的彈性擴展?；跀?shù)據(jù)清理、表分區(qū)、數(shù)據(jù)庫集群、分布式數(shù)據(jù)庫（橫縱、讀寫、生產(chǎn)/歷史/歸檔分庫）等技術以應對數(shù)據(jù)總量大、并發(fā)請求高的集中挑戰(zhàn)。基于等級保護主機安全基本要求、國網(wǎng)安全基線管理和主機安全評估系統(tǒng)，完成系統(tǒng)軟件的安全加固?；谧詣踊O(jiān)控和自動化管理，減少運維的人工操作，降低運維難度與風險，屏蔽部分運維工作的復雜度。構建云資源管理和運維監(jiān)控系統(tǒng)對中間件和數(shù)據(jù)庫平臺的負載感知，實現(xiàn)集中式數(shù)據(jù)中心自動化的資源調(diào)度（集群級、資源池級和數(shù)據(jù)中心級）。

　　3.4 平臺服務建設

　　針對信息展現(xiàn)，企業(yè)門戶和目錄權限分別使用1+N和3+N模式集中部署，針對應用集成的ESB采用3+N，ESR采用1，BPM采用3+N,BAM采用1模式集中部署，針對數(shù)據(jù)中心，ODS采用3+N，EDW采用1，非結構化平臺采用3+N模式集中部署?；凇翱v橫向級聯(lián)、三總線貫通、本地化服務、集中化管控”的思想，打造“高效支撐、靈活擴展、集中管理、易于運維”的平臺服務。

4 結論

　　本文總結了國家電網(wǎng)公司數(shù)據(jù)中心的發(fā)展情況，按照公司信息化發(fā)展規(guī)劃綱要闡述了信息化基礎建設、數(shù)據(jù)災備中心、應用災備中心、集中式數(shù)據(jù)中心四個方面層層遞進的發(fā)展關系，梳理各個時期的相關發(fā)展的技術要點，為理解國家電網(wǎng)公司數(shù)據(jù)中心發(fā)展提供參考。

　　參考文獻

　　[1] 張廣彬，盤駿，曾智強.數(shù)據(jù)中心2013：硬件重構&軟件定義[R].ZDNet企業(yè)解決方案中心|年度技術報告，2014.

　　[2] 謝洪濤.電力企業(yè)數(shù)據(jù)中心的架構設計研究[D].上海：復旦大學，2009.

　　[3] 馬永波.電網(wǎng)企業(yè)數(shù)據(jù)中心網(wǎng)絡虛擬化研究與應用[D].上海：上海交通大學，2012.

　　[4] 劉信，朱凱進.國家電網(wǎng)公司數(shù)據(jù)災備中心數(shù)據(jù)復制方式研究[J].硅谷，2012(14)：94-95.

　　[5] 朱洪斌，王重.應用級災備關鍵技術研究[J].電力信息化，2011，9(12)：40-43.

　　[6] 趙偉.2013年信息化架構調(diào)考培訓材料集中式數(shù)據(jù)中心部分[Z].國網(wǎng)信通部技術處集中式數(shù)據(jù)中心組，2013.