與黑洞相關(guān)的大數(shù)據(jù)
泛在電力物聯(lián)網(wǎng)廣泛應(yīng)用大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)和智能技術(shù),是數(shù)字革命在能源電力領(lǐng)域迅速發(fā)展的必然產(chǎn)物。人們的生活、工作、學(xué)習(xí)中到處都是海量數(shù)據(jù),無(wú)處不在的數(shù)據(jù)正發(fā)揮著巨大的能量,成為社會(huì)進(jìn)步的重要驅(qū)動(dòng)力。更多的數(shù)據(jù)應(yīng)用和價(jià)值等待我們?nèi)ヌ剿鳌?/p>
北京時(shí)間4月10日晚,由全世界200多位科學(xué)家合作完成的重大天文學(xué)成果——人類(lèi)首張黑洞照片,在全球多地同步發(fā)布。你知道嗎?這張黑洞照片是由天文望遠(yuǎn)鏡獲得的大數(shù)據(jù)合成而來(lái)。
分布在全球各地的許多天文望遠(yuǎn)鏡在同一時(shí)間“按下快門(mén)”,記錄無(wú)線電數(shù)據(jù)。天文望遠(yuǎn)鏡獲取的數(shù)據(jù)量非常大,一晚上就能收集到2PB(PB為十億兆級(jí))。如此龐大的數(shù)據(jù)難以用網(wǎng)絡(luò)傳輸,必須裝到硬盤(pán)里,而這些儲(chǔ)存數(shù)據(jù)的硬盤(pán)足足有半噸重。之后,依靠機(jī)器學(xué)習(xí)算法,科學(xué)家們把數(shù)據(jù)拼到一起,構(gòu)建出黑洞圖像。
大數(shù)據(jù)時(shí)代
隨著移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)據(jù)正在以超出人們想象的速度快速增長(zhǎng)。根據(jù)國(guó)際數(shù)據(jù)公司(IDC)統(tǒng)計(jì),2014年全球數(shù)據(jù)總量為8ZB(1ZB=1021B),預(yù)計(jì)2020年將達(dá)到44ZB。同期,我國(guó)數(shù)據(jù)總量為909EB(1EB=1018B,萬(wàn)億兆級(jí)),占全球數(shù)據(jù)總量的13%;預(yù)計(jì)到2020年,我國(guó)數(shù)據(jù)量將達(dá)到8060EB,占全球數(shù)據(jù)總量的18%。毫無(wú)疑問(wèn),我們已身處大數(shù)據(jù)時(shí)代。
在小數(shù)據(jù)時(shí)代,受限于信息獲取和處理能力,只能隨機(jī)抽樣。而在大數(shù)據(jù)時(shí)代,信息獲取成本大大降低,信息獲取效率成倍提高,信息處理能力得到增強(qiáng),原先被忽略的細(xì)節(jié)更容易被察覺(jué)到,不必考慮抽樣的科學(xué)性,分析結(jié)果將更加準(zhǔn)確。大數(shù)據(jù)時(shí)代改變了認(rèn)識(shí)世界的方式,即尋找相關(guān)關(guān)系,而不是因果關(guān)系。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準(zhǔn)確更迅速,而且不易受偏見(jiàn)影響。
大數(shù)據(jù)技術(shù)體系
廣義大數(shù)據(jù)技術(shù)體系包括:存儲(chǔ)層、整合層、計(jì)算層、應(yīng)用層,其中存儲(chǔ)層包括列數(shù)據(jù)庫(kù)、鍵值數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)、分布式文件系統(tǒng),整合層包括流數(shù)據(jù)總線、大數(shù)據(jù)連接器、PIG、HIVE,計(jì)算層包括并行數(shù)據(jù)處理、流式計(jì)算,應(yīng)用層包括自然語(yǔ)言處理、圖像識(shí)別、數(shù)據(jù)挖掘等。
電力大數(shù)據(jù)
隨著智能電網(wǎng)和信息化建設(shè),電力行業(yè)已積累了海量數(shù)據(jù),在數(shù)據(jù)量、多樣性、速度和價(jià)值方面具有大數(shù)據(jù)的特征。電力行業(yè)已進(jìn)入大數(shù)據(jù)時(shí)代。電力大數(shù)據(jù)是通過(guò)傳感器、智能設(shè)備、視頻監(jiān)控設(shè)備、音頻通信設(shè)備、移動(dòng)終端等各種數(shù)據(jù)采集渠道收集到的海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)集合。
電力大數(shù)據(jù)是電力公司的新型資產(chǎn),將為電力行業(yè)帶來(lái)顯著的價(jià)值和電力公司的核心競(jìng)爭(zhēng)力;促進(jìn)業(yè)務(wù)管理向著更精細(xì)、更高效的方向發(fā)展。大數(shù)據(jù)技術(shù)將推動(dòng)電力公司信息技術(shù)平臺(tái)的升級(jí)與改造,包括提升數(shù)據(jù)存儲(chǔ)和及時(shí)處理的能力;補(bǔ)充在非結(jié)構(gòu)化數(shù)據(jù)分析與利用的能力;增強(qiáng)對(duì)海量數(shù)據(jù)資源的價(jià)值挖掘能力。
青海新能源
大數(shù)據(jù)創(chuàng)新平臺(tái)
國(guó)網(wǎng)青海省電力公司以新能源為切入點(diǎn),2018年1月,建成國(guó)內(nèi)首個(gè)數(shù)據(jù)匯集、存儲(chǔ)、服務(wù)、運(yùn)營(yíng)一體的新能源大數(shù)據(jù)創(chuàng)新平臺(tái)。平臺(tái)的核心架構(gòu)包括3個(gè)層面。
核心平臺(tái)層是開(kāi)展創(chuàng)新服務(wù)的基礎(chǔ)支撐;在網(wǎng)絡(luò)資源、計(jì)算資源等基礎(chǔ)設(shè)施服務(wù)的基礎(chǔ)上,提供以物聯(lián)網(wǎng)技術(shù)為核心的數(shù)據(jù)采集服務(wù)。在物聯(lián)接入部分,平臺(tái)的數(shù)據(jù)接入速率可以達(dá)到每秒3600條左右,累積接入數(shù)據(jù)已經(jīng)超過(guò)53億條,每日接入的數(shù)據(jù)量超過(guò)80GB。
服務(wù)層面,是創(chuàng)新平臺(tái)的基本業(yè)務(wù)形態(tài),基于開(kāi)放的平臺(tái)支撐,提供平臺(tái)服務(wù)4個(gè),應(yīng)用服務(wù)21個(gè)。
生態(tài)層面,以海量數(shù)據(jù)和平臺(tái)開(kāi)放能力吸引更多的服務(wù)提供方。目前該平臺(tái)已經(jīng)聚集了來(lái)自全國(guó)不同地區(qū)的服務(wù)提供團(tuán)隊(duì)13個(gè),接入新能源場(chǎng)站121座。
【專(zhuān)訪】
張玉天 博士,就職于中國(guó)電力科學(xué)研究院人工智能應(yīng)用研究所大數(shù)據(jù)應(yīng)用研究室,主要從事電力大數(shù)據(jù)相關(guān)研究,負(fù)責(zé)、參與多項(xiàng)國(guó)家電網(wǎng)有限公司科技項(xiàng)目、智慧能源小鎮(zhèn)示范工程等。
《亮報(bào)》:從現(xiàn)階段對(duì)大數(shù)據(jù)的挖掘和應(yīng)用階段來(lái)看,您認(rèn)為,電力大數(shù)據(jù)的利用處于什么階段?未來(lái),電力大數(shù)據(jù)將會(huì)發(fā)揮哪些作用?
張玉天:國(guó)家電網(wǎng)有限公司于2014年開(kāi)始加強(qiáng)大數(shù)據(jù)相關(guān)研究,目前已建成集中式和分布式混合架構(gòu)的企業(yè)級(jí)電力大數(shù)據(jù)平臺(tái),在應(yīng)用方面重點(diǎn)推進(jìn)大數(shù)據(jù)在輸變電智能化、智能配用電、源網(wǎng)荷協(xié)調(diào)優(yōu)化、智能調(diào)度控制、企業(yè)經(jīng)營(yíng)管理和信息通信6大領(lǐng)域的支撐作用。總體來(lái)說(shuō),電力大數(shù)據(jù)的利用已經(jīng)歷探索起步階段,擁有不錯(cuò)的數(shù)據(jù)和應(yīng)用基礎(chǔ),正在伴隨泛在電力物聯(lián)網(wǎng)建設(shè)所帶來(lái)的信息全面感知與業(yè)務(wù)新需求而蓬勃發(fā)展。
未來(lái),大數(shù)據(jù)將在電網(wǎng)規(guī)劃、投資建設(shè)、資產(chǎn)管理、公司運(yùn)營(yíng)等方面,對(duì)電網(wǎng)發(fā)展方式與經(jīng)營(yíng)模式的轉(zhuǎn)變起到重要支撐作用。實(shí)現(xiàn)數(shù)據(jù)支撐的公司經(jīng)營(yíng)管理水平提升,用電客戶服務(wù)能力提升,并為政府提供客觀高效的數(shù)據(jù)服務(wù)。積極打造數(shù)據(jù)共享服務(wù)商業(yè)模式,加強(qiáng)對(duì)外提供數(shù)據(jù)服務(wù),開(kāi)發(fā)數(shù)字產(chǎn)品,提供分析服務(wù),推動(dòng)數(shù)據(jù)運(yùn)營(yíng)。