《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于數(shù)據(jù)湖平臺(tái)的工業(yè)大數(shù)據(jù)分析實(shí)踐：以智能油田能效分析為例
基于數(shù)據(jù)湖平臺(tái)的工業(yè)大數(shù)據(jù)分析實(shí)踐：以智能油田能效分析為例
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
李滿1，安創(chuàng)鋒1，高靜1，牛永勝1，姚嘉琨2
1.中海石油(中國(guó))有限公司天津分公司； 2.中國(guó)電子系統(tǒng)技術(shù)有限公司
摘要： 工業(yè)系統(tǒng)以及工業(yè)企業(yè)應(yīng)用場(chǎng)景日益復(fù)雜，導(dǎo)致系統(tǒng)處理數(shù)據(jù)量與數(shù)據(jù)類型日益增多。面對(duì)多樣化的業(yè)務(wù)應(yīng)用場(chǎng)景和海量多源異構(gòu)數(shù)據(jù)，對(duì)數(shù)據(jù)分析的流動(dòng)性與靈活性要求越來(lái)越高。而傳統(tǒng)基于數(shù)據(jù)庫(kù)的大數(shù)據(jù)分析平臺(tái)無(wú)法滿足不同結(jié)構(gòu)數(shù)據(jù)匯入與數(shù)據(jù)源變化。因此，構(gòu)建了一套端到端、高效協(xié)同的大數(shù)據(jù)分析應(yīng)用實(shí)施框架，結(jié)合數(shù)據(jù)湖平臺(tái)與智能算法建立針對(duì)工業(yè)大數(shù)據(jù)的分析模型，實(shí)現(xiàn)以業(yè)務(wù)分析需求為驅(qū)動(dòng)，結(jié)合數(shù)據(jù)湖平臺(tái)對(duì)于海量多源異構(gòu)數(shù)據(jù)的處理、匯聚、管理能力，高效開(kāi)展數(shù)據(jù)建模、準(zhǔn)備、測(cè)試、訓(xùn)練與驗(yàn)證。最后，在智能油田能效分析場(chǎng)景進(jìn)行應(yīng)用驗(yàn)證，成功實(shí)現(xiàn)對(duì)于智能油田能效分析場(chǎng)景下的系統(tǒng)預(yù)測(cè)、優(yōu)化與決策功能，為油田全業(yè)務(wù)流程提供數(shù)據(jù)支撐，推動(dòng)智能油田可持續(xù)發(fā)展。
中圖分類號(hào)：TP393文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2024.11.013引用格式：李滿，安創(chuàng)鋒，高靜，等.基于數(shù)據(jù)湖平臺(tái)的工業(yè)大數(shù)據(jù)分析實(shí)踐：以智能油田能效分析為例［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2024，43（11）：75-84.
Industrial big data analytics practice based on data lake platform: an example of intelligent oilfield energy efficiency analysis
Li Man1, An Chuangfeng1, Gao Jing1, Niu Yongsheng1，Yao Jiakun2
1.CNOOC (China) Tianjin Branch; 2.China Electronics System Technology Co.
Abstract： As industrial systems and the application scenarios of industrial enterprises become increasingly complex, the quantity and variety of data processed by the system also increase. In light of the growing number of diverse business application scenarios and the increasing volume of heterogeneous data from a multitude of sources, the need for enhanced mobility and flexibility in data analysis is becoming increasingly apparent. The conventional database-centric approach to big data analysis is inadequate for accommodating the heterogeneous structural characteristics of data sinks and the evolving nature of data sources. Accordingly, this paper presents a comprehensive, integrated and collaborative big data analysis application implementation framework. This framework combines the data lake platform and intelligent algorithms to establish an analysis model for industrial big data. Furthermore, driven by business analysis requirements, the data lake platform′s processing, aggregation, and management capabilities are leveraged to efficiently carry out data modeling, preparation, testing, training, and validation. Subsequently, the application is verified in an intelligent oilfield energy efficiency analysis scenario. This successfully demonstrates the system′s ability to predict, optimize, and make decisions in this context, providing data support for the entire business process of oil fields and promoting the sustainable development of intelligent oilfields.
Key words :

引言

隨著全球能源行業(yè)向數(shù)字化轉(zhuǎn)型的深入發(fā)展， “智能油田”等規(guī)劃相繼出臺(tái)，旨在通過(guò)技術(shù)創(chuàng)新與數(shù)據(jù)驅(qū)動(dòng)，實(shí)現(xiàn)油氣上游業(yè)務(wù)的全面升級(jí)。為此，中國(guó)海油同步立項(xiàng)，開(kāi)展智能油田建設(shè)和勘探開(kāi)發(fā)數(shù)據(jù)湖平臺(tái)的建設(shè)。智能油田建設(shè)從各油田分散的業(yè)務(wù)應(yīng)用場(chǎng)景出發(fā)，由各油田分公司根據(jù)自身特定的業(yè)務(wù)需求開(kāi)展項(xiàng)目，以促進(jìn)多樣化的創(chuàng)新嘗試和技術(shù)的快速迭代；數(shù)據(jù)湖平臺(tái)作為支撐智能油田應(yīng)用的數(shù)字基礎(chǔ)設(shè)施，明確了集中化和統(tǒng)一化的建設(shè)方向，旨在整合中國(guó)海油上游勘探開(kāi)發(fā)的核心業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)管理的統(tǒng)一化。智能油田與數(shù)據(jù)湖平臺(tái)項(xiàng)目并行推進(jìn)，隨著項(xiàng)目的深入，兩者的融合趨勢(shì)日益明顯，智能油田從創(chuàng)新探索邁向規(guī)范化和標(biāo)準(zhǔn)化，數(shù)據(jù)湖平臺(tái)則在支撐應(yīng)用中不斷優(yōu)化功能并擴(kuò)展。以秦皇島32-6項(xiàng)目為試點(diǎn)，成功實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)入湖與服務(wù)遷移，標(biāo)準(zhǔn)化改造數(shù)據(jù)開(kāi)發(fā)過(guò)程，支持快速應(yīng)用開(kāi)發(fā)，為中國(guó)海油智能油田與數(shù)據(jù)湖平臺(tái)的進(jìn)一步融合提供了有力的支撐。

工業(yè)大數(shù)據(jù)平臺(tái)作為推動(dòng)制造業(yè)智能化轉(zhuǎn)型的關(guān)鍵力量，廣泛應(yīng)用于生產(chǎn)監(jiān)控、故障預(yù)測(cè)和效率優(yōu)化等環(huán)節(jié)。借助物聯(lián)網(wǎng)、云計(jì)算和人工智能等前沿技術(shù)，現(xiàn)有平臺(tái)在數(shù)據(jù)采集、存儲(chǔ)、分析和應(yīng)用方面不斷增強(qiáng)，為企業(yè)決策提供了堅(jiān)實(shí)的數(shù)據(jù)支撐。然而，隨著技術(shù)進(jìn)步和市場(chǎng)需求增長(zhǎng)，工業(yè)大數(shù)據(jù)平臺(tái)面臨數(shù)據(jù)安全與隱私保護(hù)的挑戰(zhàn)，同時(shí)多源異構(gòu)數(shù)據(jù)的增加導(dǎo)致傳統(tǒng)數(shù)據(jù)庫(kù)平臺(tái)存在數(shù)據(jù)流通不暢和靈活性不足的問(wèn)題。數(shù)據(jù)湖平臺(tái)通過(guò)支撐業(yè)務(wù)場(chǎng)景分析，能夠降低大數(shù)據(jù)分析應(yīng)用開(kāi)發(fā)和實(shí)施的難度，這是與智能油田項(xiàng)目共同追求的目標(biāo)。盡管已取得一定進(jìn)展，但仍需深入研究，形成可復(fù)用的標(biāo)準(zhǔn)化、工程化架構(gòu)，并依托數(shù)據(jù)湖平臺(tái)工具進(jìn)行產(chǎn)品化支撐。

當(dāng)前，智能油田應(yīng)用面臨的主要問(wèn)題包括數(shù)據(jù)分散、標(biāo)準(zhǔn)不統(tǒng)一和業(yè)務(wù)流程復(fù)雜等。這些問(wèn)題不僅增加了數(shù)據(jù)處理和分析的難度，還限制了智能油田建設(shè)的整體效率和效益。數(shù)據(jù)湖作為一種統(tǒng)一的數(shù)據(jù)存儲(chǔ)池，能夠容納各種規(guī)模的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，提供了潛在的解決方案。目前，數(shù)據(jù)湖平臺(tái)主要應(yīng)用于數(shù)據(jù)管理領(lǐng)域，涵蓋數(shù)據(jù)資產(chǎn)目錄管理、數(shù)據(jù)源及數(shù)據(jù)處理任務(wù)、數(shù)據(jù)生命周期管理、數(shù)據(jù)治理和權(quán)限管理等功能。盡管數(shù)據(jù)湖技術(shù)在架構(gòu)靈活性和開(kāi)放性方面表現(xiàn)出顯著優(yōu)勢(shì)，但其在性能效率、安全控制和數(shù)據(jù)治理方面仍有改進(jìn)空間。將數(shù)據(jù)湖平臺(tái)與工業(yè)大數(shù)據(jù)分析相結(jié)合，可以有效應(yīng)對(duì)企業(yè)級(jí)的生產(chǎn)分析需求，并提升數(shù)據(jù)管理能力。為此，本文通過(guò)調(diào)研和借鑒大數(shù)據(jù)分析領(lǐng)域的相關(guān)研究成果，結(jié)合數(shù)據(jù)湖平臺(tái)與智能油田應(yīng)用研發(fā)的實(shí)踐經(jīng)驗(yàn)，提出了一套基于數(shù)據(jù)湖平臺(tái)的大數(shù)據(jù)分析應(yīng)用實(shí)施框架。以智能油田能效分析為例，對(duì)所提出的大數(shù)據(jù)分析應(yīng)用實(shí)施框架進(jìn)行了應(yīng)用驗(yàn)證。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://ihrv.cn/resource/share/2000006233


作者信息：

李滿1，安創(chuàng)鋒1，高靜1，牛永勝1，姚嘉琨2

(1.中海石油(中國(guó))有限公司天津分公司，天津300450；

2.中國(guó)電子系統(tǒng)技術(shù)有限公司，北京100089)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。