文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.189010
中文引用格式: 陳峰,李一,馬躍飛. 面向試驗(yàn)數(shù)據(jù)的裝備大數(shù)據(jù)模型[J].電子技術(shù)應(yīng)用,2018,44(5):13-15.
英文引用格式: Chen Feng,Li Yi,Ma Yuefei. A test data oriented equipment big data model[J]. Application of Electronic Tech-
nique,2018,44(5):13-15.
0 引言
在裝備試驗(yàn)工作過(guò)程中,積累了大量的歷史數(shù)據(jù)資源,真實(shí)記錄了裝備試驗(yàn)、訓(xùn)練、演練的第一手資料數(shù)據(jù),隨著數(shù)據(jù)采集手段的不斷拓展和綜合試驗(yàn)演練類任務(wù)的深入推進(jìn),試驗(yàn)數(shù)據(jù)積累量將呈指數(shù)級(jí)增長(zhǎng)。
這些數(shù)據(jù)資源是反映裝備性能、可靠性,評(píng)價(jià)裝備體系能力水平,研究裝備發(fā)展路徑的重要依據(jù)。但是,由于建設(shè)初期信息技術(shù)尚不發(fā)達(dá),受網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)及數(shù)據(jù)處理技術(shù)等因素限制,早期缺乏統(tǒng)一的系統(tǒng)規(guī)劃設(shè)計(jì),目前大量武器裝備試驗(yàn)數(shù)據(jù)分散存儲(chǔ)在不同試驗(yàn)終端,缺乏統(tǒng)一管理和分析應(yīng)用機(jī)制,大量隱含在數(shù)據(jù)中的有價(jià)值信息沒(méi)有得到有效地挖掘與開(kāi)發(fā)[1-2]。
在信息技術(shù)領(lǐng)域,大數(shù)據(jù)平臺(tái)技術(shù)生態(tài)鏈取得了飛速發(fā)展,出現(xiàn)了Hadoop、HBase、Storm、Spark等眾多的開(kāi)源的大數(shù)據(jù)分布式存儲(chǔ)、并行計(jì)算處理框架。大數(shù)據(jù)計(jì)算技術(shù)解決了海量數(shù)據(jù)的收集、存儲(chǔ)、計(jì)算、分析的問(wèn)題。大數(shù)據(jù)技術(shù)已經(jīng)在醫(yī)療、金融、交通、教育、環(huán)保、輿情監(jiān)管等眾多民用領(lǐng)域取得了實(shí)際應(yīng)用,驅(qū)動(dòng)了相關(guān)領(lǐng)域的業(yè)務(wù)模式的創(chuàng)新發(fā)展,取得了良好的經(jīng)濟(jì)社會(huì)效益。在軍事裝備領(lǐng)域,航天、風(fēng)洞等領(lǐng)域試驗(yàn)數(shù)據(jù)得到了一定應(yīng)用,但其本質(zhì)還停留在傳統(tǒng)的數(shù)據(jù)挖據(jù)領(lǐng)域,尚未形成對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用成果。
本文結(jié)合裝備試驗(yàn)數(shù)據(jù)管理需求,研究提出了一種基于裝備試驗(yàn)大數(shù)據(jù)的裝備大數(shù)據(jù)模型,該模型可以指導(dǎo)如何抽取利用裝備試驗(yàn)的歷史資料數(shù)據(jù),利用大數(shù)據(jù)處理技術(shù)挖掘建立裝備決策分析模型知識(shí)庫(kù),并基于知識(shí)庫(kù)提供裝備管理智能化決策支持服務(wù),從而提高裝備數(shù)據(jù)資源的處理分析利用率,將數(shù)據(jù)資源轉(zhuǎn)化為智能化的決策分析服務(wù)。
1 裝備試驗(yàn)數(shù)據(jù)的特點(diǎn)
裝備試驗(yàn)數(shù)據(jù)一般涵蓋裝備試驗(yàn)過(guò)程中產(chǎn)生的所有數(shù)據(jù),長(zhǎng)期以來(lái),試驗(yàn)部門(mén)積累了PB級(jí)的歷史試驗(yàn)數(shù)據(jù)資源,包括紙質(zhì)報(bào)告、電子文檔、膠片、電子照片、音視頻數(shù)據(jù)、雷測(cè)數(shù)據(jù)、遙測(cè)數(shù)據(jù)等,分散在不同的試驗(yàn)終端單位,缺乏統(tǒng)一的數(shù)據(jù)組織與管理規(guī)范平臺(tái)。這些試驗(yàn)數(shù)據(jù)資料具有以下特點(diǎn):
(1)試驗(yàn)數(shù)據(jù)種類繁多。隨著裝備試驗(yàn)范圍的拓展,試驗(yàn)數(shù)據(jù)包括的范圍也越來(lái)越廣,在試驗(yàn)大類方面包括:各型裝備的性能試驗(yàn)數(shù)據(jù),作戰(zhàn)試驗(yàn)相關(guān)的裝備能力效能評(píng)估數(shù)據(jù),裝備體系推演數(shù)據(jù)等;針對(duì)單項(xiàng)試驗(yàn)則包括:裝備、氣象、地理水文環(huán)境、人員保障、業(yè)務(wù)流程等數(shù)據(jù)。
(2)資料數(shù)據(jù)的形式多樣化,結(jié)構(gòu)化的數(shù)據(jù)庫(kù)數(shù)據(jù),又有非結(jié)構(gòu)化的文本、圖像、影像資料,還有半結(jié)構(gòu)化的資料數(shù)據(jù);此外,還存在海量的未數(shù)字化文檔等。
(3)潛在價(jià)值高,價(jià)值相對(duì)穩(wěn)定。與商業(yè)數(shù)據(jù)不同,隨著時(shí)間的的推移,歷史數(shù)據(jù)細(xì)節(jié)不再重要,武器裝備試驗(yàn)數(shù)據(jù)對(duì)于裝備全壽命管理周期有效期很長(zhǎng),可以長(zhǎng)達(dá)十幾年,數(shù)據(jù)價(jià)值隨時(shí)間變化不敏感。
(4)數(shù)據(jù)不斷增長(zhǎng)。隨著后期體系級(jí)裝備試驗(yàn)和貼近實(shí)戰(zhàn)的裝備作戰(zhàn)試驗(yàn)的深入展開(kāi),試驗(yàn)數(shù)據(jù)資源量將承指數(shù)級(jí)迅猛發(fā)展。將有越來(lái)越多的試驗(yàn)數(shù)據(jù)需要管理、分析和利用,傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)方式的數(shù)據(jù)中心方案將很難滿足未來(lái)發(fā)展的需要,需要建立分布式的基于大數(shù)據(jù)的數(shù)據(jù)中心平臺(tái)。
2 裝備試驗(yàn)數(shù)據(jù)的管理需求分析
對(duì)裝備試驗(yàn)數(shù)據(jù)的管理需求主要包括以下4個(gè)方面:
(1)數(shù)據(jù)建模需求:當(dāng)前海量的試驗(yàn)數(shù)據(jù)資源的價(jià)值處于沉睡狀態(tài),由于其底數(shù)不清,格式各異,尚不能對(duì)其進(jìn)行較為深入地應(yīng)用分析,因此對(duì)海量試驗(yàn)數(shù)據(jù)資源進(jìn)行建模,形成有效的管理、治理手段是當(dāng)前需要解決的首要問(wèn)題。
(2)試驗(yàn)任務(wù)評(píng)估需求:基于試驗(yàn)任務(wù)的試驗(yàn)數(shù)據(jù),可以評(píng)估本次試驗(yàn)任務(wù)的實(shí)際效果;基于同類裝備的歷次試驗(yàn)任務(wù),可以進(jìn)行裝備的技術(shù)發(fā)展演化畫(huà)像分析,輔助進(jìn)行裝備技術(shù)改進(jìn)點(diǎn)的挖掘分析決策。
(3)多裝備體系化試驗(yàn)評(píng)估需求:通過(guò)對(duì)裝備、環(huán)境、保障、任務(wù)協(xié)同等多專業(yè)類別的融合挖掘,基于試驗(yàn)數(shù)據(jù)形成可視化的試驗(yàn)進(jìn)程態(tài)勢(shì),輔助進(jìn)行體系效能的綜合評(píng)估。
(4)裝備健康管理需求:基于裝備試驗(yàn)數(shù)據(jù)建立裝備的健康管理模型,基于模型可以預(yù)測(cè)裝備的剩余壽命,根據(jù)裝備實(shí)際狀態(tài)制訂精準(zhǔn)的按需的維護(hù)保障計(jì)劃。
3 裝備試驗(yàn)大數(shù)據(jù)數(shù)據(jù)模型—ETBDIS
裝備試驗(yàn)大數(shù)據(jù)的根本目標(biāo)是為裝備試驗(yàn)活動(dòng)提供智能信息服務(wù)和管理決策,并能夠?yàn)楹笃谘b備使用、裝備維護(hù)保障和裝備技術(shù)發(fā)展提供支撐,所以裝備試驗(yàn)大數(shù)據(jù)模型首先需要考慮數(shù)據(jù)平臺(tái)的服務(wù)內(nèi)容,具體包括:裝備畫(huà)像,裝備建模,裝備健康管理,裝備體系化評(píng)估等。例如:如圖1所示,通過(guò)裝備大數(shù)據(jù)進(jìn)行裝備畫(huà)像,可以對(duì)裝備的質(zhì)量、性能、適用的環(huán)境、維護(hù)保障、健康狀況與剩余壽命、技術(shù)發(fā)展過(guò)程等進(jìn)行定量定性的分析。
本文面向裝備試驗(yàn)數(shù)據(jù)建設(shè)的根本目標(biāo),構(gòu)建設(shè)計(jì)了一個(gè)裝備試驗(yàn)大數(shù)據(jù)模型ETBDIS(Equipment Test Big Data Intelligent Service)。
3.1 ETBDIS模型
ETBDIS模型包括試驗(yàn)數(shù)據(jù)層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)資源體系層、大數(shù)據(jù)知識(shí)挖掘?qū)?、裝備智能服務(wù)層等(如圖2所示),各層的主要功能如下。
試驗(yàn)數(shù)據(jù)層。試驗(yàn)數(shù)據(jù)按照資料數(shù)據(jù)的類型主要分為文本、圖像、測(cè)試測(cè)量數(shù)據(jù)等。
數(shù)據(jù)預(yù)處理層。根據(jù)數(shù)據(jù)類型選擇相應(yīng)的數(shù)據(jù)預(yù)處理方法,比如文本類數(shù)據(jù),可以進(jìn)行實(shí)體提取、摘要提取、關(guān)鍵詞提取等處理,提取出其中的裝備、質(zhì)量、性能、專業(yè)技術(shù)、事件等實(shí)體數(shù)據(jù),以便后續(xù)進(jìn)行實(shí)體關(guān)聯(lián)、事件關(guān)聯(lián)挖掘分析使用;測(cè)試測(cè)量數(shù)據(jù)則需要相應(yīng)的專用數(shù)據(jù)處理軟件,對(duì)數(shù)據(jù)進(jìn)行初步的分析和預(yù)處理。
數(shù)據(jù)資源體系層。對(duì)原始數(shù)據(jù)經(jīng)過(guò)相應(yīng)預(yù)處理后,得到經(jīng)過(guò)分類、標(biāo)注的結(jié)構(gòu)化數(shù)據(jù),進(jìn)而構(gòu)成可以處理分析利用的裝備大數(shù)據(jù)資源。包括:裝備的質(zhì)量、性能、環(huán)境、技術(shù)等維度的數(shù)據(jù)主題,基于這些結(jié)構(gòu)化的數(shù)據(jù)資源可以通過(guò)大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等方法提取相應(yīng)的裝備知識(shí)庫(kù)。
大數(shù)據(jù)知識(shí)挖掘?qū)?。?duì)于裝備數(shù)據(jù)資源中的數(shù)據(jù)主題,可以通過(guò)相應(yīng)的機(jī)器學(xué)習(xí)方法進(jìn)行動(dòng)力學(xué)模型建模、分類規(guī)則挖掘、模式挖掘、特征提取、多實(shí)體關(guān)系知識(shí)挖掘等處理,從數(shù)據(jù)中學(xué)習(xí)建立關(guān)于裝備的各類知識(shí)庫(kù)。
裝備智能服務(wù)層?;跀?shù)據(jù)挖掘構(gòu)建的裝備知識(shí)庫(kù),可以提供相應(yīng)的基于裝備試驗(yàn)大數(shù)據(jù)的智能信息服務(wù)。如:裝備畫(huà)像,裝備健康管理決策,裝備試驗(yàn)任務(wù)評(píng)估,不同環(huán)境體系下的裝備試驗(yàn)仿真推演態(tài)勢(shì)分析等。
3.2 基于ETBDIS的海軍裝備試驗(yàn)數(shù)據(jù)管理特點(diǎn)分析
結(jié)合海軍裝備試驗(yàn)業(yè)務(wù)實(shí)際,ETBDIS模型的主要特點(diǎn)如下:
(1)模型采用分層的架構(gòu),可以通過(guò)標(biāo)準(zhǔn)規(guī)范接口,實(shí)現(xiàn)系統(tǒng)內(nèi)的不同層間的數(shù)據(jù)通信;各層內(nèi)是模塊化結(jié)構(gòu),可以采用微服務(wù)的方式,進(jìn)行靈活的層內(nèi)模塊集成。對(duì)于海軍裝備試驗(yàn)數(shù)據(jù)而言,首先是通過(guò)對(duì)試驗(yàn)文書(shū)資料、攝錄像等圖像資料和測(cè)量測(cè)試等數(shù)據(jù)資料完成對(duì)試驗(yàn)數(shù)據(jù)的統(tǒng)一管理,測(cè)試測(cè)量數(shù)據(jù)根據(jù)試驗(yàn)項(xiàng)目的不同可能用到不同的采集分析工具,數(shù)據(jù)解碼方式也不盡相同,為此形成對(duì)試驗(yàn)數(shù)據(jù)的分布采集框架。
(2)服務(wù)驅(qū)動(dòng)。面向裝備大數(shù)據(jù)智能信息服務(wù)需求。由于海軍裝備試驗(yàn)數(shù)據(jù)涉及裝備門(mén)類多,在數(shù)據(jù)層基礎(chǔ)上通過(guò)預(yù)處理形成統(tǒng)一的試驗(yàn)數(shù)據(jù)體系,形成各類型主題庫(kù),建立試驗(yàn)數(shù)據(jù)間的基礎(chǔ)關(guān)系,進(jìn)而達(dá)到服務(wù)于裝備畫(huà)像、裝備試驗(yàn)評(píng)估、裝備健康管理、不同環(huán)境體系下裝備的試驗(yàn)評(píng)估等裝備管理,既保障了數(shù)據(jù)中心的根本建設(shè)目標(biāo),又較好低保障了數(shù)據(jù)采集處理的必要性。
(3)開(kāi)放的架構(gòu)。裝備試驗(yàn)數(shù)據(jù)涉及多個(gè)利益相關(guān)方,既包括各組織裝備試驗(yàn)的實(shí)體部門(mén)也包括裝備論證、研制、使用方,因此,各參試單位需按照數(shù)據(jù)標(biāo)準(zhǔn)、接口標(biāo)準(zhǔn),在平臺(tái)上實(shí)現(xiàn)各自專業(yè)領(lǐng)域的數(shù)據(jù)的存儲(chǔ),管理、服務(wù),采用開(kāi)放的基礎(chǔ)架構(gòu),實(shí)現(xiàn)按專業(yè)的合理分工和統(tǒng)一的平臺(tái)上實(shí)現(xiàn)大數(shù)據(jù)融合處理分析。
(4)數(shù)據(jù)深度融合處理。裝備試驗(yàn)涉及海量圖片、文檔等海量非結(jié)構(gòu)化處理的處理。例如在海軍裝備試驗(yàn)過(guò)程中涉及各類試驗(yàn)相關(guān)會(huì)議文檔、試驗(yàn)音視頻等,進(jìn)而建立了質(zhì)量、性能、保障維護(hù)、技術(shù)發(fā)展等多維度的數(shù)據(jù)資源,從而達(dá)到可以利用機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等知識(shí)庫(kù)構(gòu)構(gòu)建過(guò)程,提高了數(shù)據(jù)處理深度的目的。
4 結(jié)論
裝備試驗(yàn)工作積累了大量的裝備相關(guān)的資料數(shù)據(jù),本文以整合各單位的試驗(yàn)資料數(shù)據(jù),建立裝備試驗(yàn)數(shù)據(jù)資源體系,提供裝備數(shù)據(jù)智能信息服務(wù)為目標(biāo),研究給出了一個(gè)裝備試驗(yàn)大數(shù)據(jù)模型。該模型具有分層開(kāi)放的架構(gòu),各參試單位可以按照該模型在統(tǒng)一的平臺(tái)上,進(jìn)行試驗(yàn)數(shù)據(jù)的采集處理分析,實(shí)現(xiàn)跨部門(mén)多專業(yè)數(shù)據(jù)的融合,利用裝備數(shù)據(jù)資源平臺(tái),進(jìn)行相應(yīng)的知識(shí)構(gòu)建與智能信息服務(wù),并以海軍裝備試驗(yàn)數(shù)據(jù)管理為例分析了模型的主要特點(diǎn),進(jìn)一步展示了模型的可用性。在未來(lái)研究中,將選幾個(gè)典型裝備進(jìn)行模型平臺(tái)的分步構(gòu)建示范應(yīng)用。
參考文獻(xiàn)
[1] 齊劍鋒,李三群,楊素敏.裝備數(shù)據(jù)工程導(dǎo)論[M].北京:電子工業(yè)出版社,2016.
[2] 龔昕,周大慶,鞠亮,等.武器裝備試驗(yàn)數(shù)據(jù)工程理論與實(shí)踐[M].北京:國(guó)防工業(yè)出版社,2017.
[3] ChrisLoeffler.如何進(jìn)行出色的數(shù)據(jù)中心設(shè)計(jì)[J].電源技術(shù)應(yīng)用,2011(9):72-73.
[4] 張新宇.大數(shù)據(jù)時(shí)代的數(shù)據(jù)架構(gòu)設(shè)計(jì)[J].中國(guó)金融電腦,2015(8):32-35.
[5] 朱玉立,任義廷,高甲子,等.淺談大數(shù)據(jù)時(shí)代下的數(shù)據(jù)中心運(yùn)維管理[J].信息系統(tǒng)工程,2015(11):101-102,106.
[6] 楊彬.云計(jì)算數(shù)據(jù)中心資源的節(jié)能管理[J].電腦編程技巧與維護(hù),2015(22):61-63.
[7] 陳劍.淺談傳統(tǒng)數(shù)據(jù)中心與模塊化數(shù)據(jù)中心[J].智能建筑與城市信息,2015(11):74-75.
[8] 陸江東,戴卓臣,鄭奮.基于云平臺(tái)的虛擬化機(jī)房管理系統(tǒng)[J].兵器裝備工程學(xué)報(bào),2013,34(12):64-65.
[9] 錢瓊芬,李春林,張小慶,等.云數(shù)據(jù)中心虛擬資源管理研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2012,29(7):2411-2415.
[10] 張俊衛(wèi),王晶,張偉功,等.基于大數(shù)據(jù)的高能效數(shù)據(jù)中心服務(wù)器研究[J].計(jì)算機(jī)工程,2017,43(8):74-81.
作者信息:
陳 峰,李 一,馬躍飛
(中國(guó)人民解放軍92493部隊(duì),遼寧 葫蘆島125000)