文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.190761
中文引用格式： 任李娟，盧軍，郭維. 公共元數(shù)據(jù)配置管理平臺設計[J].電子技術應用，2020，46(1)：100-103.
英文引用格式： Ren Lijuan，Lu Jun，Guo Wei. Public metadata configuration management platform design[J]. Application of Electronic Technique，2020，46(1)：100-103.
0 引言
隨著信息技術不斷發(fā)展，各領域數(shù)據(jù)資源不斷擴大，數(shù)據(jù)量呈幾何增長，數(shù)據(jù)呈現(xiàn)多樣性。不同平臺之間元數(shù)據(jù)資源分散、資源反復存儲，使得數(shù)據(jù)共享難的問題日益嚴重。元數(shù)據(jù)是實現(xiàn)科學數(shù)據(jù)共享的4種方式之一[1]，因此集中配置管理公共元數(shù)據(jù)為解決這一問題提供了有效途徑。元數(shù)據(jù)(Metadata)是“關于數(shù)據(jù)的數(shù)據(jù)”或“關于信息的信息”[2]。如年齡、身高、性格等就是描述人的元數(shù)據(jù)，可根據(jù)其推測人的樣子。元數(shù)據(jù)可以記錄數(shù)據(jù)的來龍去脈，可以把整個業(yè)務的工作流、信息流有效地管理起來，提高平臺的可擴展性[3]。而公共元數(shù)據(jù)是指在領域中可通用的并具有重要參照意義的元數(shù)據(jù)，其需要滿足一定的行業(yè)標準，標準中除要詳細列出實體與元素集以外，還要說明元數(shù)據(jù)標準適用范圍、參考標準、術語與定義、元數(shù)據(jù)分級、元數(shù)據(jù)性質、標識、格式和類型以及元數(shù)據(jù)擴展原則等[4]。元數(shù)據(jù)在科學數(shù)據(jù)領域中的研究與應用取得了較大進展，科學元數(shù)據(jù)標準的逐漸豐富和發(fā)展為元數(shù)據(jù)在科學數(shù)據(jù)不同領域的應用提供較為充分的工具和標準[5]。
目前，元數(shù)據(jù)存儲分散使各平臺中元數(shù)據(jù)難以共享，元數(shù)據(jù)反復存儲浪費了存儲空間。為解決此問題，本文提出將公共元數(shù)據(jù)集中管理，通過Web Service技術提供對外的公共元數(shù)據(jù)配置服務與共享服務，并利用Redis內存數(shù)據(jù)庫來提高服務速度。實際上，平臺不僅保證了元數(shù)據(jù)的統(tǒng)一管理和高速共享，也簡化各平臺數(shù)據(jù)交換的流程，使平臺間只需開發(fā)簡單的接口調用和數(shù)據(jù)解析功能即可完成數(shù)據(jù)交互。
1 元數(shù)據(jù)配置管理研究現(xiàn)狀
SUFI S等[6]認為元數(shù)據(jù)描述框架相比元數(shù)據(jù)內容標準，其承擔的指導性和框架性作用更強，不局限于特定領域的術語平臺限制，強調了數(shù)據(jù)描述框架在領域中的重要性，對元數(shù)據(jù)配置管理在領域中的指導性與框架性給予肯定。同時，Jian Qin等[7]指出，龐大的、復雜的標準和廣泛多樣的命名實踐是構建元數(shù)據(jù)基礎設施的主要障礙，而可移植是元數(shù)據(jù)方案“基礎結構”的必要條件或先決條件，因此在元數(shù)據(jù)配置管理上統(tǒng)一元數(shù)據(jù)標準是構建平臺的基礎。
元數(shù)據(jù)的應用不僅能提高平臺的靈活性與適應性，強化其穩(wěn)定性，也使平臺更易維護[8]，同時利用元數(shù)據(jù)的整合，可提高平臺靈活性與適應性，提高數(shù)據(jù)質量控制力度[9]。在元數(shù)據(jù)的配置管理上，王國復等[10]對元數(shù)據(jù)在科學數(shù)據(jù)共享平臺的作用、元數(shù)據(jù)的分類、元數(shù)據(jù)的管理、元數(shù)據(jù)平臺和元數(shù)據(jù)的應用模型進行了闡述。隨后，張英俊[11]提出利用元數(shù)據(jù)的標準化來統(tǒng)一管理分布式的數(shù)據(jù)資源，通過網(wǎng)絡實現(xiàn)數(shù)據(jù)共享與服務，使得用戶能夠快速準確地獲取所需科學數(shù)據(jù)。進一步地，周寶平[12]提出元數(shù)據(jù)匯交、數(shù)據(jù)發(fā)布、元數(shù)據(jù)檢索以及多種方式的數(shù)據(jù)共享等功能。
總的來說，國內外學者都已十分重視元數(shù)據(jù)的應用。目前，在統(tǒng)一元數(shù)據(jù)標準與跨平臺數(shù)據(jù)共享上的研究比較充分，但在元數(shù)據(jù)跨平臺配置管理與高效服務上的研究仍然不足。本文利用Web Service與Redis技術，設計了一種可跨平臺配置管理公共元數(shù)據(jù)并提供高效共享服務的平臺，有助于組織和管理海量數(shù)據(jù)資源，提高數(shù)據(jù)利用率。
2 元數(shù)據(jù)配置管理特點
元數(shù)據(jù)配置管理平臺應具有以下特點：
(1)數(shù)據(jù)適用性。平臺數(shù)據(jù)應采用行業(yè)通用標準，數(shù)據(jù)標準化可提高數(shù)據(jù)適用性，易與不同平臺進行數(shù)據(jù)交換。如氣象大數(shù)據(jù)平臺中，配置管理平臺采用國家氣象信息中心制定的我國氣象數(shù)據(jù)集元數(shù)據(jù)格式標準(草案)將元數(shù)據(jù)標準化，以適用于氣象大數(shù)據(jù)平臺建設和數(shù)據(jù)集的編目、歸檔、發(fā)布和交換等。
(2)跨平臺性。平臺應具有跨平臺的特性，為數(shù)據(jù)匯交、數(shù)據(jù)共享提供可行性。元數(shù)據(jù)配置管理平臺作為平臺的基礎部分，元數(shù)據(jù)匯交與元數(shù)據(jù)的共享都依賴平臺跨平臺性。
(3)高效性。平臺應具有高速響應并發(fā)訪問的能力，為不同平臺提供高效的在線元數(shù)據(jù)支持。元數(shù)據(jù)配置管理的目的是集中元數(shù)據(jù)資源，實現(xiàn)公共元數(shù)據(jù)的共享，提高元數(shù)據(jù)利用率。平臺的高效性提高了元數(shù)據(jù)共享效率，是平臺穩(wěn)定運行的保障。
3 元數(shù)據(jù)配置管理平臺設計
元數(shù)據(jù)是數(shù)據(jù)的基本信息，有助于數(shù)據(jù)的分類標注[13]。元數(shù)據(jù)的配置管理不僅能集中資源與節(jié)省存儲，還能幫助組織和管理平臺數(shù)據(jù)資源。公共元數(shù)據(jù)的配置管理是一個動態(tài)過程，既需要滿足公共元數(shù)據(jù)跨平臺的匯交，同時需要對配置信息進行審核，審核成功后的元數(shù)據(jù)需要通過接口為其他平臺提供數(shù)據(jù)共享服務。
3.1 平臺架構
平臺是針對元數(shù)據(jù)集中化配置管理與共享而設計的，主要功能包括個人信息管理、配置管理、審核管理、接口管理、用戶管理。平臺架構圖如圖1所示。
管理員根據(jù)平臺中人員的安排，在用戶管理功能中對用戶信息進行維護，可以增加、刪除、修改和查詢用戶。當平臺人員離職后，管理員需要將該用戶狀態(tài)修改為離職，限制其登錄平臺以保證平臺數(shù)據(jù)的安全性。當平臺人員權限有所變化時，管理員需要及時修改信息，以便用戶正常使用平臺。
審核員主要負責對配置后的公共元數(shù)據(jù)進行審核，也可以查看整個審核流程。審核員可分為多個級別，應具有一定的專業(yè)知識，以保證公共元數(shù)據(jù)的正確性。
操作員可增加、刪除、修改、查看公共元數(shù)據(jù)，對元數(shù)據(jù)配置后，操作員可查看審核進度。操作員可以在接口管理中查看、配置、監(jiān)測公共元數(shù)據(jù)采集接口與共享接口，也可以修改接口的發(fā)布狀態(tài)。其中，接口狀態(tài)為打開時其他平臺可以調用，狀態(tài)為關閉時其他平臺不可調用。
3.2 主要功能
3.2.1 配置管理
配置管理分為配置元數(shù)據(jù)與查看審核功能。配置元數(shù)據(jù)功能中，配置方式分為新增、變更、廢止。由平臺人員根據(jù)業(yè)務需求在數(shù)據(jù)配置頁面對元數(shù)據(jù)進行配置，配置成功可查詢流程信息。新增時，平臺生成流程單并將新增的元數(shù)據(jù)存入臨時表中，直到流程審批成功才會存入正式表。變更與廢止時，平臺會生成流程單并拷貝正式表中被配置的元數(shù)據(jù)到臨時表中，直到流程審批成功后，才會修改正式表中的數(shù)據(jù)。查看審核功能用于操作員查看審核狀態(tài)，以便實時跟蹤元數(shù)據(jù)審核情況。
配置成功后的待審批元數(shù)據(jù)將存入到臨時表中，等待流程審批人員審核通過后再將其存入正式表中。平臺使用臨時表存儲，既能實現(xiàn)對元數(shù)據(jù)配置進行監(jiān)控，也能減少數(shù)據(jù)誤配置造成的數(shù)據(jù)污染。配置管理流程圖如圖2所示。
3.2.2 審核管理
審核管理分為審核申請與查看審核流程功能。審核申請功能是具有相應權限的審核員對配置元數(shù)據(jù)后生成的申請進行審核。其中，元數(shù)據(jù)配置成功后便會對此配置信息生成對應的流程信息，每一級的審核員審核完成都會產(chǎn)生一條流程信息。查看審批流程功能用于跟蹤配置信息的審核過程，便于追溯配置過程。
審核管理是元數(shù)據(jù)質量的保證，需要十分熟悉業(yè)務的人員才能進行審核，不正確的數(shù)據(jù)易造成參照錯誤，產(chǎn)生不可逆的影響。審核管理流程圖如圖3所示。
3.2.3 接口管理
接口管理分為配置接口、狀態(tài)管理與監(jiān)測接口功能。配置接口功能主要用于管理接口的增加、刪除、修改、查詢操作。狀態(tài)管理功能是用于管理接口的狀態(tài)，狀態(tài)分為打開狀態(tài)與關閉狀態(tài)。監(jiān)測接口用于操作員監(jiān)測接口調用情況，打開的狀態(tài)下可以進行實時監(jiān)控，關閉的情況下只能查看歷史監(jiān)控信息，一般有調用頻度、數(shù)據(jù)狀況等。
平臺中接口主要分為數(shù)據(jù)采集接口與數(shù)據(jù)共享接口兩類。具體地，兩類接口由平臺操作人員配置并發(fā)布，使用Web Service技術實現(xiàn)，使其他業(yè)務平臺通過網(wǎng)絡訪問，根據(jù)業(yè)務不同傳遞不同的參數(shù)。平臺發(fā)布接口后根據(jù)WSDL文檔，加入描述信息生成接口文檔，便于其他業(yè)務平臺使用。其中，WSDL文檔是用來描述Web 服務及Web服務通信過程的XML語言[14]。
數(shù)據(jù)采集接口提供公共元數(shù)據(jù)配置服務，主要是供其他平臺調用以實現(xiàn)公共元數(shù)據(jù)的跨平臺配置。具體地，其他平臺根據(jù)接口文檔將需要配置的公共元數(shù)據(jù)信息拼接為XML格式并發(fā)送到Web服務器，Web服務器接收后根據(jù)請求參數(shù)后通過SOAP（Simple Object Access Protocol）發(fā)送數(shù)據(jù)包，并在分布式的服務器上調用相應Web Service。配置管理平臺服務器接收數(shù)據(jù)到請求數(shù)據(jù)后進行信息校驗，校驗成功后將配置的公共元數(shù)據(jù)存入臨時表中，并生成審核申請與流程信息，然后將結果集生成XML文檔返回[15]。
數(shù)據(jù)共享接口提供公共元數(shù)據(jù)共享服務，主要是供不同平臺調用以實現(xiàn)公共元數(shù)據(jù)的跨平臺高效共享。具體地，其調用過程與數(shù)據(jù)采集接口相似，不同之處在于請求參數(shù)與數(shù)據(jù)處理過程上。在數(shù)據(jù)共享接口中，請求參數(shù)是用于定位共享的公共元數(shù)據(jù)，一般是數(shù)據(jù)分類等。同時，為提供高效共享服務，數(shù)據(jù)共享接口中的數(shù)據(jù)處理是先從Redis內存數(shù)據(jù)庫中查詢數(shù)據(jù)，不滿足時再讀取數(shù)據(jù)庫將數(shù)據(jù)取出并生成XML格式的查詢結果集返回，并將數(shù)據(jù)存入內存數(shù)據(jù)庫中。接口管理流程圖如圖4所示。
3.3 平臺主要支撐技術
配置管理平臺主要采用Web Service技術實現(xiàn)跨平臺接口發(fā)布，利用Redis內存數(shù)據(jù)庫來提高數(shù)據(jù)響應速度。
Web Service是一種通過Web部署提供對業(yè)務功能訪問的技術，具有跨平臺、簡單和高度可集成能力等特點[16]。通常被定義為一組模塊化的API，可通過網(wǎng)絡進行調用，執(zhí)行遠程平臺的請求服務。同時，Web Service為多層分布式應用平臺的構建創(chuàng)造了條件，使開發(fā)人員可以將來自不同地方的Web Service組裝起來, 并在應用程序中使用[17]。依據(jù)Web Service規(guī)范實施的平臺之間即使開發(fā)語言、平臺或內部協(xié)議不一致也可相互交換數(shù)據(jù)。Web Service的發(fā)現(xiàn)、訪問、集成和調用需要通過UDDI、WSDL、SOAP來完成[18]。具體地，Web服務客戶端應用程序通過名字、分類、標識符等從UDDI 注冊中心查詢所需的服務，一旦找到，客戶便從UDDI注冊中心獲取WSDL 文檔的位置信息，并按照WSDL 中發(fā)現(xiàn)的XML 模式生成一個SOAP 消息，發(fā)送給服務端。
Redis是高性能的key-value數(shù)據(jù)庫，支持存儲類型有字符串、鏈表、集合、有序集合和哈希類型，為保證效率將數(shù)據(jù)緩存在內存中[19]。Redis數(shù)據(jù)庫具有持久化、多數(shù)據(jù)結構的支持、支持主從復制、Virtual Memory功能等特征[20]。Redis數(shù)據(jù)庫的數(shù)據(jù)模型是建立在外層，類似于其他結構化存儲平臺。不同于其他結構化存儲平臺的是，其支持在多種數(shù)據(jù)類型上做多種原子性操作，這也是Redis數(shù)據(jù)庫高效性的原因之一[21]。Redis基于內存的特性使其具有高速讀的優(yōu)點，查詢響應時間為納秒級。
平臺使用Web Service技術，提供數(shù)據(jù)采集接口、數(shù)據(jù)共享接口，使網(wǎng)絡連接的不同平臺可通過接口進行數(shù)據(jù)交互，實現(xiàn)了公共元數(shù)據(jù)的統(tǒng)一配置管理。同時，利用Redis內存數(shù)據(jù)庫的回收策略將超過設置的過期時間的數(shù)據(jù)淘汰，利用其基于內存的特性實現(xiàn)高速共享元數(shù)據(jù)，利用其持久化的特性也能提高數(shù)據(jù)的安全性。
4 結論
公共元數(shù)據(jù)配置管理平臺使用Web Service技術解決跨平臺配置數(shù)據(jù)與共享數(shù)據(jù)，利用Redis內存數(shù)據(jù)庫提高公共元數(shù)據(jù)共享效率。平臺將公共元數(shù)據(jù)統(tǒng)一配置管理，提供統(tǒng)一參照，提供高效數(shù)據(jù)共享服務，解決元數(shù)據(jù)重復存儲難以共享的問題，節(jié)省硬件資源，節(jié)約人力。同時，平臺的設計有助于了解組織和管理平臺數(shù)據(jù)資源、提供數(shù)據(jù)發(fā)現(xiàn)、檢索服務。實際上，平臺的設計滿足跨平臺、可擴展性的要求，對其他類似的基于元數(shù)據(jù)的數(shù)據(jù)共享平臺具有一定參考意義。
參考文獻
[1] 王培正，張志強，吳一民.科學數(shù)據(jù)共享方式研究[J].科技管理研究，2010(17)：201-204.
[2] 吳增祥，臧海佳，王國復.氣象科學數(shù)據(jù)與氣象數(shù)據(jù)集元數(shù)據(jù)[C]科學數(shù)據(jù)管理與共享.北京：中國科學技術出版社，2002.
[3] 謝益武，何宇峰，曹志英.基于模式的CWM元數(shù)據(jù)交換方法的研究[J].電子技術應用，2007，33(11)：114-116，120.
[4] 王國復，徐楓，吳增祥.氣象元數(shù)據(jù)標準與信息發(fā)布技術研究[J].應用氣象學報，2005，16(1)：115-121.
[5] 黃如花，邱春艷.國內外科學數(shù)據(jù)元數(shù)據(jù)研究進展[J].圖書與情報，2014(6)：102-108.
[6] SUFI S，MATTHEWS B.A metadata model for the discovery and exploitation of scientific studies[M].Knowledge and Data Management in GRIDs.Springer US，2007.
[7] Jian Qin，Li Kal.How portable are the metadata standards for scientific data? A proposal for a metadata infrastructure[EB/OL].[2014-08-09].http：//jianqin.metadataetc.org/wp-content/uploads/2013/08/DC2013-metadatad-portability.pdf.
[8] 王小奇，王英.分析電信資源管理的主要問題及元數(shù)據(jù)的應用策略[J].數(shù)據(jù)庫技術，2017(20)：187-188.
[9] 余葉蘭.基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理體系研究[J].湖北第二師范學院學報，2017，34(2)：38-40.
[10] 王國復，涂勇，王卷樂，等.科學數(shù)據(jù)共享中的元數(shù)據(jù)技術研究[J].中國科技資源導刊，2008，40(1)：30-36.
[11] 張英俊.基于元數(shù)據(jù)技術的科學數(shù)據(jù)共享平臺設計與實現(xiàn)[J].太原科技，2008，177(10)：9-11.
[12] 周寶平.論科學數(shù)據(jù)共享平臺的設計與實現(xiàn)[J].山西科技，2010，25(2)：48-49.
[13] 趙卓寧，李湘，舒紅平，等.氣象大數(shù)據(jù)資源匯交可視化分析研究[J].氣象科技進展，2018，8(1)：203-207，263.
[14] 于洪波，劉鴻飛，方麗英，等.基于Web服務的物聯(lián)接入系統(tǒng)設計[J].電子技術應用，2015，41(7)：33-36，43.
[15] 焦圣明，嚴明良，郭靜，等.基于WebService的分布式交通氣象信息共享技術研究[J].計算機工程與科學，2012，24(3)：196-200.
[16] 胡澤，廖聞劍，彭艷兵.WebService技術研究及應用[J].硅谷，2009(5)：48.
[17] 龔小勇，羅軍.Web Service技術在開發(fā)多層分布式數(shù)據(jù)庫系統(tǒng)中的應用研究[J].計算機應用研究，2004，21(8)：55-57.
[18] 甄少鵬.淺談WebService與主流實現(xiàn)技術框架[J].湖南農(nóng)機，2012，39(1)：62，64.
[19] 曾超宇，李金香.Redis在高速緩存系統(tǒng)中的應用[J].微型機與應用，2013，32(12)：11-13.
[20] 楊曉軍，臧飛，李春雷.云計算在軍事領域中的應用分析[J].電子技術應用，2018，44(6)：129-132，137.
[21] 馬豫星.Redis數(shù)據(jù)庫特性分析[J].物聯(lián)網(wǎng)技術，2015(3)：105-106.
作者信息:
任李娟，盧 軍，郭 維
(成都信息工程大學 軟件工程學院，四川 成都610225)