轉(zhuǎn)載本文需注明出處違者必究。
01數(shù)據(jù)中心發(fā)展的趨勢
信息技術(shù)應(yīng)用創(chuàng)新發(fā)展是目前的一項國家戰(zhàn)略,也是當今形勢下國家經(jīng)濟發(fā)展的新動能。發(fā)展信創(chuàng)是為了近年來保障核心技術(shù)自主可控解決安全的本質(zhì)問題,目前,國家在全國范圍內(nèi)各省、自治區(qū)、直轄市均建有大型或超大型數(shù)據(jù)中心。數(shù)據(jù)中心雖然用電量占全社會用電量的比例接近1%,卻拉動了36.2%的國內(nèi)生產(chǎn)總值,數(shù)據(jù)中心建設(shè)成為經(jīng)濟發(fā)展的新支點。
數(shù)據(jù)中心的建設(shè)是需要通過數(shù)據(jù)交換將各個地方的數(shù)據(jù)信息收集起來,解決數(shù)據(jù)的互通問題。這里面數(shù)據(jù)中心的核心任務(wù)是要將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起。使用戶能夠以透明的方式訪問這些數(shù)據(jù)源達到數(shù)據(jù)共享的目的。
02數(shù)據(jù)中心與數(shù)據(jù)交換
隨著社會的發(fā)展科技的進步,近些年來政府和企業(yè)部門都已經(jīng)建立起自己的業(yè)務(wù)系統(tǒng),并在日常業(yè)務(wù)處理中發(fā)揮著重要的作用。由于受各種條件的限制,在建設(shè)初期各部門獨立建設(shè)自己的系統(tǒng),導致信息孤島現(xiàn)象大量存在,嚴重制約了數(shù)字化業(yè)務(wù)的進一步發(fā)展。當今社會已經(jīng)進入了數(shù)據(jù)驅(qū)動創(chuàng)新的發(fā)展階段,而大數(shù)據(jù)中心是支撐數(shù)字經(jīng)濟發(fā)展的關(guān)鍵,在數(shù)據(jù)經(jīng)濟時代,計算力已經(jīng)與水、電一樣成為最基本的社會基礎(chǔ)設(shè)施之一,而大數(shù)據(jù)中心是集中存放計算、存儲以及網(wǎng)絡(luò)設(shè)備的場所,是承載計算力的關(guān)鍵基礎(chǔ)設(shè)施。
數(shù)據(jù)中心的建設(shè)離不開數(shù)據(jù),數(shù)據(jù)交換平臺是數(shù)據(jù)中心與上下級部門或單位之間獲取數(shù)據(jù)的交換機。數(shù)據(jù)交換平臺是把不同來源、不同物理存儲中的數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換、清洗并將數(shù)據(jù)存儲到不同的目標數(shù)據(jù)源的數(shù)據(jù)處理過程。數(shù)據(jù)交換中主要包含了三類數(shù)據(jù)的交換包括文件交換、接口交換、ETL交換。根據(jù)交換業(yè)務(wù)的不同采用不同的方式進行交換。
文件交換這里指的是二進制形式的文件比如圖片、電影、壓縮文件等數(shù)據(jù)類型,通常是以文件方式進行的存儲。這種類型的數(shù)據(jù)通常適合采用文件交換,文件交換一般是不會解析文件的內(nèi)容,采用拷貝的方式將文件復制到目標存儲中進行數(shù)據(jù)交換。
接口交換一般情況是數(shù)據(jù)來源是以http、webservice、restful形式發(fā)布的數(shù)據(jù),這種類型的數(shù)據(jù)需要有請求對數(shù)據(jù)進行訪問從而獲取到數(shù)據(jù),這種數(shù)據(jù)進行交換如果目標也是接口,則采用ESB總線的方式將來源接口和目標接口進行匹配交換。如果這種類型的數(shù)據(jù)進行數(shù)據(jù)交換的目標是其他類型的數(shù)據(jù)形式,比如:可以通過訪問來源接口的數(shù)據(jù)通過數(shù)據(jù)轉(zhuǎn)換存儲成文件數(shù)據(jù),也可以存儲到數(shù)據(jù)庫中。這種情況下可采用ETL的方式進行交換。
ETL交換能夠?qū)⒋蟛糠纸Y(jié)構(gòu)化存儲的數(shù)據(jù)進行抽取,包括數(shù)據(jù)庫、excel、txt、xml等結(jié)構(gòu)化存儲可解析的數(shù)據(jù),ETL交換時是將數(shù)據(jù)源中的數(shù)據(jù)以行為單位,列為組成單元的形式解析出來,提供多種過濾清洗的組件對抽取出來的數(shù)據(jù)進行清洗轉(zhuǎn)換,最終將數(shù)據(jù)存放到目標存儲中。
這些看似簡單的過程,其實在真正實施數(shù)據(jù)中心建設(shè)的時候有很多工作要做。下面以數(shù)據(jù)中心建設(shè)為例進行講解。
03數(shù)據(jù)交換組織建設(shè)
在進行數(shù)據(jù)中心建設(shè)前需要考慮保障數(shù)據(jù)接入和數(shù)據(jù)交換工作的順利推進會先進行數(shù)據(jù)交換規(guī)范的制定。數(shù)據(jù)交換規(guī)范,明確數(shù)據(jù)交換平臺管理流程、各環(huán)節(jié)任務(wù)、參與者的職責以及各環(huán)節(jié)的輸入、輸出和產(chǎn)出物。
數(shù)據(jù)交換規(guī)范涵蓋數(shù)據(jù)服務(wù)定義、實現(xiàn)、上線、運行、變更和退役的過程,數(shù)據(jù)交換管理規(guī)范從這六個階段進行管理每個階段的主要工作內(nèi)容、參與角色及其工作職責,以及需要遵循的規(guī)范和原則,進而保障數(shù)據(jù)交換管理活動都在規(guī)范的管理下受控。為了落實規(guī)范的執(zhí)行由上級單位牽頭,下級單位和相關(guān)廠商配合進行組織建設(shè),成立數(shù)據(jù)交換的管理層形成數(shù)據(jù)交換管理組。主要負責數(shù)據(jù)交換規(guī)范的制定和對執(zhí)行情況的監(jiān)督;操作層由數(shù)據(jù)交換平臺的數(shù)據(jù)管理員、開發(fā)人員、運維人員和外圍系統(tǒng)相關(guān)人員組成,主要負責交換平臺相關(guān)的技術(shù)操作工作。
數(shù)據(jù)交換管理組是數(shù)據(jù)交換規(guī)范的制定者、監(jiān)督者,主要負責數(shù)據(jù)交換規(guī)范的制定、對數(shù)據(jù)交換執(zhí)行過程進行管理和監(jiān)控。推動數(shù)據(jù)交換管理活動,確保管理體系和系統(tǒng)工具的執(zhí)行,定期了解數(shù)據(jù)交換作業(yè)的運行情況,評估數(shù)據(jù)交換和服務(wù)管理的績效,保證數(shù)據(jù)交換管理最終實現(xiàn)業(yè)務(wù)目標。
數(shù)據(jù)管理員是企業(yè)數(shù)據(jù)資源的管理人員,主要負責數(shù)據(jù)資源的注冊和維護,相關(guān)權(quán)限的審批,及相關(guān)評審工作。
開發(fā)人員負責數(shù)據(jù)資源交換任務(wù)的開發(fā)工作。
運維人員主要負責數(shù)據(jù)交換平臺的安裝部署以及日常的平臺運行狀態(tài)的監(jiān)控,保證平臺穩(wěn)定運行。
其他相關(guān)人員包括數(shù)據(jù)交換的各參與方人員,主要包括數(shù)據(jù)提供者和數(shù)據(jù)消費者,相關(guān)業(yè)務(wù)應(yīng)用開發(fā)和管理人員。
建設(shè)管理工作涉及不同人和角色之間的管理和相互配合,這需要在許多不同的利益相關(guān)者之間達成共識。因此在數(shù)據(jù)交換平臺建設(shè)中成立專業(yè)化的項目管理組織是一項重要工作。
數(shù)據(jù)交換管理可以有效地保證項目管理組織目標的實現(xiàn),有效地應(yīng)付項目環(huán)境的變化,滿足項目組織成員的各種需求,使其具有凝聚力、組織力和向心力,以保證項目組織系統(tǒng)正常運轉(zhuǎn),確保數(shù)據(jù)交換平臺建設(shè)工作順利完成。組織成立后需要進行相關(guān)管理規(guī)范和技術(shù)規(guī)范的制定,可根據(jù)自身企業(yè)的實際情況來制定這里就不展開討論。
04數(shù)據(jù)交換在數(shù)據(jù)中心建設(shè)
數(shù)據(jù)交換平臺是數(shù)據(jù)中心與其它應(yīng)用系統(tǒng)溝通的橋梁,是進行數(shù)據(jù)交換的樞紐站。數(shù)據(jù)交換平臺負責從各個業(yè)務(wù)系統(tǒng)采集數(shù)據(jù),對數(shù)據(jù)進行清洗與整合,按照數(shù)據(jù)中心建設(shè)標準規(guī)范化原始數(shù)據(jù),最終形成各種主題庫。
數(shù)據(jù)中心建設(shè)包括這幾個步驟:
1、數(shù)據(jù)源:數(shù)據(jù)的來源,一般是由不同部門的各類來源數(shù)據(jù),包括文件、數(shù)據(jù)庫、Http服務(wù)等2、數(shù)據(jù)匯聚:存放的是接入的原始數(shù)據(jù)。經(jīng)過ETL之后裝入本層,大多是按照源頭業(yè)務(wù)系統(tǒng)的分類方式而分類的。為了考慮后續(xù)可能追溯數(shù)據(jù)為題,因此對這一層不建議做過多的數(shù)據(jù)清洗工作,原封不動接入源數(shù)據(jù)即可,至于數(shù)據(jù)的去噪,去重,異常值處理等過程可以放在后面的DW層3、數(shù)據(jù)處理:是對匯聚的原始數(shù)據(jù)進行初步的ETL處理,實現(xiàn)對數(shù)據(jù)的清洗、加工,補全各類信息(包括編碼字典解釋等),這個步驟的目的是實現(xiàn)數(shù)據(jù)的規(guī)范化,這里的數(shù)據(jù)也是落地存儲物理庫,作為抽取中間庫DWD層4、數(shù)據(jù)融合:是對規(guī)范化的原始數(shù)據(jù)進行融合處理,建立數(shù)據(jù)之間的關(guān)系模型。數(shù)據(jù)融合主要是按照主題或業(yè)務(wù)領(lǐng)域進行數(shù)據(jù)建模。5、數(shù)據(jù)集市:是對領(lǐng)域模型數(shù)據(jù)進行匯總統(tǒng)計分析,將統(tǒng)計分析的結(jié)果進行存儲,可以理解為報表決策數(shù)據(jù)所使用的統(tǒng)計表,結(jié)合大數(shù)據(jù)分析將分析結(jié)果在集市層存儲,為上層應(yīng)用提供統(tǒng)計數(shù)據(jù)。
05數(shù)據(jù)交換平臺建設(shè)架構(gòu)
數(shù)據(jù)中心離不開數(shù)據(jù),數(shù)據(jù)中心的數(shù)據(jù)是將各個分部門中的數(shù)據(jù)通過數(shù)據(jù)交換到數(shù)據(jù)中心的,在分部門和數(shù)據(jù)中心進行數(shù)據(jù)交換時會建設(shè)數(shù)據(jù)交換的前置區(qū)進行數(shù)據(jù)隔離保障數(shù)據(jù)的安全。前置交換節(jié)點通過數(shù)據(jù)文件的方式和數(shù)據(jù)中心交換數(shù)據(jù)。前置機位于廣域網(wǎng),通過Internet和交換中心相連。在和數(shù)據(jù)中心交換時只交換數(shù)據(jù)中心所需要的數(shù)據(jù)并不會將所有的業(yè)務(wù)數(shù)據(jù)都交換到數(shù)據(jù)中心。前置節(jié)點中會部署一套前置交換系統(tǒng)用于將業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)交換到前置區(qū)中,數(shù)據(jù)中心會定期從前置區(qū)的固定目錄中獲取數(shù)據(jù)中心所需要的數(shù)據(jù)進行數(shù)據(jù)交換,交換采用安全加密的協(xié)議保障數(shù)據(jù)的安全。在數(shù)據(jù)交換到數(shù)據(jù)中心時會先進行數(shù)據(jù)質(zhì)量檢核確保數(shù)據(jù)是符合規(guī)范的,如果檢核通過則由數(shù)據(jù)中心中的數(shù)據(jù)交換系統(tǒng)將數(shù)據(jù)存入中心庫,如果沒有通過檢核則會通知相關(guān)部門進行數(shù)據(jù)修正,解決數(shù)據(jù)問題后在進行數(shù)據(jù)交換。
數(shù)據(jù)同步到數(shù)據(jù)中心后就由數(shù)據(jù)中心的數(shù)據(jù)交換系統(tǒng)進行數(shù)據(jù)匯聚、數(shù)據(jù)處理、數(shù)據(jù)融合和數(shù)據(jù)集市的操作。以前的數(shù)據(jù)中心建設(shè)只是將數(shù)據(jù)集中管理起來進行了一些基本的數(shù)據(jù)統(tǒng)計和分析,沒有充分的發(fā)揮數(shù)據(jù)的價值。使得數(shù)據(jù)中心的建設(shè)又變成了一個新的數(shù)據(jù)孤島。隨著近些年來數(shù)據(jù)開放共享的呼聲越來越高,數(shù)據(jù)共享成為了數(shù)據(jù)中心建設(shè)的一個重要組成。
數(shù)據(jù)共享能夠以多種方式提供數(shù)據(jù),用戶可根據(jù)自己的需要在數(shù)據(jù)交換平臺上進行數(shù)據(jù)的申請或訂閱獲取到想要的數(shù)據(jù),數(shù)據(jù)管理方也能夠通過數(shù)據(jù)交換平臺對數(shù)據(jù)共享進行開放和管理。通過數(shù)據(jù)共享能夠?qū)?shù)據(jù)進行融合形成許多建立在數(shù)據(jù)共享開放之上的應(yīng)用如雨后春筍一般迅速實現(xiàn)。
06數(shù)據(jù)交換功能
數(shù)據(jù)交換平臺的是實現(xiàn)數(shù)據(jù)中心建設(shè)重要的組成,數(shù)據(jù)交換平臺的功能主要有以下幾部分組成:
資源目錄管理:基于資源目錄管理規(guī)范,采用分級、分域的方式對需要交換的數(shù)據(jù)元數(shù)據(jù)進行管理,向數(shù)據(jù)交換開發(fā)人員、數(shù)據(jù)管理人員以目錄的形式提供元數(shù)據(jù)的展示。數(shù)據(jù)服務(wù)目錄管理主要功能包含:元數(shù)據(jù)管理、分類管理、目錄編目、目錄管理和目錄服務(wù)。
服務(wù)接口管理:數(shù)據(jù)交換平臺中提供了服務(wù)接口管理功能,通過分層的方法進行可視化的服務(wù)管理,像服務(wù)操作注釋,服務(wù)操作參數(shù),服務(wù)操作返回值等都提供相應(yīng)的用戶界面。服務(wù)接口管理主要功能包含:接口注冊、接口管理、接口構(gòu)建、服務(wù)監(jiān)控、調(diào)用關(guān)系管理和服務(wù)接口統(tǒng)計。
數(shù)據(jù)交換管理:支持服務(wù)接口開發(fā)、etl數(shù)據(jù)抽取以及文件傳輸數(shù)據(jù)交換的開發(fā)、運行和管理,主要功能包含:交換橋接、前置交換、數(shù)據(jù)處理、文件傳輸和數(shù)據(jù)統(tǒng)計。
系統(tǒng)支撐功能:支持按照分類、主題、應(yīng)用等多個層次對數(shù)據(jù)進行分類管理、識別、定位和共享,開發(fā)完成的數(shù)據(jù)服務(wù)消費方可以平臺中瀏覽查看,如果消費方需要使用數(shù)據(jù)服務(wù)能夠在平臺中發(fā)起申請,審批通過后根據(jù)平臺中提供的服務(wù)信息使用數(shù)據(jù)。主要功能包含:主題管理、信息訂閱、數(shù)據(jù)審批和申請記錄。
系統(tǒng)管理與監(jiān)控:支持按照角色、菜單劃分系統(tǒng)功能權(quán)限,能夠監(jiān)控服務(wù)接口、etl數(shù)據(jù)抽取以及文件傳輸交換的運行進行統(tǒng)計和監(jiān)控。主要功能包含組織管理、用戶管理、角色管理、安全管理和平臺監(jiān)控。
6.1資源目錄
資源目錄體系與交換體系兩者密不可分。事實上,資源目錄的構(gòu)建過程是對信息資源進行編目和分類的一體化過程,同時也是依托技術(shù)構(gòu)建信息資源管理體系的過程。建成目錄體系和交換體系的同時,將形成內(nèi)部信息資源的管理架構(gòu)。資源目錄是數(shù)據(jù)交換的基礎(chǔ),能夠為數(shù)據(jù)交換提供所需要的元數(shù)據(jù)信息。同時還是一套為信息資源檢索、定位和共享的應(yīng)用服務(wù)體系。
根據(jù)相關(guān)標準定義,資源目錄可以分為部門資源目錄、基礎(chǔ)資源目錄和主題資源目錄,從實踐中來看,梳理部門的資源目錄是數(shù)據(jù)交換平臺的切入點。但由于下級部門眾多,各自對數(shù)據(jù)中心的期望和要求不一致,短期內(nèi)數(shù)據(jù)中心的建設(shè)也不能支撐下級部門的業(yè)務(wù),因此上報數(shù)據(jù)不積極,再加上每個下級部門都建設(shè)了數(shù)套業(yè)務(wù)系統(tǒng),作為數(shù)據(jù)交換平臺的實施方,也難以對委辦局提出清晰、明確的數(shù)據(jù)需求。需要由數(shù)據(jù)交換管理組牽頭進行資源目錄梳理,也就是將要求各下級部門或單位、按照職責梳理其應(yīng)該有的數(shù)據(jù)目錄和數(shù)據(jù)項,后續(xù)再通過資源目錄來接入各部門的數(shù)據(jù),形成部門庫,進而建設(shè)基礎(chǔ)庫和主題庫,形成主題數(shù)據(jù),去支撐各類上層應(yīng)用,包括大屏分析、主題分析,甚至政務(wù)服務(wù)事項、一網(wǎng)通辦等。
利用資源目錄管理系統(tǒng),可以通過在線錄入資源目錄,以信息化手段減輕資源目錄梳理的工作,通過技術(shù)手段提高梳理的效率。整個過程就像是開一個數(shù)據(jù)超市需要聯(lián)系各種供貨渠道,管理各個供貨渠道的供貨關(guān)系,最終形成一個貨物目錄放到貨架上。
6.2服務(wù)與接口
近些年來,隨著數(shù)據(jù)服務(wù)化的意識加強越來越多新上線的系統(tǒng)已經(jīng)提供了相關(guān)數(shù)據(jù)服務(wù)的接口,這時服務(wù)接口的數(shù)據(jù)交換管理采用SOA松耦合的思想來進行數(shù)據(jù)交換,通過靈活的服務(wù)接口和Adapter,方便SOA應(yīng)用和遺留應(yīng)用的集成,這種松耦合、有效靈活的架構(gòu)提供了更好的擴展性。
要點說明:
調(diào)用/推送:將服務(wù)注冊到數(shù)據(jù)交換平臺,可以主動調(diào)用接口拉取數(shù)據(jù)。下級部門如有服務(wù)集成需求,可以直接使用交換平臺提供的接口訪問服務(wù)。
數(shù)據(jù)寫入方式:根據(jù)數(shù)據(jù)交換邏輯的不同,可以直接寫入利用資源目錄管理系統(tǒng),可以通過在線錄入資源目錄,以信息化手段減輕資源目錄梳理的工作,通過技術(shù)手段提高梳理的效率。數(shù)據(jù)中心再共享給各個系統(tǒng),也可以直接把數(shù)據(jù)傳遞給業(yè)務(wù)系統(tǒng)。
松耦合的服務(wù)配置:服務(wù)配置過程中會對ip和端口、服務(wù)的URI、服務(wù)邏輯編排、響應(yīng)報文處理等環(huán)節(jié)進行單獨配置,所以對于調(diào)用方來說,服務(wù)是透明的是非侵入的。
6.3交換管理
這里將交換管理分為兩部分一部分是ETL的交換,另一部分是文件傳輸。
ETL的交換用于大批量非實時低頻度的數(shù)據(jù)交換。不只是數(shù)據(jù)文件,包括ETL抽取上來的結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)庫抽取上來的增量日志,都先生成文件放在文件緩存區(qū),再通過批量數(shù)據(jù)管道進行傳輸。
要點說明:
三種類型數(shù)據(jù)的采集:各類數(shù)據(jù)文件、ETL抽取并經(jīng)過加工的結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)庫獲取的增量日志。
數(shù)據(jù)傳輸鏈路:實現(xiàn)應(yīng)用單位前置交換信息庫與交換中心之間的信息處理及穩(wěn)定可靠、不間斷地信息傳遞。
ETL邏輯一次性配置:ETL文件在傳輸?shù)那昂蠖加刑幚磉壿?,這些邏輯可以在交換中心單點配置,并自動同步到相關(guān)前置節(jié)點。
三種觸發(fā)方式:可以通過定時任務(wù)調(diào)度、數(shù)據(jù)偵測、任務(wù)監(jiān)控。數(shù)據(jù)庫新生的日志可以通過數(shù)據(jù)偵測感知并準實時傳送。
文件傳輸交換用于實現(xiàn)文件形式的數(shù)據(jù)傳輸。實現(xiàn)集團總部與成員單位之間的文件數(shù)據(jù)傳輸,對于大的文件,會自動對文件進行智能分割傳輸,支持斷點續(xù)傳、加密壓縮傳輸、文件并發(fā)傳輸以及傳輸流量控制。
要點說明:
文件傳輸:采用一對一、一對多的方式進行文件傳輸,用戶通過配置發(fā)送節(jié)點及發(fā)送目錄、接收節(jié)點及接收目錄,并配以調(diào)度策略,F(xiàn)TA發(fā)送節(jié)點會自動定期檢測發(fā)送目錄。
斷點續(xù)傳:在不穩(wěn)定網(wǎng)絡(luò)狀態(tài)下保證數(shù)據(jù)的可靠高效傳輸。
加密壓縮傳輸:系統(tǒng)可對發(fā)送數(shù)據(jù)進行加密,目的節(jié)點接收到加密的數(shù)據(jù)后,會對接收數(shù)據(jù)自動進行解密。提供的壓縮機制,以便用戶進行大容量文件傳送時提高效率。
并發(fā)傳輸:支持并發(fā)傳輸,每個傳輸節(jié)點可以同時并發(fā)傳輸多個文件。
6.4數(shù)據(jù)使用
以前的數(shù)據(jù)中心建設(shè)是有什么數(shù)據(jù)就只能給什么數(shù)據(jù),現(xiàn)在新一代的數(shù)據(jù)中心建設(shè)是想要什么數(shù)據(jù)就能獲取到想要的數(shù)據(jù)。而能夠做到這些需求的背后是數(shù)據(jù)交換技術(shù)的發(fā)展和進步。通過建立共享目錄服務(wù)等共享數(shù)據(jù)庫,以手工錄入或?qū)雽С龅确绞?,將?shù)據(jù)、文檔等存入共享庫中,數(shù)據(jù)交換平臺實現(xiàn)對所需信息的快速服務(wù)發(fā)布以及便捷檢索和查詢。
發(fā)布后的服務(wù)能夠提供給用戶進行申請或訂閱,數(shù)據(jù)信息訂閱分為申請資源和訂閱資源兩種方式:
申請資源:提供消費方通過資源申請方式申請主題分類資源樹中的數(shù)據(jù)實體資源,相對平臺而言“拉”的方式,消費方申請資源后,向消費方開放Web服務(wù)信息、表格下載方式,由消費方主動獲取數(shù)據(jù)資源。
訂閱資源:提供消費方通過資源訂閱方式申請主題分類資源樹中的數(shù)據(jù)實體資源,相對平臺而言“推”的方式,消費方訂閱資源后,向平臺提供數(shù)據(jù)庫、文件目錄地址與連接方式,由平臺向消費方推送數(shù)據(jù)資源。
用戶的申請或訂閱是需要通過審批才能獲取到數(shù)據(jù)資源的,數(shù)據(jù)管理方能夠在數(shù)據(jù)交換平臺中對用戶所使用數(shù)據(jù)的情況進行監(jiān)控。通過數(shù)據(jù)交換平臺來實現(xiàn)數(shù)據(jù)共享和路由。這種連接方式實現(xiàn)了數(shù)據(jù)的無縫交換和共享訪問,保證了各業(yè)務(wù)系統(tǒng)的有效協(xié)同,同時又能保證各應(yīng)用系統(tǒng)的相互獨立性和低耦合性,從整體上提高了系統(tǒng)運作效率和安全性。
用戶在使用數(shù)據(jù)時就像進入了數(shù)據(jù)超市一樣,數(shù)據(jù)共享平臺里共享出來的各種主題就像是數(shù)據(jù)的貨架,貨架上擺滿了各種數(shù)據(jù),用戶可以隨意挑選。在找到自己想要的數(shù)據(jù)后,只要發(fā)出申請或訂閱,通過審批后就能夠拿到所需的數(shù)據(jù)。
6.5系統(tǒng)管理與監(jiān)控
在系統(tǒng)管理和監(jiān)控中數(shù)據(jù)管理方能夠分配資源的使用權(quán)限,監(jiān)控消費方對數(shù)據(jù)交換和數(shù)據(jù)共享的使用情況。
數(shù)據(jù)交換平臺支持告警監(jiān)控,在平臺數(shù)據(jù)交換服務(wù)執(zhí)行異常時,能夠觸發(fā)相關(guān)的告警服務(wù),用戶可自定義服務(wù)監(jiān)控指標與告警范圍,支持郵件、短信等告警方式。前面我們說了,提供的共享服務(wù)就像是開一個數(shù)據(jù)超市,那么數(shù)據(jù)交換平臺的監(jiān)控就像是超市中裝的監(jiān)控攝像頭,能夠監(jiān)控數(shù)據(jù)交換的一舉一動。保障數(shù)據(jù)資產(chǎn)的安全。
07總結(jié)
普元的數(shù)據(jù)交換平融合了數(shù)據(jù)中心以及數(shù)據(jù)中臺的建設(shè)思路,結(jié)合了信創(chuàng)對國產(chǎn)化以及自主可控的要求,能夠適配國產(chǎn)化操作系統(tǒng)和數(shù)據(jù)庫的環(huán)境,數(shù)據(jù)交換平臺能夠?qū)⑸舷掠蔚臄?shù)據(jù)整合到數(shù)據(jù)中心,形成資源目錄中的各種業(yè)務(wù)主題庫。通過資源目錄對數(shù)據(jù)進行共享,打破數(shù)據(jù)孤島,實現(xiàn)各級部門間的數(shù)據(jù)資源共享、互聯(lián)互通,為數(shù)據(jù)中心的建設(shè)夯實基礎(chǔ)。
關(guān)于作者:光芒,普元項目經(jīng)理,十多年的IT從業(yè)經(jīng)驗,一直專注于企業(yè)數(shù)據(jù)交換和數(shù)據(jù)管理的工作。曾主持參與了Primeton DI和Primeton ESB的產(chǎn)品研發(fā)工作,致力于自服務(wù)的數(shù)據(jù)共享和數(shù)據(jù)交換研究,在數(shù)據(jù)治理領(lǐng)域不斷探索和研發(fā)。