摘  要： 大數(shù)據(jù)的應(yīng)用方興未艾,根據(jù)國(guó)內(nèi)企業(yè)的應(yīng)用場(chǎng)景,給出了企業(yè)大數(shù)據(jù)管理解決方案。此方案還為數(shù)據(jù)的進(jìn)一步處理打下了基礎(chǔ)。
關(guān)鍵詞： 大數(shù)據(jù); 企業(yè)大數(shù)據(jù)管理

    IT行業(yè)一直在不斷地努力，以最佳方案滿足日益增長(zhǎng)的各種需求。繼云計(jì)算之后，大數(shù)據(jù)又成為業(yè)界關(guān)注的熱點(diǎn)。云計(jì)算更多地體現(xiàn)在它的商業(yè)模式與服務(wù)模式上，而大數(shù)據(jù)則更關(guān)注數(shù)據(jù)的處理，而這些紛雜的數(shù)據(jù)則是關(guān)系社會(huì)、企業(yè)乃至個(gè)人生活的核心關(guān)鍵，可以說(shuō)數(shù)字時(shí)代數(shù)據(jù)為要。
1 大數(shù)據(jù)參考架構(gòu)
    通常人們認(rèn)為大數(shù)據(jù)具有4V特點(diǎn)，即：Variety(多樣性）、Volume(大容量或海量)、Velocity(快速)和Value(價(jià)值)。至于大數(shù)據(jù)的嚴(yán)格定義，則是人者見(jiàn)人、智者見(jiàn)智，莫衷一是[1]。
　根據(jù)調(diào)研與實(shí)踐，本文給出了相關(guān)的參考架構(gòu)，如圖1所示。

    可以將大數(shù)據(jù)的參考層次分為4個(gè)：
    (1) 數(shù)據(jù)采集。主要涉及對(duì)數(shù)據(jù)源的采集，包括各種結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)、靜態(tài)數(shù)據(jù)與動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)等。
　(2) 數(shù)據(jù)存儲(chǔ)。主要涉及對(duì)數(shù)據(jù)的存儲(chǔ)，包括分布式存儲(chǔ)、海量存儲(chǔ)、虛擬存儲(chǔ)等。
　(3) 數(shù)據(jù)處理。主要涉及對(duì)數(shù)據(jù)的轉(zhuǎn)換、傳輸、分發(fā)等。
    (4) 數(shù)據(jù)分析。主要涉及對(duì)數(shù)據(jù)的清洗、比對(duì)、挖據(jù)、鉆取等。
    同時(shí),按照數(shù)據(jù)平臺(tái)管理、數(shù)據(jù)維護(hù)、安全保護(hù)等維度，存在著貫穿各層的管理機(jī)制，即：
    (1) 系統(tǒng)管理。對(duì)構(gòu)建的系統(tǒng)平臺(tái)進(jìn)行管理與維護(hù)。
    (2) 數(shù)據(jù)管理。按照數(shù)據(jù)生命周期對(duì)數(shù)據(jù)進(jìn)行管理。
    (3) 安全管理。對(duì)數(shù)據(jù)隱私、數(shù)據(jù)安全、訪問(wèn)安全、系統(tǒng)安全等方面進(jìn)行管理。
2 企業(yè)大數(shù)據(jù)解決方案
    由于大數(shù)據(jù)的應(yīng)用很多，本文更加關(guān)注企業(yè)所處的混雜數(shù)據(jù)的應(yīng)用場(chǎng)景，基于上面給出的參考架構(gòu)，給出相應(yīng)的解決方案。
2.1 應(yīng)用場(chǎng)景
　企業(yè)的數(shù)據(jù)是企業(yè)的核心資料，企業(yè)信息化的核心問(wèn)題就是數(shù)據(jù)的應(yīng)用的效率與效果。目前企業(yè)的數(shù)據(jù)主要包括：財(cái)務(wù)類(lèi)數(shù)據(jù)、管理類(lèi)數(shù)據(jù)、業(yè)務(wù)類(lèi)數(shù)據(jù)等，這些數(shù)據(jù)可以是結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。從容量上看，隨著信息化應(yīng)用的不斷提高，可以達(dá)到GB或TB級(jí)，對(duì)于一些行業(yè)，甚至有可能達(dá)到PB級(jí)。
2.2 解決方案
    本文提出的企業(yè)大數(shù)據(jù)解決方案是從業(yè)務(wù)連續(xù)性的角度來(lái)考慮用戶(hù)數(shù)據(jù)的問(wèn)題。參考了業(yè)界流行的ISO20000、ISO27000、BCP/DRP、ＳＯＡ等相關(guān)標(biāo)準(zhǔn)和技術(shù)，從安全、服務(wù)的范疇來(lái)管理數(shù)據(jù)、保護(hù)數(shù)據(jù)、使用數(shù)據(jù)。
    方案主要解決企業(yè)用戶(hù)的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理，為企業(yè)相關(guān)應(yīng)用提供基礎(chǔ)數(shù)據(jù)，為企業(yè)的業(yè)務(wù)連續(xù)性保駕護(hù)航。
2.2.1 技術(shù)特點(diǎn)
    方案主要融合了信息安全技術(shù)、數(shù)據(jù)管理技術(shù)、數(shù)據(jù)同步復(fù)制技術(shù)、數(shù)據(jù)庫(kù)技術(shù)、商務(wù)智能技術(shù)等，區(qū)別于現(xiàn)有的數(shù)據(jù)備份產(chǎn)品、數(shù)據(jù)復(fù)制產(chǎn)品、數(shù)據(jù)管理產(chǎn)品，更關(guān)注數(shù)據(jù)在復(fù)制之后能夠被快速使用與恢復(fù)，以延續(xù)業(yè)務(wù)的連續(xù)性。
    方案為用戶(hù)數(shù)據(jù)的進(jìn)一步加工處理打下了基礎(chǔ)，有助于用戶(hù)整合數(shù)據(jù)、整合應(yīng)用、數(shù)據(jù)加工、商務(wù)智能、決策分析等。
    主要特點(diǎn)：
　(1)支持多種數(shù)據(jù)庫(kù)的不同版本，也支持多種異構(gòu)數(shù)據(jù)庫(kù)之間的同步，如Oracle、SQL Server、MySQL、Sybase、DB2、AS400等可以同步到Oracle數(shù)據(jù)庫(kù)或其他數(shù)據(jù)庫(kù)上。
    (2)支持一對(duì)一、一對(duì)多、多對(duì)一、多對(duì)多等異構(gòu)數(shù)據(jù)庫(kù)同步方式。
    (3)比較強(qiáng)的數(shù)據(jù)加工能力，可以選擇數(shù)據(jù)源的不同字段，也可以對(duì)數(shù)據(jù)源做相應(yīng)的轉(zhuǎn)換、邏輯判斷、映射等處理，還可以設(shè)置在數(shù)據(jù)同步時(shí)做異常數(shù)據(jù)檢查等。
    (4)比較強(qiáng)的傳輸能力，內(nèi)置數(shù)據(jù)傳輸平臺(tái)，滿足復(fù)雜網(wǎng)絡(luò)情況下的數(shù)據(jù)可靠傳輸，支持廣域網(wǎng)下的數(shù)據(jù)同步，支持跨網(wǎng)段的數(shù)據(jù)同步，支持物理隔離情況下的數(shù)據(jù)同步。
    (5)易用性。提供中文工具，方便可視化操作和監(jiān)控。
2.2.2 技術(shù)原理
      統(tǒng)一支持結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的同步及相應(yīng)加工。提供可視化工具配置結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的同步與加工。
    (1)非結(jié)構(gòu)化數(shù)據(jù)文件既可以通過(guò)系統(tǒng)內(nèi)置的傳輸平臺(tái)同步到備份方的文件夾下，也可以將備份方文件夾下的數(shù)據(jù)文件映射到數(shù)據(jù)庫(kù)上。
     對(duì)于非結(jié)構(gòu)化的文件備份，可以在數(shù)據(jù)源方部署一個(gè)節(jié)點(diǎn)，負(fù)責(zé)監(jiān)控和發(fā)送文件，通過(guò)可視化配置的數(shù)據(jù)推送服務(wù)，選擇要發(fā)送的文件夾、文件、接收節(jié)點(diǎn)、接收文件夾等信息，通過(guò)定時(shí)等調(diào)度策略將文件發(fā)送到備份方。當(dāng)然要發(fā)送的文件(或文件夾)、備份方的文件(或文件夾)可以來(lái)自于接口表或接口文件，通過(guò)接口表(或接口文件)實(shí)現(xiàn)文件的備份。
       能實(shí)現(xiàn)非結(jié)構(gòu)文件到結(jié)構(gòu)化數(shù)據(jù)的映射，可視化配置非結(jié)構(gòu)文件到異構(gòu)系統(tǒng)的映射服務(wù)，可視化定義文件分類(lèi)處理服務(wù)，根據(jù)文件的不同分類(lèi)調(diào)用相應(yīng)非結(jié)構(gòu)文件到異構(gòu)系統(tǒng)的映射服務(wù)。
       (2) 結(jié)構(gòu)化數(shù)據(jù)方面支持Oracle、MS SQL Server、IBM DB2、AS 400、Sybase ASE、Sybase IQ、MS Access、MySQL、PostgreSQL、Intersystems Cache、Informix、Gupta SQL
Base、dBase III, IV or 5、Firebird SQL、MaxDB (SAP DB)、Hypersonic、Generic database、SAP R/3 System、CA Ingres、Borland Interbase、KingbaseES等不同版本的數(shù)據(jù)庫(kù)作為源或者目標(biāo)。
    其技術(shù)原理如圖2所示，核心主要包括數(shù)據(jù)源層、數(shù)據(jù)管理服務(wù)器組層、數(shù)據(jù)鏡像服務(wù)器組層、數(shù)據(jù)存儲(chǔ)層這幾部分。數(shù)據(jù)源可以是不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)，也可以是文件系統(tǒng)；ReiKing引擎實(shí)現(xiàn)了將異構(gòu)的數(shù)據(jù)源(數(shù)據(jù)庫(kù)或非結(jié)構(gòu)化的文件等)備份到相應(yīng)的鏡像服務(wù)器的數(shù)據(jù)庫(kù)或文件系統(tǒng)上，ReiKing引擎部署在服務(wù)器上，一臺(tái)機(jī)器可以部署一個(gè)或多個(gè)ReiKing引擎，根據(jù)同步業(yè)務(wù)負(fù)載情況通過(guò)擴(kuò)展引擎數(shù)或者機(jī)器數(shù)實(shí)現(xiàn)性能和可靠性的擴(kuò)展；數(shù)據(jù)鏡像服務(wù)器組的數(shù)據(jù)庫(kù)服務(wù)器接收來(lái)自于ReiKing引擎的數(shù)據(jù)，并通過(guò)數(shù)據(jù)庫(kù)服務(wù)器保存到結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)；數(shù)據(jù)存儲(chǔ)層可以通過(guò)數(shù)據(jù)庫(kù)服務(wù)器保存結(jié)構(gòu)化數(shù)據(jù)，也可以通過(guò)ReiKing引擎直接保存要同步的文件等信息。

    可以生成數(shù)據(jù)備份引擎，通過(guò)業(yè)務(wù)邏輯策略的定制，一個(gè)引擎可以完成一個(gè)或者多個(gè)數(shù)據(jù)源的備份，也可以多個(gè)引擎完成一個(gè)數(shù)據(jù)源的備份。一臺(tái)機(jī)器可以部署一個(gè)引擎，也可以一臺(tái)機(jī)器部署多個(gè)引擎，隨著業(yè)務(wù)應(yīng)用及信息系統(tǒng)不斷擴(kuò)展，方便通過(guò)增加引擎等手段的拓展。
    引擎之間可以互為備用，示意圖如圖3所示。

    有一個(gè)或多個(gè)引擎組成運(yùn)行環(huán)境，引擎可以分組處理，也可以互為備份。
     機(jī)器C運(yùn)行管理服務(wù)器、管理工具，保存統(tǒng)一的規(guī)則和定制相互備份的運(yùn)行服務(wù)器的使用規(guī)則；機(jī)器A、機(jī)器B保存各自的使用規(guī)則，平時(shí)獨(dú)立運(yùn)行，各自做相應(yīng)的處理服務(wù)，當(dāng)任何一臺(tái)機(jī)器出現(xiàn)故障時(shí)，另一臺(tái)機(jī)器根據(jù)設(shè)定規(guī)則，啟動(dòng)出現(xiàn)故障的機(jī)器上運(yùn)行引擎，并做相應(yīng)的調(diào)動(dòng)運(yùn)行處理。
     經(jīng)過(guò)數(shù)據(jù)同步、交換、集中等整合處理后的數(shù)據(jù)還可以做數(shù)據(jù)治理等深加工，包括數(shù)據(jù)質(zhì)量的管理、主數(shù)據(jù)的管理、數(shù)據(jù)的監(jiān)控、數(shù)據(jù)審核等，方便數(shù)據(jù)分析、數(shù)據(jù)決策等數(shù)據(jù)應(yīng)用；同時(shí)，還可以實(shí)現(xiàn)數(shù)據(jù)的共享和交換，配置出共享的數(shù)據(jù)服務(wù)，通過(guò)安全的授權(quán)和權(quán)限鑒定，方便實(shí)現(xiàn)數(shù)據(jù)的安全共享，減少對(duì)數(shù)據(jù)庫(kù)的直接訪問(wèn)，保證使用者只能訪問(wèn)經(jīng)過(guò)授權(quán)的數(shù)據(jù)。此外還可以實(shí)現(xiàn)數(shù)據(jù)生命周期管理，經(jīng)過(guò)備份的數(shù)據(jù)可以再被歸檔到不同的庫(kù)中，需要時(shí)可以按需恢復(fù)使用備份和歸檔的數(shù)據(jù)。
2.2.3 基于流計(jì)算的數(shù)據(jù)加工服務(wù)
    數(shù)據(jù)管理提供了基于流計(jì)算的數(shù)據(jù)加工服務(wù)，對(duì)來(lái)自數(shù)據(jù)庫(kù)、文件、隊(duì)列、應(yīng)用系統(tǒng)等異構(gòu)系統(tǒng)的數(shù)據(jù)，在數(shù)據(jù)流中做加工處理，包括數(shù)據(jù)轉(zhuǎn)換/清洗、數(shù)據(jù)復(fù)制、差錯(cuò)數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)傳輸、數(shù)據(jù)比對(duì)、數(shù)據(jù)裝載、流程處理、數(shù)據(jù)路由等處理，如圖4所示。主要功能如下：

   (1)異構(gòu)數(shù)據(jù)源或目標(biāo)
    ①數(shù)據(jù)庫(kù):Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、Access等。
    ②數(shù)據(jù)文件：文本文件(分隔符、定長(zhǎng)等)、Excel文件、DBF文件、睿智文件、XML等。
    ③XML：XML文件或內(nèi)存中的XML。
    ④內(nèi)存表：由其他系統(tǒng)或消息隊(duì)列傳來(lái)的數(shù)據(jù)可以存在內(nèi)存表中作為輸入，經(jīng)過(guò)整合處理后也可以放到內(nèi)存表中，提供給被調(diào)用方，還可以放到消息隊(duì)列中，由消息中間件傳輸處理。
    ⑤數(shù)據(jù)庫(kù)表、消息隊(duì)列內(nèi)容、文件、 XML之間的相互轉(zhuǎn)換。
    ⑥支持異構(gòu)的字符集，數(shù)據(jù)源或目標(biāo)可以是中文、西文等字符集。
    ⑦支持?jǐn)?shù)據(jù)庫(kù)SQL。支持SQL語(yǔ)句調(diào)用、支持SQL函數(shù)調(diào)用、支持SQL存儲(chǔ)過(guò)程調(diào)用。
    ⑧支持結(jié)構(gòu)體，方便自定義類(lèi)型、自定義結(jié)構(gòu)、結(jié)構(gòu)體成員的抽取。
    (2)支持實(shí)時(shí)、增量、批量、全量的抽取。抽取條件可以是靜態(tài)語(yǔ)句、動(dòng)態(tài)SQL規(guī)則、來(lái)自變量、來(lái)自變量組等。
    (3)數(shù)據(jù)轉(zhuǎn)換處理
    ①格式轉(zhuǎn)換,包括字段拆分/合并、不同格式間轉(zhuǎn)換。
    ②靜/動(dòng)態(tài)字段，包括系統(tǒng)時(shí)間、動(dòng)態(tài)序列號(hào)、給定值。
    ③比對(duì)、翻譯轉(zhuǎn)換處理，包括基于規(guī)則表的翻譯、給定規(guī)則翻譯、給定數(shù)據(jù)的比對(duì)處理等。
    ④數(shù)學(xué)運(yùn)算，不同的數(shù)據(jù)對(duì)象之間作數(shù)學(xué)運(yùn)算。
    ⑤聚類(lèi)處理，根據(jù)一個(gè)或幾個(gè)字段做聚類(lèi)操作。
    ⑥身份證轉(zhuǎn)換等轉(zhuǎn)換處理。
    (4)數(shù)據(jù)路由
    ①采用“一次抽取，按條件路由”的機(jī)制。
    ②支持一對(duì)多的數(shù)據(jù)推送方式。
    ③減輕對(duì)數(shù)據(jù)源如數(shù)據(jù)庫(kù)的壓力。
    ④提高處理的性能。
    ⑤路由條件可以是動(dòng)態(tài)的，也可以是組合的。
    (5)支持?jǐn)?shù)據(jù)比對(duì)裝載處理。支持和目標(biāo)內(nèi)容做比對(duì)操作，并根據(jù)比對(duì)結(jié)果做相應(yīng)的增加、覆蓋、刪除等處理。
    (6)支持緩慢變化維、日志、比對(duì)、數(shù)據(jù)回寫(xiě)等增量抽取策略。
    (7)緩慢變化維處理
    ①提供緩慢變化維模版和向?qū)В奖憔徛兓S的設(shè)計(jì)。
    ②可以保留最新值、保留上次數(shù)據(jù)值，也可以保留給定時(shí)間范圍或最近的數(shù)據(jù)，還可以保留所有的歷史數(shù)據(jù)值。
2.2.4 安全
    數(shù)據(jù)安全處理主要包括系統(tǒng)認(rèn)證安全、傳輸安全、安全授權(quán)和鑒定[2]。
    (1)系統(tǒng)安全認(rèn)證
    系統(tǒng)安全實(shí)現(xiàn)提供運(yùn)行時(shí)鑒定，ReiKing引擎運(yùn)行時(shí)驗(yàn)證運(yùn)行機(jī)器和Key，只有都匹配時(shí)才能執(zhí)行，保證ReiKing運(yùn)行的加工規(guī)則只能在ReiKing環(huán)境下運(yùn)行。ReiKing提供安全連接認(rèn)證機(jī)制，每個(gè)節(jié)點(diǎn)都有不同的密鑰用于實(shí)現(xiàn)建立連接時(shí)的加密處理和安全的認(rèn)證。
    (2)傳輸安全
    提供可靠的安全傳輸機(jī)制，保證了數(shù)據(jù)傳輸中的數(shù)據(jù)的一致性、完整性。除了網(wǎng)絡(luò)傳輸?shù)闹厮秃蛿?shù)據(jù)冗余校驗(yàn)機(jī)制外，還提供了數(shù)據(jù)稽核機(jī)制，對(duì)傳輸?shù)臄?shù)據(jù)量、文件數(shù)量、實(shí)體完整性和非空字段進(jìn)行稽核。
    對(duì)于涉密數(shù)據(jù)，還提供了安全加密傳輸機(jī)制，可以根據(jù)密鑰對(duì)所需數(shù)據(jù)進(jìn)行加密后傳送。
　(3)安全授權(quán)和鑒定
    提供安全授權(quán)管理，滿足不同用戶(hù)安全權(quán)限的需求。比如有的用戶(hù)只有瀏覽的權(quán)限而沒(méi)有編輯的權(quán)限，有的用戶(hù)只能編輯自己的對(duì)象而不能訪問(wèn)別人的對(duì)象,有的用戶(hù)只有設(shè)計(jì)的權(quán)限而沒(méi)有運(yùn)行任務(wù)的權(quán)限，而管理員擁有全部的權(quán)限。
    提供分級(jí)安全管理功能，實(shí)現(xiàn)了如下安全管理：
?、傧到y(tǒng)提供管理員(包含超級(jí)管理員、部門(mén)管理員、組管理員)、開(kāi)發(fā)者、使用者等多種權(quán)限級(jí)別的用戶(hù)管理，可以由上級(jí)管理員授權(quán)下級(jí)管理員權(quán)限，滿足總公司和下屬企業(yè)兩級(jí)權(quán)限管控的管理需要，如系統(tǒng)管理員只能設(shè)置本單位及下屬單位的用戶(hù)。
    ②分項(xiàng)授權(quán)，對(duì)運(yùn)行服務(wù)器、數(shù)據(jù)庫(kù)連接、服務(wù)、流程、整合服務(wù)等分項(xiàng)授權(quán)，權(quán)限包括執(zhí)行權(quán)、編輯權(quán)、讀取權(quán)，滿足系統(tǒng)級(jí)、數(shù)據(jù)庫(kù)級(jí)、軟件功能級(jí)、記錄級(jí)和字段級(jí)等多級(jí)別的安全控制需要。
    ③通過(guò)用戶(hù)管理和權(quán)限管理，系統(tǒng)對(duì)數(shù)據(jù)實(shí)現(xiàn)分級(jí)管理，本單位的用戶(hù)或系統(tǒng)管理員只能對(duì)本單位或下屬單位的數(shù)據(jù)進(jìn)行維護(hù)，不可調(diào)整上級(jí)單位的數(shù)據(jù)。
    ④系統(tǒng)提供較完善的日志管理，能詳細(xì)記錄各用戶(hù)(含系統(tǒng)管理員）在系統(tǒng)中的操作情況。
    ⑤身份和權(quán)限的鑒定，操作者在做開(kāi)發(fā)管理，或者數(shù)據(jù)服務(wù)使用者在使用服務(wù)時(shí)，都會(huì)根據(jù)該用戶(hù)的授權(quán)做相應(yīng)的身份鑒定和權(quán)限鑒定。
　    數(shù)據(jù)服務(wù)使用安全，當(dāng)應(yīng)用程序通過(guò)Web Service方式、API方式、事件等方式使用數(shù)據(jù)服務(wù)時(shí)，其訪問(wèn)情況將由安全授權(quán)來(lái)決定。
　　根據(jù)國(guó)內(nèi)企業(yè)的大數(shù)據(jù)應(yīng)用特點(diǎn)，本文提出了相應(yīng)的大數(shù)據(jù)管理解決方案。實(shí)踐證明，該方案能夠較好地解決國(guó)內(nèi)企業(yè)各種數(shù)據(jù)源的數(shù)據(jù)的存儲(chǔ)、處理等問(wèn)題，并為解決業(yè)務(wù)連續(xù)性問(wèn)題打下了基礎(chǔ)。可以說(shuō)這是一種性?xún)r(jià)比很高、易于操作的方案。
參考文獻(xiàn)
[1] RAJARAMAN A， ULLMAN J D. 大數(shù)據(jù)：互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘與分布式處理[M].王斌,譯.北京：人民郵電出版社， 2012.
[2] 梁鋼, 茅秋吟.云計(jì)算 IaaS平臺(tái)的信息安全和運(yùn)維服務(wù)設(shè)計(jì)[J].電子技術(shù)應(yīng)用,2013,39(7):63-64,96.