當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨著多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)日趨復(fù)雜，各種類型的安全數(shù)據(jù)越來(lái)越多，傳統(tǒng)的分析能力明顯不再適應(yīng)；另一方面，新型威脅興起，內(nèi)控與合規(guī)深入，傳統(tǒng)的分析方法存在諸多缺陷，越來(lái)越需要分析更多的安全信息，更加快速地做出判定和響應(yīng)。

　　網(wǎng)絡(luò)信息安全數(shù)據(jù)自身也面臨大數(shù)據(jù)化的挑戰(zhàn)。

　　1）數(shù)據(jù)越來(lái)越多。網(wǎng)絡(luò)已經(jīng)從吉比特每秒邁向了萬(wàn)兆比特每秒的速率，網(wǎng)絡(luò)安全設(shè)備要分析的數(shù)據(jù)分組數(shù)據(jù)量急劇上升。同時(shí)，隨著安全防御的縱深化，安全監(jiān)測(cè)的內(nèi)容不斷細(xì)化，除了傳統(tǒng)的攻擊監(jiān)測(cè)，還出現(xiàn)了應(yīng)用監(jiān)測(cè)、用戶行為監(jiān)測(cè)等。此外，隨著APT等新型威脅的興起，全分組捕獲技術(shù)逐步應(yīng)用，海量數(shù)據(jù)處理問(wèn)題也日益凸顯。

　　2）處理越來(lái)越快。對(duì)于網(wǎng)絡(luò)設(shè)備而言，包處理和轉(zhuǎn)發(fā)的速度需要更快；對(duì)于安全管理平臺(tái)、事件分析平臺(tái)而言，數(shù)據(jù)源的事件發(fā)送速率越來(lái)越快。因此，對(duì)安全數(shù)據(jù)處理的性能將直接影響大數(shù)據(jù)的服務(wù)質(zhì)量。

　　3）形態(tài)越來(lái)越泛。除了協(xié)議數(shù)據(jù)分組、設(shè)備日志數(shù)據(jù)，安全信息還涉及漏洞信息、配置信息、身份與訪問(wèn)信息、用戶行為信息、應(yīng)用信息、業(yè)務(wù)信息、外部情報(bào)信息、網(wǎng)絡(luò)環(huán)境數(shù)據(jù)等等。針對(duì)安全數(shù)據(jù)形態(tài)多樣化、非結(jié)構(gòu)化的發(fā)展趨勢(shì)，統(tǒng)一的數(shù)據(jù)表述方法也變得越來(lái)越關(guān)鍵。

　　正是因?yàn)榘踩珨?shù)據(jù)自身的大數(shù)據(jù)化，因此業(yè)界開始研究如何將大數(shù)據(jù)技術(shù)應(yīng)用于安全領(lǐng)域，形成大數(shù)據(jù)安全服務(wù)。

　　1. 網(wǎng)絡(luò)安全大數(shù)據(jù)態(tài)勢(shì)感知

　　隨著網(wǎng)絡(luò)規(guī)模和應(yīng)用的迅速擴(kuò)大，網(wǎng)絡(luò)安全威脅不斷增加，單一的網(wǎng)絡(luò)安全防護(hù)技術(shù)已經(jīng)不能滿足需要。網(wǎng)絡(luò)安全態(tài)勢(shì)感知能夠從整體上動(dòng)態(tài)反映網(wǎng)絡(luò)安全狀況并對(duì)網(wǎng)絡(luò)安全的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)，大數(shù)據(jù)的特點(diǎn)為大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)感知研究的突破創(chuàng)造了機(jī)遇。

　　網(wǎng)絡(luò)安全態(tài)勢(shì)感知就是利用數(shù)據(jù)融合、數(shù)據(jù)挖掘、智能分析和可視化等技術(shù)，直觀顯示網(wǎng)絡(luò)環(huán)境的實(shí)時(shí)安全狀況，為網(wǎng)絡(luò)安全提供保障。借助網(wǎng)絡(luò)安全態(tài)勢(shì)感知，網(wǎng)絡(luò)監(jiān)管人員可以及時(shí)了解網(wǎng)絡(luò)的狀態(tài)、受攻擊情況、攻擊來(lái)源以及哪些服務(wù)易受到攻擊等情況，對(duì)發(fā)起攻擊的網(wǎng)絡(luò)采取措施；網(wǎng)絡(luò)用戶可以清楚地掌握所在網(wǎng)絡(luò)的安全狀態(tài)和趨勢(shì)，做好相應(yīng)的防范準(zhǔn)備，避免和減少網(wǎng)絡(luò)中病毒和惡意攻擊帶來(lái)的損失；應(yīng)急響應(yīng)組織也可以從網(wǎng)絡(luò)安全態(tài)勢(shì)中了解所服務(wù)網(wǎng)絡(luò)的安全狀況和發(fā)展趨勢(shì)，為制定有預(yù)見性的應(yīng)急預(yù)案提供基礎(chǔ)。

　　安全態(tài)勢(shì)感知通過(guò)對(duì)系統(tǒng)環(huán)境中潛在的安全影響要素進(jìn)行獲取和理解，以實(shí)現(xiàn)對(duì)未來(lái)安全發(fā)展趨勢(shì)的預(yù)測(cè)，是制定安全防御策略的基礎(chǔ)。主要研究包含情報(bào)數(shù)據(jù)采集、安全數(shù)據(jù)整理、數(shù)據(jù)可視化展現(xiàn)、情報(bào)和事件匯聚處理分析、安全態(tài)勢(shì)展示等步驟，關(guān)鍵技術(shù)如下。

　　（1）多源異構(gòu)數(shù)據(jù)的融合

　　網(wǎng)絡(luò)運(yùn)行環(huán)境、協(xié)議和應(yīng)用場(chǎng)景等難以統(tǒng)一描述，網(wǎng)絡(luò)安全態(tài)勢(shì)感知首先需解決多源異構(gòu)數(shù)據(jù)的融合。數(shù)據(jù)融合主要研究跨領(lǐng)域數(shù)據(jù)的一體化表示機(jī)理，不確定條件下的多源數(shù)據(jù)融合算法，以及異質(zhì)時(shí)序數(shù)據(jù)的模式挖掘方法等關(guān)鍵技術(shù)，進(jìn)而解決基于多源異質(zhì)數(shù)據(jù)融合的安全態(tài)勢(shì)感知方法、基于安全知識(shí)模型的安全態(tài)勢(shì)感知方法，以及安全態(tài)勢(shì)感知結(jié)果的自適應(yīng)融合策略等關(guān)鍵問(wèn)題。

　　（2）網(wǎng)絡(luò)特征的選擇提取

　　隨著信息網(wǎng)絡(luò)的復(fù)雜程度不斷提升，網(wǎng)絡(luò)數(shù)據(jù)異常龐大，即便是經(jīng)過(guò)數(shù)據(jù)融合后的信息，用戶依然無(wú)法有效使用。大數(shù)據(jù)分析技術(shù)，能夠滿足用戶從網(wǎng)絡(luò)大數(shù)據(jù)中獲得信息的需求，對(duì)得到的數(shù)據(jù)特征信息進(jìn)一步智能分析，并轉(zhuǎn)述為更高層次的網(wǎng)絡(luò)特征。精準(zhǔn)的網(wǎng)絡(luò)特征能夠有效描述網(wǎng)絡(luò)安全狀態(tài)和受攻擊的風(fēng)險(xiǎn)程度，方便進(jìn)行全網(wǎng)態(tài)勢(shì)評(píng)估和預(yù)測(cè)。

　?。?）安全態(tài)勢(shì)感知與預(yù)警

　　網(wǎng)絡(luò)威脅是動(dòng)態(tài)的，具有不固定性，為實(shí)現(xiàn)主動(dòng)防御，需采用動(dòng)態(tài)預(yù)測(cè)措施，以便能夠根據(jù)當(dāng)前網(wǎng)絡(luò)走勢(shì)判斷未來(lái)網(wǎng)絡(luò)安全情況；為用戶提供安全策略，以便做出更正確的決策。網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)警的核心問(wèn)題就是利用網(wǎng)絡(luò)安全大數(shù)據(jù)模型，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)的實(shí)時(shí)感知與預(yù)測(cè)。

　　圖1為針對(duì)某個(gè)企業(yè)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知示意，可對(duì)云上所有網(wǎng)絡(luò)資產(chǎn)進(jìn)行安全告警，并用機(jī)器學(xué)習(xí)發(fā)現(xiàn)潛在的入侵和高隱蔽性攻擊、回溯攻擊歷史、預(yù)測(cè)安全事件等，主要功能包括安全事件告警和檢索、原始日志存儲(chǔ)和分析、安全風(fēng)險(xiǎn)量化和預(yù)測(cè)等。

圖1  網(wǎng)絡(luò)安全態(tài)勢(shì)感知示意

　　安全感知是安全防御體系的核心，面對(duì)APT高級(jí)隱蔽攻擊和滲透測(cè)試等，是否能夠第一時(shí)間識(shí)別和發(fā)現(xiàn)安全異常，已逐步成為衡量安全體系優(yōu)劣的關(guān)鍵準(zhǔn)則。

　　2. 網(wǎng)絡(luò)安全大數(shù)據(jù)的可視化

　　網(wǎng)絡(luò)大數(shù)據(jù)帶來(lái)的是海量、高速、多變的信息資產(chǎn)，需要尋求經(jīng)濟(jì)的、創(chuàng)新的信息處理方式，快速獲得超越數(shù)據(jù)客觀信息的洞察力和決策力，可視化技術(shù)就在這樣的背景下應(yīng)運(yùn)而生。數(shù)據(jù)可視化容易被人們感知數(shù)據(jù)信息，可以快速識(shí)別數(shù)據(jù)模式和數(shù)據(jù)差異并發(fā)現(xiàn)數(shù)據(jù)異常，能夠快速識(shí)別并直觀聚類，還能快速發(fā)現(xiàn)新的攻擊模式并對(duì)攻擊趨勢(shì)做出預(yù)測(cè)。因此，針對(duì)信息安全問(wèn)題，諸多企業(yè)希望將其監(jiān)測(cè)到的大數(shù)據(jù)轉(zhuǎn)化為信息可視化呈現(xiàn)的各種形式，數(shù)據(jù)可視化已逐步成為網(wǎng)絡(luò)安全技術(shù)和管理的一個(gè)關(guān)鍵配置。

　　數(shù)據(jù)可視化通常是在一個(gè)具體的問(wèn)題目標(biāo)框架下，利用宏觀模式視角、微觀單點(diǎn)視角、關(guān)聯(lián)關(guān)系視角，通過(guò)形狀、位置、尺寸、方向、色彩、紋理等視覺要素設(shè)計(jì)，得到數(shù)據(jù)的圖形化展示。網(wǎng)絡(luò)安全可視化則是利用人類視覺對(duì)模型和結(jié)構(gòu)的獲取能力，將抽象的網(wǎng)絡(luò)和系統(tǒng)數(shù)據(jù)以圖形圖像的方式展現(xiàn)出來(lái)，將網(wǎng)絡(luò)異構(gòu)數(shù)據(jù)整合到一起，相互搭配進(jìn)行可視化展示能夠從多個(gè)角度來(lái)全面準(zhǔn)確地監(jiān)測(cè)分析一個(gè)網(wǎng)絡(luò)事件，體現(xiàn)當(dāng)前網(wǎng)絡(luò)及設(shè)備的數(shù)據(jù)傳輸、網(wǎng)絡(luò)流量來(lái)源及流動(dòng)方向、受到的攻擊類型等安全情況，從而幫助人們快速分析網(wǎng)絡(luò)狀況，識(shí)別網(wǎng)絡(luò)異常或網(wǎng)絡(luò)入侵行為，預(yù)測(cè)網(wǎng)絡(luò)安全事件發(fā)展趨勢(shì)。

　　目前，網(wǎng)絡(luò)態(tài)勢(shì)可視化技術(shù)作為一項(xiàng)新技術(shù)，是網(wǎng)絡(luò)安全態(tài)勢(shì)感知與可視化技術(shù)的結(jié)合。網(wǎng)絡(luò)中蘊(yùn)涵的態(tài)勢(shì)狀況可以通過(guò)可視化圖形方式展示給用戶，利用對(duì)圖形圖像的強(qiáng)大處理能力，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的分析和檢測(cè)。網(wǎng)絡(luò)態(tài)勢(shì)可視化充分結(jié)合了計(jì)算機(jī)和人腦在圖像處理方面的優(yōu)勢(shì)，提高了對(duì)數(shù)據(jù)的綜合分析能力，能夠有效降低誤報(bào)率和漏報(bào)率，提高系統(tǒng)檢測(cè)效率，減小反應(yīng)時(shí)間，還具備較強(qiáng)的異常行為預(yù)測(cè)能力。

　　安全態(tài)勢(shì)可視化的目的是生成網(wǎng)絡(luò)安全綜合態(tài)勢(shì)圖，以多視圖、多角度、多尺度的方式與用戶進(jìn)行交互，面臨的主要挑戰(zhàn)是如何實(shí)時(shí)顯示、處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)，如何支持多數(shù)據(jù)源、多視圖、多平臺(tái)協(xié)同的分析，最終協(xié)助網(wǎng)絡(luò)空間安全專家實(shí)現(xiàn)智能化、自動(dòng)化預(yù)警和防御體系。

　　下面簡(jiǎn)要介紹幾款常用的大數(shù)據(jù)可視化分析工具。

　　D3.js 是一款優(yōu)秀的數(shù)據(jù)可視化工具庫(kù)。運(yùn)行在 JavaScript 上，并使用 HTML、CSS和SVG。D3.js是開源工具，使用數(shù)據(jù)驅(qū)動(dòng)的方式創(chuàng)建漂亮的網(wǎng)頁(yè)，可實(shí)現(xiàn)實(shí)時(shí)交互。

　　ChartBlocks是一個(gè)易于使用的在線工具，它無(wú)需編碼，便能從電子表格、數(shù)據(jù)庫(kù)中構(gòu)建可視化圖表。整個(gè)過(guò)程可以在圖表向?qū)У闹笇?dǎo)下完成，在 HTML5 框架下使用 JavaScript 庫(kù)D3.js創(chuàng)建圖表。

　　Google Charts 以HTML5和SVG為基礎(chǔ)，充分考慮了跨瀏覽器的兼容性，并通過(guò)VML支持舊版本的IE瀏覽器，并提供一個(gè)非常好的、全面的模板庫(kù)。

　　Highcharts是JavaScript API與jQuery的集成產(chǎn)品，使用SVG格式，并使用VML支持舊版瀏覽器。它提供了兩個(gè)專門的圖表類型——Highstock和Highmaps，并且配備了一系列的插件，還提供Highcharts云服務(wù)。

　　Tableau 是一款企業(yè)級(jí)的大數(shù)據(jù)可視化工具，可輕松創(chuàng)建圖形、表格和地圖。它不僅提供了PC桌面版，還提供了云服務(wù)器解決方案，支持在線生成可視化報(bào)告。

　　Plotly 是一個(gè)非常人性化的網(wǎng)絡(luò)工具，可在幾分鐘內(nèi)啟動(dòng)，從簡(jiǎn)單的電子表格中開始創(chuàng)建漂亮的圖表，并為JavaScript和Python等編程語(yǔ)言提供API接口。

　　Visual.ly是一個(gè)可視化的內(nèi)容服務(wù)。它提供專門的大數(shù)據(jù)可視化的服務(wù)，支持外包服務(wù)：你只需描述你的項(xiàng)目，服務(wù)團(tuán)隊(duì)將在項(xiàng)目的整個(gè)持續(xù)時(shí)間內(nèi)提供可視化開發(fā)服務(wù)。

　　3. 網(wǎng)絡(luò)安全大數(shù)據(jù)分析平臺(tái)

　　OpenSOC 是一個(gè)針對(duì)網(wǎng)絡(luò)分組和流的大數(shù)據(jù)分析框架，是大數(shù)據(jù)與安全分析技術(shù)相融合的平臺(tái)，能夠?qū)崟r(shí)檢測(cè)網(wǎng)絡(luò)異常情況并且可不斷擴(kuò)展節(jié)點(diǎn)，存儲(chǔ)采用 Hadoop，實(shí)時(shí)索引采用 ElasticSearch，在線流分析采用 Storm。

　　目前，OpenSOC已加入Apache工程，名為Apache Metron。體系架構(gòu)如圖2所示。

圖2  OpenSOC體系架構(gòu)

　　OpenSOC主要功能如下。

　　擴(kuò)展性較強(qiáng)的平臺(tái)框架，支持各種Telemetry數(shù)據(jù)流；

　　通過(guò)可擴(kuò)展的接收器和分析器可監(jiān)視任何Telemetry數(shù)據(jù)源；

　　支持對(duì)Telemetry數(shù)據(jù)流的異常檢測(cè)和基于規(guī)則的實(shí)時(shí)告警；

　　通過(guò)預(yù)設(shè)時(shí)間使用Hadoop存儲(chǔ)Telemetry的數(shù)據(jù)流；

　　支持ElasticSearch實(shí)現(xiàn)自動(dòng)化實(shí)時(shí)索引Telemetry數(shù)據(jù)流；

　　支持Hive實(shí)現(xiàn)SQL查詢Hadoop數(shù)據(jù)；

　　能夠兼容ODBC/JDBC和繼承已有的分析工具；

　　具有豐富的分析應(yīng)用，且能夠集成已有的分析工具；

　　支持實(shí)時(shí)的Telemetry搜索和跨Telemetry的匹配；

　　支持自動(dòng)生成報(bào)告、異常報(bào)警等；

　　支持原數(shù)據(jù)分組的抓取、存儲(chǔ)、重組等；

　　支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的安全檢測(cè)與分析模型。

　　OpenSOC 平臺(tái)特色包括：

　　免費(fèi)、開源、基于Apache協(xié)議授權(quán)；

　　基于高可擴(kuò)展平臺(tái)的（Hadoop、Kafka、Storm）實(shí)現(xiàn)；

　　基于可擴(kuò)展的插件式設(shè)計(jì)；

　　具有靈活的部署模式，支持企業(yè)內(nèi)部或云端部署；

　　具有集中化的人員和數(shù)據(jù)管理流程。