引言

　　截止到2012年，全球數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司(IDC)的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。每一天，全世界會(huì)上傳超過5億張圖片，每分鐘就有20小時(shí)時(shí)長的視頻被分享。然而，即使是人們每天創(chuàng)造的全部信息——包括語音通話、電子郵件和信息在內(nèi)的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創(chuàng)造出的關(guān)于人們自身的數(shù)字信息量。

　　這種趨勢是否會(huì)繼續(xù)下去?答案是肯定的，我們現(xiàn)在尚處于“物聯(lián)網(wǎng)”的最初級階段，智能設(shè)備還僅僅存在于家用電器等；而隨著技術(shù)成熟，我們的工業(yè)設(shè)備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通。互聯(lián)互通的高度信息化社會(huì)產(chǎn)生的可用數(shù)據(jù)量當(dāng)超越已有的任一個(gè)社會(huì)階段。

　　我們已然處于“大數(shù)據(jù)”時(shí)代，不僅僅是“數(shù)據(jù)”，而且是“大”數(shù)據(jù)。

　　大數(shù)據(jù)時(shí)代下的信息安全面臨著新的威脅，如云平臺(tái)下的個(gè)人隱私保護(hù)，如全方位立體的信息系統(tǒng)增加了受威脅攻擊的承受面積等。每一個(gè)新的數(shù)據(jù)源加入信息網(wǎng)絡(luò)，便會(huì)成為新的潛在受攻擊點(diǎn)。慶幸的是，大數(shù)據(jù)分析技術(shù)也開始滲透進(jìn)入安全領(lǐng)域，開始與傳統(tǒng)安全技術(shù)相結(jié)合，誕生了數(shù)據(jù)時(shí)代的新型安全應(yīng)對方法：大數(shù)據(jù)安全分析。今天，我們就從最初的網(wǎng)絡(luò)安全開始講起，一起來回顧大數(shù)據(jù)安全分析技術(shù)誕生的整個(gè)路程。

　　1、 網(wǎng)絡(luò)安全的主干

　　FreeBuf是一個(gè)關(guān)于安全的頂級盛宴，一般來說，你總是能在這里找到你關(guān)心的安全問題，比如漏洞挖掘、后門設(shè)計(jì)、智能安全等。我們今天所談當(dāng)屬其中一個(gè)較大的類別，也是我們今天討論的起點(diǎn)——網(wǎng)絡(luò)安全(CyberSecurity)：

　　網(wǎng)絡(luò)安全是指：網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護(hù)，不因偶然的或者惡意的原因而遭受到破壞、更改、泄露，系統(tǒng)連續(xù)可靠正常地運(yùn)行，網(wǎng)絡(luò)服務(wù)不中斷。

　　僅從定義來看網(wǎng)絡(luò)安全定義吧，不免有些抽象，一般來說我們可以使用CIA來具體描述網(wǎng)絡(luò)安全內(nèi)涵(目標(biāo))：

　　機(jī)密性(Confidentiality)：數(shù)據(jù)不被非法訪問；

　　完整性(Integrity)：數(shù)據(jù)不被非法修改；

　　可用性(Availabitliy)：網(wǎng)絡(luò)服務(wù)始終良好運(yùn)行；

　　當(dāng)然，除去通用的CIA安全屬性，我們也可以要求可審計(jì)性、不可否認(rèn)性(數(shù)字簽名)以及可控性(信息傳播及內(nèi)容受控，如次數(shù)或特定人群訪問權(quán))等。具體可以根據(jù)自身的業(yè)務(wù)需求在CIA基礎(chǔ)上充實(shí)成為最適合自身企業(yè)的安全模型。

　　網(wǎng)絡(luò)安全的目標(biāo)實(shí)現(xiàn)依賴于其實(shí)現(xiàn)體系，其體系可以歸結(jié)為圖1：

　　上圖中涉及到網(wǎng)絡(luò)安全四個(gè)關(guān)鍵機(jī)制，其中預(yù)防是安全的起始，通過風(fēng)險(xiǎn)評估與控制形成初級安全防御；當(dāng)預(yù)防措施失效時(shí)，檢測機(jī)制將發(fā)現(xiàn)存在的攻擊行為，報(bào)警后由響應(yīng)機(jī)制進(jìn)行中斷服務(wù)、斷開連接等具體安全措施。最初的網(wǎng)絡(luò)安全框架中只有上述三類，隨著攻擊特征的研究逐漸增多，預(yù)測攻擊行為的可能性增大，因此預(yù)測機(jī)制專用于預(yù)測高風(fēng)險(xiǎn)用戶與高風(fēng)險(xiǎn)節(jié)點(diǎn)，響應(yīng)的攻擊分析后可以作為新知識(shí)提供給預(yù)測模塊，實(shí)現(xiàn)預(yù)測的智能升級。預(yù)防、預(yù)測、檢測與相應(yīng)構(gòu)成了網(wǎng)絡(luò)安全的主干(整體框架)，而百花爭艷的安全技術(shù)則像是點(diǎn)綴其上的美艷花朵。

　　2、孤掌難鳴的困境

　　遺憾的是，現(xiàn)有的安全防御機(jī)制在大數(shù)據(jù)時(shí)代的表現(xiàn)總是力不從心。我們先來看看預(yù)防機(jī)制。

　　預(yù)防機(jī)制的核心是風(fēng)險(xiǎn)管理，即識(shí)別和控制機(jī)構(gòu)面臨的安全風(fēng)險(xiǎn)的過程。風(fēng)險(xiǎn)管理主要包括風(fēng)險(xiǎn)識(shí)別與風(fēng)險(xiǎn)控制，風(fēng)險(xiǎn)識(shí)別指檢查和分析機(jī)構(gòu)信息系統(tǒng)的安全態(tài)勢與面臨的風(fēng)險(xiǎn)，形成分線評估報(bào)告；風(fēng)險(xiǎn)控制則是指用控制手段，減少機(jī)構(gòu)面臨的安全風(fēng)險(xiǎn)。風(fēng)險(xiǎn)管理可以簡單理解為“先評估，后實(shí)施”。

　　一般來說風(fēng)險(xiǎn)管理可以分為三個(gè)層次：管理控制，主要是策略方針，如密碼安全策略(復(fù)雜性與長度要求)，支付卡行業(yè)數(shù)據(jù)安全標(biāo)準(zhǔn)(PCIDSS)等；技術(shù)控制：邏輯訪問控制(基于角色的訪問控制策略)、加密協(xié)議等；物理控制：門禁、設(shè)施保護(hù)、安全視頻監(jiān)控等。

　　圖2給出了企業(yè)風(fēng)險(xiǎn)管理的層次實(shí)例，常見的預(yù)防措施可以分為主機(jī)與網(wǎng)絡(luò)兩個(gè)層次，主機(jī)方面涉及安全操作系統(tǒng)設(shè)計(jì)，已有漏洞補(bǔ)丁升級；邏輯訪問控制：認(rèn)證(用戶身份)與授權(quán)(文件訪問權(quán)、網(wǎng)絡(luò)使用權(quán)等)；安全實(shí)現(xiàn)：代碼安全審查(strcpy/strncpy)、單元測試、最小特權(quán)實(shí)現(xiàn)等。網(wǎng)絡(luò)層面包括安全協(xié)議：SSL/TLS等加固IP/TCP；安全設(shè)備：防火墻，IDS等(基于網(wǎng)絡(luò)數(shù)據(jù)包的分析)。

　　最為常見的例子莫過于在網(wǎng)絡(luò)層實(shí)施SSL協(xié)議，該協(xié)議的主要功能是在原有TCP/IP框架上添加身份認(rèn)證與數(shù)據(jù)加密功能，數(shù)據(jù)包結(jié)構(gòu)如圖3：

　　一般的SSL協(xié)議通信過程可以見圖4(客戶端連接服務(wù)器)：

　　客戶端Alice首先要驗(yàn)證服務(wù)端Bob的身份，之后二者協(xié)商生成一個(gè)本次會(huì)話的臨時(shí)密鑰K，使用K加密本次會(huì)話數(shù)據(jù)包，從而實(shí)現(xiàn)了安全數(shù)據(jù)傳輸。

　　看上去從主機(jī)到網(wǎng)絡(luò)，我們已經(jīng)根據(jù)風(fēng)險(xiǎn)評估的結(jié)果實(shí)施了全面的防御準(zhǔn)備，看上去固若金湯，可是事實(shí)上果真如此嗎?事實(shí)上網(wǎng)絡(luò)安全威脅從未消失或減緩，反而變本加厲，而“安全”也成為了互聯(lián)網(wǎng)的熱搜詞匯，甚至國家層面都成立了“中共中央網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組”，因此可見網(wǎng)絡(luò)安全形式之嚴(yán)峻。

　　自身防御漏洞百出

　　安全形式嚴(yán)峻的第一個(gè)重要因素就是，防御體系自身就漏洞百出。首先從計(jì)算機(jī)系統(tǒng)與信息網(wǎng)絡(luò)自身角度來看脆弱性始終存在：

　　設(shè)計(jì)缺陷：競爭條件漏洞(race condition vulnerability)、緩沖區(qū)溢出等； 競爭漏洞：如root程序的核查文件(access)與修改文件(write)間具有時(shí)間間隔，導(dǎo)致攻擊者改變了文件符號(hào)鏈接，將符號(hào)鏈接到密碼文件上；

　　緩沖區(qū)溢出：strcpy的源字符串長度超過了目標(biāo)字符串空間長度，導(dǎo)致覆蓋掉了RET指針；

　　即便設(shè)計(jì)科學(xué)的防御系統(tǒng)在實(shí)際部署中也會(huì)存在諸多問題，如：

　　某些業(yè)務(wù)應(yīng)用設(shè)計(jì)時(shí)未考慮安全因素，安全模塊事后追加，存在片面性與兼容性問題；

　　相關(guān)人員缺乏相應(yīng)安全培訓(xùn);

　　系統(tǒng)設(shè)置缺陷(防火墻使用默認(rèn)密碼或開放默認(rèn)端口)

　　實(shí)際部署成本制約無法真實(shí)實(shí)現(xiàn)防御系統(tǒng)功能，如考慮安全性與效能之間的折衷(如卡巴斯基的查殺率與系統(tǒng)占用率)、部署預(yù)防系統(tǒng)時(shí)的非技術(shù)考量：機(jī)構(gòu)需求、經(jīng)濟(jì)成本、上級政策等；

　　一般來說，企業(yè)的信息系統(tǒng)中一般都會(huì)存在以下漏洞：

　　后門：隱秘登錄端口，rootkit(隱藏后門等惡意程序，暗中收集數(shù)據(jù))

　　拒絕服務(wù)：升級版DDOS

　　竊聽：竊聽網(wǎng)絡(luò)機(jī)密數(shù)據(jù)傳輸、監(jiān)控硬件設(shè)備電磁信號(hào)(如測信道攻擊)

　　應(yīng)用漏洞：主要用于獲取root權(quán)限，然后創(chuàng)建/維護(hù)后門、木馬等；

　　社工：攻擊機(jī)構(gòu)中脆弱的“人性”因素(欺詐攻擊)

　　因此，防御系統(tǒng)自身的設(shè)計(jì)缺陷以及實(shí)際部署中的成本制約與管理不規(guī)范導(dǎo)致安全漏洞無法完全避免。

　　攻擊者日益精進(jìn)

　　除去防御者自身因素之外，攻擊者日益精進(jìn)，從而威脅越來越高級、復(fù)雜也是一個(gè)重要原因。我們先來看看常見的攻擊分類：

　　探測攻擊(Probe)：端口掃描(nmap-m：n)、抓包解析(tcpdump等)

　　拒絕服務(wù)攻擊：TCP SYN洪流(發(fā)送多個(gè)SYN連接不響應(yīng))、PingofDeath(Ping協(xié)議組包錯(cuò)誤)、DDOS(多枚炮彈同時(shí)命中)

　　遠(yuǎn)程入侵攻擊(R2L)：登錄密碼暴力破解/字典攻擊、緩沖區(qū)溢出、SQL注入、社工；

　　提權(quán)攻擊(U2R)：緩沖區(qū)溢出、rootkit等；

　　感染傳播攻擊(Infections)：木馬、Botnet等；

　　網(wǎng)絡(luò)攻擊并不容易，必須經(jīng)過縝密的偵查與策劃，其核心階段有五個(gè)：

　　準(zhǔn)備階段：探測目標(biāo)端口、判斷系統(tǒng)軟件版本信息等，社工收集補(bǔ)充信息，評估目標(biāo)防御水平，選擇攻擊突破口；

　　入侵階段：利用緩沖區(qū)溢出、SQL注入等方法獲得系統(tǒng)root權(quán)限，是R2L與U2R兩類攻擊的結(jié)合，甚至是社工方式進(jìn)入(釣魚網(wǎng)站等)；

　　后入侵階段：創(chuàng)建后門與安裝rootkit以便于長期控制目標(biāo)；以目標(biāo)為基礎(chǔ)，探測周圍網(wǎng)絡(luò)，貢獻(xiàn)其它目標(biāo)主機(jī)(感染)，尋找有價(jià)值目標(biāo)(APT)；

　　自我保護(hù)階段：設(shè)置rootkit/加密等多種安全保護(hù)程序，修改內(nèi)核進(jìn)程表避免安全軟件查殺、修改安全日志等；

　　總攻階段：秘密傳輸目標(biāo)網(wǎng)絡(luò)的機(jī)密信息或崩潰目標(biāo)網(wǎng)絡(luò)系統(tǒng)，取決于攻擊者的動(dòng)機(jī)、目標(biāo)以及技術(shù)能力和目標(biāo)的安全防御水平;

　　每一個(gè)攻擊類型都很復(fù)雜，而且階段繁瑣，因此自然對攻擊者的技術(shù)門檻很高;然而現(xiàn)實(shí)中的攻擊者很多僅僅是“腳步小子”，原因就在于當(dāng)前存在許多可選、高效、開放的黑客工具。由于數(shù)量眾多，我們今天僅對代表性的工具作一速覽：

　　信息收集工具包括網(wǎng)絡(luò)包捕獲工具Wireshark/Tcpdump/Net2pcap等，網(wǎng)絡(luò)掃描探測工具(主機(jī)IP協(xié)議版本)：Nmap/Amap/Vmap/Xprobe等。

　　攻擊工具包括木馬類的Danger/AIMSpy/NetSpy等；拒絕服務(wù)攻擊類的Targa、HOIC/LOIC等；網(wǎng)絡(luò)包偽造類：Packeth/Packet Excalibur/Libnet等；應(yīng)用層類：Code Red Worm/Nimda Worm/AppDDoS/Botnet等；用戶攻擊類：Ntfsdos/Yaga/Metasploit等。

　　值得一提的是Metasploit，現(xiàn)在已經(jīng)更新為Kali系統(tǒng)，其上融合了現(xiàn)有的全套安全工具，從網(wǎng)絡(luò)掃描、DNS解析，到SQL注入、郵件偽造、POC利用等，已經(jīng)成為了事實(shí)上滲透測試的標(biāo)準(zhǔn)平臺(tái)。

　　上圖中是Kali系統(tǒng)上的一次攻擊應(yīng)用。隨著這些高級工具的出現(xiàn)，原本復(fù)雜攻擊要求的高技術(shù)門檻越來越低，呈現(xiàn)了反向增長的奇怪曲線，如圖6：

　　上圖反映了歷史攻擊復(fù)雜度與攻擊者技術(shù)要求的變化曲線，可以看出攻擊演變趨勢上，攻擊成本日益低廉，技術(shù)門檻越來越低；與此同時(shí)攻擊工具日趨復(fù)雜，攻擊復(fù)雜度越來越高，攻擊越來越難以防范。而不斷進(jìn)化的攻擊也使得防御系統(tǒng)效果越來越差，單單BYOD的引入，就使得自用設(shè)備打破了原始的安全邊界防御，更何況大數(shù)據(jù)時(shí)代便捷多元的信息通信設(shè)備與方法，傳統(tǒng)安全防御技術(shù)基本形同虛設(shè)。

　　3、 似是而非的替代方案

　　原有單純基于安全邊界與單一安全設(shè)備的防御體系被現(xiàn)實(shí)摧垮，于是人們開始尋找安全的替代方案。當(dāng)網(wǎng)絡(luò)中具備了防火墻/IDS等多種安全設(shè)備之后，一種自然的想法是將現(xiàn)有所有安全機(jī)制融合，形成層次漸進(jìn)的安全防御機(jī)制，即縱深防御，也稱作深度防御。

　　深度防御(Defense-in-depth)指利用一系列防御機(jī)制來保護(hù)計(jì)算機(jī)網(wǎng)絡(luò)的理念，效果是一旦某一機(jī)制無法正常運(yùn)行，會(huì)有另外一個(gè)可正常運(yùn)行的機(jī)制替代它。

　　一個(gè)典型的深度防御模型如圖7，其中：

　　實(shí)時(shí)防御部分負(fù)責(zé)對實(shí)時(shí)消息流進(jìn)行檢測防御：防火墻為第一道關(guān)口，負(fù)責(zé)控制內(nèi)外網(wǎng)絡(luò)訪問;IDS對通過防火墻的數(shù)據(jù)流進(jìn)一步檢查，發(fā)現(xiàn)其中的攻擊行為報(bào)警相應(yīng)；若攻擊逃避IDS檢測，則直接由應(yīng)急響應(yīng)與災(zāi)難恢復(fù)模塊處理。

　　日常防御模塊由脆弱性檢測模塊進(jìn)行系統(tǒng)自檢，而預(yù)警子系統(tǒng)要綜合已有所有安全信息，對未知攻擊進(jìn)行初步的預(yù)測?；A(chǔ)設(shè)施主要有多種數(shù)據(jù)庫組成，分別對兩類防御提供平臺(tái)支持。

　　深度防御的關(guān)鍵在于檢測出攻擊，從而將攻擊損失降到最小?，F(xiàn)有基于IDS的檢測系統(tǒng)是深度防御的核心模塊，因此我們重點(diǎn)分析下現(xiàn)有的檢測系統(tǒng)。

　　入侵檢測系統(tǒng)(IDS)由來已久，至今發(fā)展經(jīng)歷了個(gè)世代，第一個(gè)世代中的IDS基于誤用檢測(特征、規(guī)則檢測)，重點(diǎn)分析網(wǎng)絡(luò)包數(shù)據(jù)，從而發(fā)現(xiàn)可能的入侵與DOS攻擊，此時(shí)的IDS僅能檢測已知威脅；第二世代的IDS利用SIEM進(jìn)行了融合，從而可以關(guān)聯(lián)多個(gè)IDS的報(bào)警數(shù)據(jù)，提高了發(fā)現(xiàn)攻擊的能力。

　　雖然IDS發(fā)展了兩個(gè)世代，但是其不足也是明顯的。一方面攻擊態(tài)勢日趨嚴(yán)峻，攻擊方式日趨復(fù)雜(工具多元化)，攻擊門檻日趨降低(技術(shù)要求降低，腳本小子)，攻擊動(dòng)機(jī)日趨強(qiáng)化(腳本小子-好奇，黑產(chǎn)-經(jīng)濟(jì)利益，國家隊(duì)-權(quán)力/政治，內(nèi)部人-不滿報(bào)復(fù))；另一方面現(xiàn)有檢測技術(shù)能力有限，應(yīng)對多態(tài)惡意代碼、APT攻擊、0-day攻擊時(shí)都束手無策。而且防御與攻擊的最大不同在于：攻擊只為成功一次，防御則要成功每一天，因此防御方責(zé)任更大，形勢更為嚴(yán)峻。

　　最近幾年發(fā)生的安全事件也驗(yàn)證了當(dāng)前安全防御脆弱無力的事實(shí)，如2010年發(fā)生的震驚全球的“極光攻擊”與“震網(wǎng)”兩個(gè)典型APT攻擊，其影響損失不言而喻，但是伊朗核電站所受影響已無法簡單用經(jīng)濟(jì)損失來衡量；2014年韓國銀行客戶金融數(shù)據(jù)失竊，童年JP摩根銀行客戶賬戶失竊，內(nèi)部人信息竊取、欺詐已經(jīng)成為了企業(yè)面臨的首要威脅。具體可參加下圖：

　　正當(dāng)人們?yōu)楝F(xiàn)有安全防御無力痛心的時(shí)候，大數(shù)據(jù)技術(shù)卻蓬勃發(fā)展，一系列核心技術(shù)與平臺(tái)架構(gòu)均日趨成熟，甚至出現(xiàn)了成熟的市場實(shí)例(如Amazon的大數(shù)據(jù)分析平臺(tái))。與此同時(shí)，安全日志的重要性逐漸得到大家的重視，2010年一份報(bào)告顯示86%的安全事件可以回溯到安全日志，而安全日志數(shù)據(jù)量巨大，導(dǎo)致實(shí)際無法有效利用。

　　如同發(fā)現(xiàn)了新的美洲大陸，安全界不約而同將目光轉(zhuǎn)向了大數(shù)據(jù)技術(shù)在安全日志中的應(yīng)用。學(xué)術(shù)界普遍認(rèn)為利用大數(shù)據(jù)技術(shù)是挖掘日志價(jià)值，是提升安全檢測效果的關(guān)鍵。因此第三個(gè)世代的IDS出現(xiàn)了，其融合了大數(shù)據(jù)分析技術(shù)，構(gòu)建了安全威脅情報(bào)平臺(tái)，從長時(shí)間窗口中關(guān)聯(lián)，挖掘攻擊信息，不僅提高了檢測未知威脅的能力，也縮短了攻擊與檢測相應(yīng)的時(shí)間周期。

　　4、 達(dá)摩克利斯之劍

　　大數(shù)據(jù)技術(shù)的出現(xiàn)使得分析蘊(yùn)藏著攻擊痕跡的海量安全日志成為可能，以此為依托，國內(nèi)外均開展了大量大數(shù)據(jù)安全領(lǐng)域研究。內(nèi)部威脅因其特有的隱蔽、透明特性也成為了大數(shù)據(jù)安全分析的重要應(yīng)用領(lǐng)域?；谄髽I(yè)內(nèi)部特有的內(nèi)部威脅風(fēng)險(xiǎn)，提取威脅特征，然后在各設(shè)備安全日志中挖掘分析，從而檢測內(nèi)部威脅成為未來行之有效的內(nèi)部威脅檢測方案，可以說大數(shù)據(jù)安全分析技術(shù)成為了懸在內(nèi)部威脅頭上的達(dá)摩克利斯之劍。按照數(shù)據(jù)源、分析方法、時(shí)間度量、能動(dòng)性與持時(shí)間周期等，我們可以將現(xiàn)有內(nèi)部威脅中的大數(shù)據(jù)安全分析歸為幾類：

　　按照數(shù)據(jù)來源可以分為主機(jī)、網(wǎng)絡(luò)、應(yīng)用分析三類?；谥鳈C(jī)數(shù)據(jù)檢測數(shù)據(jù)來自系統(tǒng)調(diào)用日志與系統(tǒng)日志；基于網(wǎng)絡(luò)數(shù)據(jù)檢測數(shù)據(jù)來自基于網(wǎng)絡(luò)數(shù)據(jù)包頭數(shù)據(jù)與流量數(shù)據(jù)與基于無線網(wǎng)絡(luò)數(shù)據(jù)檢測；基于應(yīng)用日志檢測數(shù)據(jù)來自數(shù)據(jù)庫日志、網(wǎng)站日志、IDS指示器數(shù)據(jù)等。

　　按照使用方法可以分為誤用檢測與異常檢測。誤用檢測又稱特征檢測，需要提取已知攻擊特征，基于簽名匹配檢測攻擊，其準(zhǔn)確率較高，然而無法檢測未知威脅;異常檢測基于“白名單”思想，建立用戶的正常行為模型，從而檢測偏離正常模型的行為，其可以檢測未知威脅 ，但誤報(bào)率較高。

　　按照時(shí)間度量可以分為實(shí)時(shí)內(nèi)部威脅檢測與離線檢測。實(shí)時(shí)監(jiān)測將安全日志數(shù)據(jù)組我欸數(shù)據(jù)流實(shí)時(shí)分析報(bào)警；而離線檢測則在后臺(tái)進(jìn)行數(shù)據(jù)挖掘分析

　　按照能動(dòng)性可以分為被動(dòng)檢測與主動(dòng)檢測兩類。顧名思義，被動(dòng)檢測就是傳統(tǒng)的IDS，檢測到內(nèi)部威脅即報(bào)警，但是不采取安全措施，等待人為命令；主動(dòng)檢測類似于IPS，檢測到內(nèi)部威脅可以自動(dòng)斷開內(nèi)部攻擊者連接，剝奪其訪問權(quán)等。

　　按照時(shí)間周期可以分為連續(xù)監(jiān)測與周期檢測。連續(xù)監(jiān)測即不間斷監(jiān)測，而周期檢測則是特定周期執(zhí)行檢測，兩次檢測間隔可能被攻擊者利用。

　　5、 實(shí)例

　　作為本章的最后，我們介紹一個(gè)實(shí)際的大數(shù)據(jù)安全在內(nèi)部威脅中的應(yīng)用實(shí)例，以供大家參考。如檢測內(nèi)部人團(tuán)伙竊取信息行為：

　　1.分析文件訪問異常行為的用戶

　　2.分析上步異常用戶的郵件聯(lián)系人圖；

　　3.分析異常郵件關(guān)系圖中所有用戶的文件行為；

　　4.采用機(jī)器學(xué)習(xí)建立分類器，多人、多終端家呢異常；

　　5.關(guān)聯(lián)多類異常，檢測內(nèi)部信息竊取攻擊；

　　內(nèi)部威脅中的大數(shù)據(jù)安全分析尚未形成統(tǒng)一的理論，仍處于“摸著石頭過河”階段。

　　6、小結(jié)

　　本篇從最初的網(wǎng)絡(luò)安全講起，分析了隨著信息時(shí)代發(fā)展，網(wǎng)絡(luò)防御方所面臨的挑戰(zhàn)與對抗安全威脅的決心和努力，隨著大數(shù)據(jù)平臺(tái)技術(shù)與分析技術(shù)的成熟，終于大數(shù)據(jù)安全分析應(yīng)用逐漸成為了現(xiàn)實(shí)。本文的基本脈絡(luò)我們以流程圖的形式總結(jié)如圖8：

　　大數(shù)據(jù)時(shí)代就像一把雙刃劍，一方面帶了了新的安全威脅，如大數(shù)據(jù)時(shí)代下的隱私保護(hù)問題(圖10-個(gè)人隱私泄露風(fēng)險(xiǎn))：

　　另一方面又為我們帶來了新的安全利器，如我們今天所介紹的大數(shù)據(jù)安全分析技術(shù)(圖11-大數(shù)據(jù)安全分析應(yīng)用)：

　　至于最終大數(shù)據(jù)時(shí)代是好是壞，我想僅僅作為看客是遠(yuǎn)遠(yuǎn)沒有發(fā)言權(quán)的，最終的評判還需要仰仗各位看官的共同努力，改進(jìn)已有安全防御機(jī)制，提高網(wǎng)絡(luò)安全防御效果，使得人人都可以享有一個(gè)安全、便捷的網(wǎng)絡(luò)世界。