摘 要:?設(shè)計(jì)了一種基于WSDM的校園網(wǎng)流量監(jiān)測(cè)系統(tǒng)。以校園網(wǎng)為實(shí)驗(yàn)環(huán)境，設(shè)計(jì)并實(shí)現(xiàn)了該流量監(jiān)測(cè)系統(tǒng)的原型。通過(guò)測(cè)試結(jié)果分析，證明該系統(tǒng)比傳統(tǒng)流量監(jiān)測(cè)系統(tǒng)具有更多的流量采集方式，更好的松耦合性，更容易進(jìn)行擴(kuò)展以及服務(wù)管理，對(duì)基于分布式計(jì)算的網(wǎng)絡(luò)管理系統(tǒng)模型的開(kāi)發(fā)和設(shè)計(jì)有較好的借鑒價(jià)值。
關(guān)鍵詞: Web服務(wù)分布式管理； 校園網(wǎng)； 流量監(jiān)測(cè)； 網(wǎng)絡(luò)管理
?
以Internet為代表的信息網(wǎng)絡(luò)是現(xiàn)代信息社會(huì)最重要的基礎(chǔ)設(shè)施之一，它已滲透到社會(huì)生活的各個(gè)領(lǐng)域，并成為學(xué)校教育中資源共享、信息交流的必要網(wǎng)絡(luò)平臺(tái)，因此，校園網(wǎng)的網(wǎng)絡(luò)管理越來(lái)越受到廣泛關(guān)注。
流量監(jiān)測(cè)正是網(wǎng)絡(luò)管理的前提和基礎(chǔ)。從網(wǎng)絡(luò)體系架構(gòu)分析，網(wǎng)絡(luò)流量是一切研究的基礎(chǔ),它能直接反映網(wǎng)絡(luò)性能的好壞,更能幫助判斷網(wǎng)絡(luò)故障及網(wǎng)絡(luò)安全等狀況[1]。目前的校園網(wǎng)具有以下特點(diǎn)：(1)覆蓋范圍廣，一般都要跨越多個(gè)校區(qū)；(2)使用的網(wǎng)絡(luò)設(shè)備多樣，例如服務(wù)器(DNS服務(wù)器、MAIL服務(wù)器、WWW服務(wù)器等)、交換機(jī)、路由器等；(3)網(wǎng)絡(luò)設(shè)備的生產(chǎn)廠家各異。這些都給網(wǎng)絡(luò)流量監(jiān)測(cè)帶來(lái)了很大的困難。同時(shí)，現(xiàn)有的流量監(jiān)測(cè)系統(tǒng)存在如下問(wèn)題：(1)市場(chǎng)上的網(wǎng)管軟件(例如SunNet Manager、OpenView和NetView)雖然管理功能完善，但價(jià)格比較昂貴，而且為了充分發(fā)揮功能需要二次開(kāi)發(fā)[2]；(2)采集手段單一，通常只使用SNMP模式[3]；(3)分析方法簡(jiǎn)單，所得的分析結(jié)果不能為網(wǎng)絡(luò)性能分析和安全監(jiān)控提供充分的參考。因此，本文設(shè)計(jì)了一種基于Web服務(wù)分布式管理WSDM(Web Service Distributed Management)的校園網(wǎng)流量監(jiān)測(cè)系統(tǒng)。
1 系統(tǒng)設(shè)計(jì)
面向服務(wù)架構(gòu)(SOA)是一種軟件體系結(jié)構(gòu)的思想，它需要依賴(lài)具體的實(shí)現(xiàn)技術(shù)。本文采用WSDM標(biāo)準(zhǔn)[4]來(lái)支持面向服務(wù)架構(gòu)(SOA)的實(shí)現(xiàn)。WSDM是一個(gè)用于描述特定設(shè)備、應(yīng)用程序或者組件的管理信息和功能的標(biāo)準(zhǔn)。所有描述都是通過(guò)Web服務(wù)描述語(yǔ)言WSDL(Web Services Description Language)進(jìn)行的。WSDM標(biāo)準(zhǔn)實(shí)際上由WSDM-MUWS、WSDM-MOWS兩個(gè)不同的標(biāo)準(zhǔn)組成。
網(wǎng)絡(luò)流量監(jiān)測(cè)有主動(dòng)監(jiān)測(cè)和被動(dòng)監(jiān)測(cè)2種不同的實(shí)現(xiàn)方法[5]。由于主動(dòng)測(cè)量方法的不足，本系統(tǒng)采用被動(dòng)監(jiān)測(cè)技術(shù)。網(wǎng)絡(luò)流量采集使用3種技術(shù)：(1)基于網(wǎng)管設(shè)備MIB的SNMP模式； (2)基于網(wǎng)絡(luò)探針技術(shù)的IP流量數(shù)據(jù)捕獲模式；(3)基于NetFlow技術(shù)的數(shù)據(jù)流捕獲模式。針對(duì)基于SNMP模式的技術(shù)，可以參考文獻(xiàn)[6]實(shí)現(xiàn)的基于WSDM的SNMP網(wǎng)關(guān)，通過(guò)該網(wǎng)關(guān)收集SNMP設(shè)備上的MIB信息；針對(duì)基于網(wǎng)絡(luò)探針技術(shù)模式，可以參考文獻(xiàn)[7]實(shí)現(xiàn)的基于WSDM的網(wǎng)絡(luò)探針?lè)?wù)；針對(duì)基于NetFlow技術(shù)模式，也可以參考文獻(xiàn)[7]，但流量數(shù)據(jù)是通過(guò)NetFlow的主動(dòng)式數(shù)據(jù)推送機(jī)制獲得的，網(wǎng)絡(luò)設(shè)備中的NetFlow代理通過(guò)規(guī)范的報(bào)文格式將流量數(shù)據(jù)送往指定主機(jī)(須事前指定IP地址、協(xié)議和端口)，因此，WSDM服務(wù)提供了接收和傳輸NetFlow流量數(shù)據(jù)的功能。3種采集流量的WSDM服務(wù)(SNMP網(wǎng)關(guān)、網(wǎng)絡(luò)探針?lè)?wù)以及NetFlow的相關(guān)服務(wù))都可以稱(chēng)作流量采集器或者WSDM Agent。
1.1 總體架構(gòu)
本文設(shè)計(jì)的校園網(wǎng)流量監(jiān)測(cè)系統(tǒng)在體系結(jié)構(gòu)上劃分為3個(gè)層次，由底至上依次為資源層、管理服務(wù)層、展示層，如圖1所示。
?
1.1.1 資源層
資源層包括提供流量采集服務(wù)的分布式流量采集器WSDM Agent，它們通過(guò)調(diào)用管理服務(wù)層的WSDM Agent注冊(cè)服務(wù)實(shí)行自主注冊(cè)，具備向管理服務(wù)層主動(dòng)匯報(bào)、自主管理和主動(dòng)服務(wù)等功能。進(jìn)行流量采集時(shí)的方法各異，結(jié)構(gòu)也不盡相同，但是對(duì)外包裝成統(tǒng)一的WSDM服務(wù)接口，可以方便地通過(guò)管理服務(wù)層對(duì)WSDM Agent進(jìn)行管理。
1.1.2 管理服務(wù)層
管理服務(wù)層包括應(yīng)用組件、服務(wù)組件、管理平臺(tái)以及數(shù)據(jù)庫(kù)。其中,應(yīng)用組件是對(duì)展示層提供支持的各種管理服務(wù)，包括策略管理模塊、WSDM Agent管理模塊、流量數(shù)據(jù)管理模塊以及流量分析模塊等系統(tǒng)功能實(shí)現(xiàn)的模塊。服務(wù)組件是對(duì)資源層的各種WSDM Agent資源的支持，包括安全審計(jì)、日志服務(wù)、異常服務(wù)、自主管理等，主要是管理服務(wù)器自主實(shí)現(xiàn)的一些功能。數(shù)據(jù)庫(kù)部分是應(yīng)用組件中各模塊對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)。中間層的管理平臺(tái)是管理服務(wù)層的核心，是對(duì)應(yīng)用組件、服務(wù)組件以及數(shù)據(jù)庫(kù)的支持，包括Web服務(wù)、WSDM服務(wù)的引擎和API等。
策略管理模塊：主要是底層流量采集器(WSDM Agent)的使用策略以及流量采集策略的管理。
WSDM Agent管理模塊：為合法的流量采集器(WSDM Agent)提供注冊(cè)以及更改WSDM Agent運(yùn)行狀態(tài)服務(wù)，再根據(jù)WSDM Agent的使用策略調(diào)用符合條件的WSDM Agent提供的流量采集服務(wù)。WSDM Agent開(kāi)發(fā)人員可以將新開(kāi)發(fā)的服務(wù)通過(guò)WSDM Agent管理模塊注冊(cè)發(fā)布到管理服務(wù)層，從而方便地實(shí)現(xiàn)系統(tǒng)擴(kuò)展開(kāi)發(fā)。
流量數(shù)據(jù)管理模塊：對(duì)資源層送來(lái)的流量數(shù)據(jù)進(jìn)行融合處理，為流量分析模塊提供原始的流量數(shù)據(jù)，并寫(xiě)入原始流量數(shù)據(jù)庫(kù)中；通過(guò)對(duì)網(wǎng)絡(luò)原始流量數(shù)據(jù)的分析得到整個(gè)網(wǎng)絡(luò)的流量統(tǒng)計(jì)信息，并將該統(tǒng)計(jì)結(jié)果存入流量統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)中，為展示層的流量時(shí)空狀態(tài)顯示模塊提供態(tài)勢(shì)展示數(shù)據(jù)。
流量分析模塊：對(duì)采集到的網(wǎng)絡(luò)原始流量數(shù)據(jù)進(jìn)行完整的測(cè)量數(shù)據(jù)統(tǒng)計(jì)和分析，進(jìn)行網(wǎng)絡(luò)帶寬分布分析、網(wǎng)絡(luò)瓶頸分析、網(wǎng)絡(luò)流量異常分析、網(wǎng)絡(luò)應(yīng)用流量監(jiān)測(cè)等，對(duì)網(wǎng)絡(luò)健康狀況及未來(lái)的發(fā)展趨勢(shì)做出準(zhǔn)確判斷。
1.1.3 展示層
展示層包括流量時(shí)空狀態(tài)顯示模塊。該模塊可以從流量數(shù)據(jù)庫(kù)中取得所要查詢(xún)的網(wǎng)絡(luò)流量歷史信息，也可以調(diào)用管理服務(wù)層提供的服務(wù)觸發(fā)流量信息更新采集實(shí)時(shí)的流量數(shù)據(jù)，還可以通過(guò)服務(wù)將合法用戶(hù)的操作信息送到管理服務(wù)層，根據(jù)用戶(hù)需求采用圖形用戶(hù)界面GUI將流量態(tài)勢(shì)分析的結(jié)果展示出來(lái)。提供包括實(shí)時(shí)報(bào)表、日?qǐng)?bào)表、周報(bào)表、月報(bào)表等多種格式的流量報(bào)表，還可以以直方圖，二維、三維坐標(biāo)曲線，扇形圖等形式向用戶(hù)展示實(shí)時(shí)的網(wǎng)絡(luò)鏈路流量信息以及大規(guī)模網(wǎng)絡(luò)流量態(tài)勢(shì)分析的結(jié)果。
1.2 物理視圖
系統(tǒng)的物理部署情況如圖2所示。由于系統(tǒng)采用3種方式進(jìn)行流量采集，因此,針對(duì)SNMP設(shè)備則使用SNMP網(wǎng)關(guān)(采集器)，針對(duì)NetFlow設(shè)備則使用NetFlow采集器。另外還部署了網(wǎng)絡(luò)探針(采集器)，這些采集器都部署在網(wǎng)絡(luò)的核心節(jié)點(diǎn)或關(guān)鍵鏈路處，將通過(guò)路由器或交換機(jī)采集到的原始流量數(shù)據(jù)發(fā)送到流量管理平臺(tái)，流量管理服務(wù)器及流量數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行交互，對(duì)分布式的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析與處理，并將原始的流量數(shù)據(jù)與統(tǒng)計(jì)分析之后的態(tài)勢(shì)數(shù)據(jù)存入流量數(shù)據(jù)庫(kù)中，門(mén)戶(hù)系統(tǒng)服務(wù)器通過(guò)調(diào)用流量管理平臺(tái)提供的服務(wù)滿足用戶(hù)的查詢(xún)請(qǐng)求。
1.3 處理視圖
系統(tǒng)的處理視圖如圖3所示。具體的處理流程如下：
(1) 流量采集器(WSDM Agent)通過(guò)調(diào)用管理服務(wù)層對(duì)合法WSDM Agent提供的注冊(cè)服務(wù)進(jìn)行注冊(cè)。
(2) 合法WSDM Agent的注冊(cè)信息寫(xiě)入流量WSDM Agent注冊(cè)數(shù)據(jù)庫(kù)，此時(shí)表明該WSDM Agent正常工作。
(3) 管理服務(wù)層按照流量采集器(WSDM Agent)使用策略調(diào)用已注冊(cè)WSDM Agent的服務(wù)。
(4) 流量采集器(WSDM Agent)返回采集的流量數(shù)據(jù)。
(5) WSDM Agent送來(lái)的流量數(shù)據(jù)經(jīng)過(guò)流量數(shù)據(jù)管理模塊與流量分析模塊的交互處理后，將經(jīng)過(guò)融合處理的分布式流量數(shù)據(jù)以及得出的統(tǒng)計(jì)分析數(shù)據(jù)寫(xiě)入流量數(shù)據(jù)庫(kù)。
(6) 用戶(hù)進(jìn)行流量查詢(xún)請(qǐng)求。
(7) 服務(wù)實(shí)現(xiàn)模塊將用戶(hù)的請(qǐng)求轉(zhuǎn)換成對(duì)流量數(shù)據(jù)管理模塊和流量分析模塊的服務(wù)調(diào)用。
(8) 流量數(shù)據(jù)管理與流量分析模塊從流量數(shù)據(jù)庫(kù)中查詢(xún)得到用戶(hù)請(qǐng)求的流量數(shù)據(jù)。
(9) 服務(wù)實(shí)現(xiàn)模塊得到所請(qǐng)求的流量數(shù)據(jù)。
(10) 服務(wù)實(shí)現(xiàn)模塊將請(qǐng)求的流量數(shù)據(jù)送到位于展示層的流量時(shí)空狀態(tài)顯示模塊中，將流量信息展示給用戶(hù)。
1.4 流量分析系統(tǒng)架構(gòu)
流量分析系統(tǒng)是整個(gè)流量監(jiān)測(cè)系統(tǒng)的核心，其系統(tǒng)架構(gòu)如圖4所示。該架構(gòu)分為5個(gè)模塊：流量采集模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)傳輸模塊、流量分析模塊、數(shù)據(jù)存儲(chǔ)與管理模塊。由流量監(jiān)測(cè)系統(tǒng)總體架構(gòu)可知，流量分析系統(tǒng)結(jié)構(gòu)中的這5個(gè)功能模塊分別位于總體架構(gòu)的各個(gè)層次。
位于資源層中的流量采集模塊和數(shù)據(jù)接收模塊，通過(guò)網(wǎng)絡(luò)數(shù)據(jù)流采集技術(shù)采用某種機(jī)制(例如基于NetFlow的流信息數(shù)據(jù)采集）實(shí)現(xiàn)分布式的網(wǎng)絡(luò)流量數(shù)據(jù)的采集，構(gòu)成流量采集器(WSDM Agent)；然后由數(shù)據(jù)傳輸模塊負(fù)責(zé)將這些分布式的流量采集器(WSDM Agent)采集到的原始流量數(shù)據(jù)上傳至位于管理服務(wù)層的流量管理平臺(tái)中；由流量管理平臺(tái)中的流量分析模塊對(duì)這些分布式的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行全網(wǎng)絡(luò)的OD流[8]的計(jì)算，之后對(duì)OD流進(jìn)行進(jìn)一步的統(tǒng)計(jì)和分析判定，提供包括確定網(wǎng)絡(luò)關(guān)鍵鏈路、瓶頸節(jié)點(diǎn)、識(shí)別網(wǎng)絡(luò)中的大象流及判定異常流等功能，并將得到的這些分析統(tǒng)計(jì)結(jié)果保存到流量數(shù)據(jù)庫(kù)。流量數(shù)據(jù)庫(kù)由數(shù)據(jù)存儲(chǔ)與管理模塊進(jìn)行維護(hù)。該模塊設(shè)計(jì)為存儲(chǔ)網(wǎng)絡(luò)實(shí)時(shí)流量和歷史流量數(shù)據(jù)以及統(tǒng)計(jì)分析結(jié)果數(shù)據(jù)，由流量管理平臺(tái)中的流量數(shù)據(jù)管理模塊將資源層發(fā)送上來(lái)的經(jīng)過(guò)預(yù)處理的原始流量數(shù)據(jù)保存到該模塊所屬的原始流量數(shù)據(jù)庫(kù)中。
2 系統(tǒng)實(shí)現(xiàn)
2.1 系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)
本文設(shè)計(jì)的校園網(wǎng)流量監(jiān)測(cè)系統(tǒng)相對(duì)于傳統(tǒng)的系統(tǒng)，沒(méi)有采用面向服務(wù)架構(gòu)的監(jiān)測(cè)系統(tǒng)，具有更好的松耦合性，并且更容易進(jìn)行擴(kuò)展。為了進(jìn)一步驗(yàn)證其可以應(yīng)用于現(xiàn)實(shí)的校園網(wǎng)流量監(jiān)測(cè)中，并驗(yàn)證所設(shè)計(jì)系統(tǒng)的創(chuàng)新性與實(shí)用性，本文基于校園網(wǎng)實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。實(shí)現(xiàn)中涉及的關(guān)鍵技術(shù)如下：
(1)基于Glassfish平臺(tái)的Agent服務(wù)開(kāi)發(fā)技術(shù)。Glassfish是Sun公司新推出的一款Java EE服務(wù)器，與Tomcat相比，Glassfish服務(wù)器擁有延遲加載、動(dòng)態(tài)映射等技術(shù)，并且與其他商用組件和開(kāi)源組件具有很好的兼容性，所以在XML處理以及Web Service方面有很大的優(yōu)勢(shì)。
(2) 基于Apache Muse的WSDM Agent開(kāi)發(fā)，將流量采集功能包裝成標(biāo)準(zhǔn)的WSDM服務(wù)。Apache Muse通過(guò)Java實(shí)現(xiàn)了WSDM規(guī)范，用戶(hù)可以使用它為可管理的資源創(chuàng)建Web服務(wù)接口?；贛use建立的應(yīng)用程序可以部署在Java EE環(huán)境中。
(3) 將WSDM Agent注冊(cè)模塊集成到Glassfish平臺(tái)中，這個(gè)過(guò)程修改和調(diào)用了Glassfish的內(nèi)部相關(guān)接口。
(4) 流量分析模塊中確定關(guān)鍵鏈路、確定瓶頸節(jié)點(diǎn)、識(shí)別大象流以及判定異常流的相關(guān)方法的實(shí)現(xiàn)。
(5) 流量數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)以及分析結(jié)果顯示技術(shù)。采用基于JDBC的數(shù)據(jù)庫(kù)連接進(jìn)行流量數(shù)據(jù)的存儲(chǔ)以及顯示。
2.2 運(yùn)行測(cè)試
首先測(cè)試系統(tǒng)中流量分析模塊實(shí)現(xiàn)的確定網(wǎng)絡(luò)關(guān)鍵鏈路、識(shí)別大象流、判別異常流3種功能。流量分析模塊采用Perl語(yǔ)言編程實(shí)現(xiàn)，可以同時(shí)在Windows系統(tǒng)或者Linux系統(tǒng)上運(yùn)行，運(yùn)行結(jié)果先輸出為文本文件，后導(dǎo)入MySQL數(shù)據(jù)庫(kù)中。圖5～圖7展示了系統(tǒng)中流數(shù)據(jù)分析模塊的運(yùn)行效果。
?
圖8是對(duì)校園網(wǎng)中IP地址為10.128.254.254的Router的IfIndex10接口的流量監(jiān)測(cè)服務(wù)的測(cè)試報(bào)告圖。測(cè)試時(shí)間為2008年10月31日，上午10點(diǎn)至12點(diǎn)，圖中顯示出該路由器接口的流量。該流量測(cè)試報(bào)告顯示了網(wǎng)絡(luò)實(shí)時(shí)流量隨時(shí)間變化的狀態(tài)，在該時(shí)間段內(nèi)，流入該接口的網(wǎng)絡(luò)流量最大值為443.47 MB，平均值為293.09 MB，流出該接口的最大網(wǎng)絡(luò)流量值為460.31 MB，平均值為321.23 MB。
本文設(shè)計(jì)的基于WSDM的校園網(wǎng)流量監(jiān)測(cè)系統(tǒng),不僅能夠通過(guò)多種手段采集流量數(shù)據(jù)，而且具有確定關(guān)鍵鏈路、確定瓶頸節(jié)點(diǎn)、識(shí)別大象流以及判定異常流的流量分析功能，為流量控制提供了有價(jià)值的參考信息。同時(shí)，由于系統(tǒng)各部分松耦合，WSDM標(biāo)準(zhǔn)提供了統(tǒng)一的方式來(lái)訪問(wèn)被管資源，能滿足分布式環(huán)境下對(duì)象處理的可靠性、可重用性和位置透明性要求，所以該系統(tǒng)模型能很好地適用于分布式環(huán)境下的網(wǎng)絡(luò)管理[9]。下一步將設(shè)計(jì)并實(shí)現(xiàn)一個(gè)流量控制系統(tǒng)，針對(duì)流量監(jiān)測(cè)系統(tǒng)的分析結(jié)果，對(duì)校園網(wǎng)流量進(jìn)行管理，進(jìn)一步提高校園網(wǎng)的網(wǎng)絡(luò)性能。
參考文獻(xiàn)
[1] ?關(guān)卿.分布式網(wǎng)絡(luò)流量數(shù)據(jù)分析與管理技術(shù)研究與實(shí)現(xiàn).國(guó)防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文, 2008.
[2] ?趙新元, 王 能.基于Web的網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng)的設(shè)計(jì).計(jì)算機(jī)工程, 2007,33(3).
[3] ?崔金玲, 閆娟.基于SNMP的校園網(wǎng)網(wǎng)絡(luò)性能管理系統(tǒng)的實(shí)現(xiàn).河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2007, 35(1).
[4]?OASIS.WSDM.TC,http://www.oasis-open.org/committees/
?tc_home.php?wg_abbrev=wsdm, 2008-04-25.
[5] ?張衛(wèi)東, 王偉, 韓維桓.網(wǎng)絡(luò)流量測(cè)量與監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用, 2005(7):14-15.
[6] ?楊岳湘, 劉蓉, 唐川.面向SNMP代理的WSDM轉(zhuǎn)化網(wǎng)關(guān)研究. CNCC2007, 全國(guó)計(jì)算機(jī)大會(huì), 2007.
[7] ?殷泰暉.網(wǎng)絡(luò)流量探針的關(guān)鍵技術(shù)研究. 國(guó)防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文, 2007.
[8] ?JUVA I, KUUSELA P, VIRTAMO J. A case study on?traffic matrix estimation under Gaussian distribution. In:
?Proc. of the 17th Nordic Teletraffic Seminar, 2004:49-60.
[9] ?何明, 龔正虎, 卓瑩.基于WSDM Agent的分布式拓?fù)浒l(fā)現(xiàn)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[C].計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展2008, ?合肥:中國(guó)科學(xué)技術(shù)大學(xué)出版社, 2008：1286-1291.