摘 要:?設(shè)計了一種基于WSDM的校園網(wǎng)流量監(jiān)測系統(tǒng)。以校園網(wǎng)為實驗環(huán)境，設(shè)計并實現(xiàn)了該流量監(jiān)測系統(tǒng)的原型。通過測試結(jié)果分析，證明該系統(tǒng)比傳統(tǒng)流量監(jiān)測系統(tǒng)具有更多的流量采集方式，更好的松耦合性，更容易進(jìn)行擴(kuò)展以及服務(wù)管理，對基于分布式計算的網(wǎng)絡(luò)管理系統(tǒng)模型的開發(fā)和設(shè)計有較好的借鑒價值。
關(guān)鍵詞: Web服務(wù)分布式管理； 校園網(wǎng)； 流量監(jiān)測； 網(wǎng)絡(luò)管理
?
以Internet為代表的信息網(wǎng)絡(luò)是現(xiàn)代信息社會最重要的基礎(chǔ)設(shè)施之一，它已滲透到社會生活的各個領(lǐng)域，并成為學(xué)校教育中資源共享、信息交流的必要網(wǎng)絡(luò)平臺，因此，校園網(wǎng)的網(wǎng)絡(luò)管理越來越受到廣泛關(guān)注。
流量監(jiān)測正是網(wǎng)絡(luò)管理的前提和基礎(chǔ)。從網(wǎng)絡(luò)體系架構(gòu)分析，網(wǎng)絡(luò)流量是一切研究的基礎(chǔ),它能直接反映網(wǎng)絡(luò)性能的好壞,更能幫助判斷網(wǎng)絡(luò)故障及網(wǎng)絡(luò)安全等狀況[1]。目前的校園網(wǎng)具有以下特點：(1)覆蓋范圍廣，一般都要跨越多個校區(qū)；(2)使用的網(wǎng)絡(luò)設(shè)備多樣，例如服務(wù)器(DNS服務(wù)器、MAIL服務(wù)器、WWW服務(wù)器等)、交換機(jī)、路由器等；(3)網(wǎng)絡(luò)設(shè)備的生產(chǎn)廠家各異。這些都給網(wǎng)絡(luò)流量監(jiān)測帶來了很大的困難。同時，現(xiàn)有的流量監(jiān)測系統(tǒng)存在如下問題：(1)市場上的網(wǎng)管軟件(例如SunNet Manager、OpenView和NetView)雖然管理功能完善，但價格比較昂貴，而且為了充分發(fā)揮功能需要二次開發(fā)[2]；(2)采集手段單一，通常只使用SNMP模式[3]；(3)分析方法簡單，所得的分析結(jié)果不能為網(wǎng)絡(luò)性能分析和安全監(jiān)控提供充分的參考。因此，本文設(shè)計了一種基于Web服務(wù)分布式管理WSDM(Web Service Distributed Management)的校園網(wǎng)流量監(jiān)測系統(tǒng)。
1 系統(tǒng)設(shè)計
面向服務(wù)架構(gòu)(SOA)是一種軟件體系結(jié)構(gòu)的思想，它需要依賴具體的實現(xiàn)技術(shù)。本文采用WSDM標(biāo)準(zhǔn)[4]來支持面向服務(wù)架構(gòu)(SOA)的實現(xiàn)。WSDM是一個用于描述特定設(shè)備、應(yīng)用程序或者組件的管理信息和功能的標(biāo)準(zhǔn)。所有描述都是通過Web服務(wù)描述語言WSDL(Web Services Description Language)進(jìn)行的。WSDM標(biāo)準(zhǔn)實際上由WSDM-MUWS、WSDM-MOWS兩個不同的標(biāo)準(zhǔn)組成。
網(wǎng)絡(luò)流量監(jiān)測有主動監(jiān)測和被動監(jiān)測2種不同的實現(xiàn)方法[5]。由于主動測量方法的不足，本系統(tǒng)采用被動監(jiān)測技術(shù)。網(wǎng)絡(luò)流量采集使用3種技術(shù)：(1)基于網(wǎng)管設(shè)備MIB的SNMP模式； (2)基于網(wǎng)絡(luò)探針技術(shù)的IP流量數(shù)據(jù)捕獲模式；(3)基于NetFlow技術(shù)的數(shù)據(jù)流捕獲模式。針對基于SNMP模式的技術(shù)，可以參考文獻(xiàn)[6]實現(xiàn)的基于WSDM的SNMP網(wǎng)關(guān)，通過該網(wǎng)關(guān)收集SNMP設(shè)備上的MIB信息；針對基于網(wǎng)絡(luò)探針技術(shù)模式，可以參考文獻(xiàn)[7]實現(xiàn)的基于WSDM的網(wǎng)絡(luò)探針服務(wù)；針對基于NetFlow技術(shù)模式，也可以參考文獻(xiàn)[7]，但流量數(shù)據(jù)是通過NetFlow的主動式數(shù)據(jù)推送機(jī)制獲得的，網(wǎng)絡(luò)設(shè)備中的NetFlow代理通過規(guī)范的報文格式將流量數(shù)據(jù)送往指定主機(jī)(須事前指定IP地址、協(xié)議和端口)，因此，WSDM服務(wù)提供了接收和傳輸NetFlow流量數(shù)據(jù)的功能。3種采集流量的WSDM服務(wù)(SNMP網(wǎng)關(guān)、網(wǎng)絡(luò)探針服務(wù)以及NetFlow的相關(guān)服務(wù))都可以稱作流量采集器或者WSDM Agent。
1.1 總體架構(gòu)
本文設(shè)計的校園網(wǎng)流量監(jiān)測系統(tǒng)在體系結(jié)構(gòu)上劃分為3個層次，由底至上依次為資源層、管理服務(wù)層、展示層，如圖1所示。
?
1.1.1 資源層
資源層包括提供流量采集服務(wù)的分布式流量采集器WSDM Agent，它們通過調(diào)用管理服務(wù)層的WSDM Agent注冊服務(wù)實行自主注冊，具備向管理服務(wù)層主動匯報、自主管理和主動服務(wù)等功能。進(jìn)行流量采集時的方法各異，結(jié)構(gòu)也不盡相同，但是對外包裝成統(tǒng)一的WSDM服務(wù)接口，可以方便地通過管理服務(wù)層對WSDM Agent進(jìn)行管理。
1.1.2 管理服務(wù)層
管理服務(wù)層包括應(yīng)用組件、服務(wù)組件、管理平臺以及數(shù)據(jù)庫。其中,應(yīng)用組件是對展示層提供支持的各種管理服務(wù)，包括策略管理模塊、WSDM Agent管理模塊、流量數(shù)據(jù)管理模塊以及流量分析模塊等系統(tǒng)功能實現(xiàn)的模塊。服務(wù)組件是對資源層的各種WSDM Agent資源的支持，包括安全審計、日志服務(wù)、異常服務(wù)、自主管理等，主要是管理服務(wù)器自主實現(xiàn)的一些功能。數(shù)據(jù)庫部分是應(yīng)用組件中各模塊對應(yīng)的數(shù)據(jù)存儲。中間層的管理平臺是管理服務(wù)層的核心，是對應(yīng)用組件、服務(wù)組件以及數(shù)據(jù)庫的支持，包括Web服務(wù)、WSDM服務(wù)的引擎和API等。
策略管理模塊：主要是底層流量采集器(WSDM Agent)的使用策略以及流量采集策略的管理。
WSDM Agent管理模塊：為合法的流量采集器(WSDM Agent)提供注冊以及更改WSDM Agent運(yùn)行狀態(tài)服務(wù)，再根據(jù)WSDM Agent的使用策略調(diào)用符合條件的WSDM Agent提供的流量采集服務(wù)。WSDM Agent開發(fā)人員可以將新開發(fā)的服務(wù)通過WSDM Agent管理模塊注冊發(fā)布到管理服務(wù)層，從而方便地實現(xiàn)系統(tǒng)擴(kuò)展開發(fā)。
流量數(shù)據(jù)管理模塊：對資源層送來的流量數(shù)據(jù)進(jìn)行融合處理，為流量分析模塊提供原始的流量數(shù)據(jù)，并寫入原始流量數(shù)據(jù)庫中；通過對網(wǎng)絡(luò)原始流量數(shù)據(jù)的分析得到整個網(wǎng)絡(luò)的流量統(tǒng)計信息，并將該統(tǒng)計結(jié)果存入流量統(tǒng)計結(jié)果數(shù)據(jù)庫中，為展示層的流量時空狀態(tài)顯示模塊提供態(tài)勢展示數(shù)據(jù)。
流量分析模塊：對采集到的網(wǎng)絡(luò)原始流量數(shù)據(jù)進(jìn)行完整的測量數(shù)據(jù)統(tǒng)計和分析，進(jìn)行網(wǎng)絡(luò)帶寬分布分析、網(wǎng)絡(luò)瓶頸分析、網(wǎng)絡(luò)流量異常分析、網(wǎng)絡(luò)應(yīng)用流量監(jiān)測等，對網(wǎng)絡(luò)健康狀況及未來的發(fā)展趨勢做出準(zhǔn)確判斷。
1.1.3 展示層
展示層包括流量時空狀態(tài)顯示模塊。該模塊可以從流量數(shù)據(jù)庫中取得所要查詢的網(wǎng)絡(luò)流量歷史信息，也可以調(diào)用管理服務(wù)層提供的服務(wù)觸發(fā)流量信息更新采集實時的流量數(shù)據(jù)，還可以通過服務(wù)將合法用戶的操作信息送到管理服務(wù)層，根據(jù)用戶需求采用圖形用戶界面GUI將流量態(tài)勢分析的結(jié)果展示出來。提供包括實時報表、日報表、周報表、月報表等多種格式的流量報表，還可以以直方圖，二維、三維坐標(biāo)曲線，扇形圖等形式向用戶展示實時的網(wǎng)絡(luò)鏈路流量信息以及大規(guī)模網(wǎng)絡(luò)流量態(tài)勢分析的結(jié)果。
1.2 物理視圖
系統(tǒng)的物理部署情況如圖2所示。由于系統(tǒng)采用3種方式進(jìn)行流量采集，因此,針對SNMP設(shè)備則使用SNMP網(wǎng)關(guān)(采集器)，針對NetFlow設(shè)備則使用NetFlow采集器。另外還部署了網(wǎng)絡(luò)探針(采集器)，這些采集器都部署在網(wǎng)絡(luò)的核心節(jié)點或關(guān)鍵鏈路處，將通過路由器或交換機(jī)采集到的原始流量數(shù)據(jù)發(fā)送到流量管理平臺，流量管理服務(wù)器及流量數(shù)據(jù)庫服務(wù)器進(jìn)行交互，對分布式的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析與處理，并將原始的流量數(shù)據(jù)與統(tǒng)計分析之后的態(tài)勢數(shù)據(jù)存入流量數(shù)據(jù)庫中，門戶系統(tǒng)服務(wù)器通過調(diào)用流量管理平臺提供的服務(wù)滿足用戶的查詢請求。
1.3 處理視圖
系統(tǒng)的處理視圖如圖3所示。具體的處理流程如下：
(1) 流量采集器(WSDM Agent)通過調(diào)用管理服務(wù)層對合法WSDM Agent提供的注冊服務(wù)進(jìn)行注冊。
(2) 合法WSDM Agent的注冊信息寫入流量WSDM Agent注冊數(shù)據(jù)庫，此時表明該WSDM Agent正常工作。
(3) 管理服務(wù)層按照流量采集器(WSDM Agent)使用策略調(diào)用已注冊WSDM Agent的服務(wù)。
(4) 流量采集器(WSDM Agent)返回采集的流量數(shù)據(jù)。
(5) WSDM Agent送來的流量數(shù)據(jù)經(jīng)過流量數(shù)據(jù)管理模塊與流量分析模塊的交互處理后，將經(jīng)過融合處理的分布式流量數(shù)據(jù)以及得出的統(tǒng)計分析數(shù)據(jù)寫入流量數(shù)據(jù)庫。
(6) 用戶進(jìn)行流量查詢請求。
(7) 服務(wù)實現(xiàn)模塊將用戶的請求轉(zhuǎn)換成對流量數(shù)據(jù)管理模塊和流量分析模塊的服務(wù)調(diào)用。
(8) 流量數(shù)據(jù)管理與流量分析模塊從流量數(shù)據(jù)庫中查詢得到用戶請求的流量數(shù)據(jù)。
(9) 服務(wù)實現(xiàn)模塊得到所請求的流量數(shù)據(jù)。
(10) 服務(wù)實現(xiàn)模塊將請求的流量數(shù)據(jù)送到位于展示層的流量時空狀態(tài)顯示模塊中，將流量信息展示給用戶。
1.4 流量分析系統(tǒng)架構(gòu)
流量分析系統(tǒng)是整個流量監(jiān)測系統(tǒng)的核心，其系統(tǒng)架構(gòu)如圖4所示。該架構(gòu)分為5個模塊：流量采集模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)傳輸模塊、流量分析模塊、數(shù)據(jù)存儲與管理模塊。由流量監(jiān)測系統(tǒng)總體架構(gòu)可知，流量分析系統(tǒng)結(jié)構(gòu)中的這5個功能模塊分別位于總體架構(gòu)的各個層次。
位于資源層中的流量采集模塊和數(shù)據(jù)接收模塊，通過網(wǎng)絡(luò)數(shù)據(jù)流采集技術(shù)采用某種機(jī)制(例如基于NetFlow的流信息數(shù)據(jù)采集）實現(xiàn)分布式的網(wǎng)絡(luò)流量數(shù)據(jù)的采集，構(gòu)成流量采集器(WSDM Agent)；然后由數(shù)據(jù)傳輸模塊負(fù)責(zé)將這些分布式的流量采集器(WSDM Agent)采集到的原始流量數(shù)據(jù)上傳至位于管理服務(wù)層的流量管理平臺中；由流量管理平臺中的流量分析模塊對這些分布式的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行全網(wǎng)絡(luò)的OD流[8]的計算，之后對OD流進(jìn)行進(jìn)一步的統(tǒng)計和分析判定，提供包括確定網(wǎng)絡(luò)關(guān)鍵鏈路、瓶頸節(jié)點、識別網(wǎng)絡(luò)中的大象流及判定異常流等功能，并將得到的這些分析統(tǒng)計結(jié)果保存到流量數(shù)據(jù)庫。流量數(shù)據(jù)庫由數(shù)據(jù)存儲與管理模塊進(jìn)行維護(hù)。該模塊設(shè)計為存儲網(wǎng)絡(luò)實時流量和歷史流量數(shù)據(jù)以及統(tǒng)計分析結(jié)果數(shù)據(jù)，由流量管理平臺中的流量數(shù)據(jù)管理模塊將資源層發(fā)送上來的經(jīng)過預(yù)處理的原始流量數(shù)據(jù)保存到該模塊所屬的原始流量數(shù)據(jù)庫中。
2 系統(tǒng)實現(xiàn)
2.1 系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)
本文設(shè)計的校園網(wǎng)流量監(jiān)測系統(tǒng)相對于傳統(tǒng)的系統(tǒng)，沒有采用面向服務(wù)架構(gòu)的監(jiān)測系統(tǒng)，具有更好的松耦合性，并且更容易進(jìn)行擴(kuò)展。為了進(jìn)一步驗證其可以應(yīng)用于現(xiàn)實的校園網(wǎng)流量監(jiān)測中，并驗證所設(shè)計系統(tǒng)的創(chuàng)新性與實用性，本文基于校園網(wǎng)實現(xiàn)了一個原型系統(tǒng)。實現(xiàn)中涉及的關(guān)鍵技術(shù)如下：
(1)基于Glassfish平臺的Agent服務(wù)開發(fā)技術(shù)。Glassfish是Sun公司新推出的一款Java EE服務(wù)器，與Tomcat相比，Glassfish服務(wù)器擁有延遲加載、動態(tài)映射等技術(shù)，并且與其他商用組件和開源組件具有很好的兼容性，所以在XML處理以及Web Service方面有很大的優(yōu)勢。
(2) 基于Apache Muse的WSDM Agent開發(fā)，將流量采集功能包裝成標(biāo)準(zhǔn)的WSDM服務(wù)。Apache Muse通過Java實現(xiàn)了WSDM規(guī)范，用戶可以使用它為可管理的資源創(chuàng)建Web服務(wù)接口?；贛use建立的應(yīng)用程序可以部署在Java EE環(huán)境中。
(3) 將WSDM Agent注冊模塊集成到Glassfish平臺中，這個過程修改和調(diào)用了Glassfish的內(nèi)部相關(guān)接口。
(4) 流量分析模塊中確定關(guān)鍵鏈路、確定瓶頸節(jié)點、識別大象流以及判定異常流的相關(guān)方法的實現(xiàn)。
(5) 流量數(shù)據(jù)庫的數(shù)據(jù)存儲以及分析結(jié)果顯示技術(shù)。采用基于JDBC的數(shù)據(jù)庫連接進(jìn)行流量數(shù)據(jù)的存儲以及顯示。
2.2 運(yùn)行測試
首先測試系統(tǒng)中流量分析模塊實現(xiàn)的確定網(wǎng)絡(luò)關(guān)鍵鏈路、識別大象流、判別異常流3種功能。流量分析模塊采用Perl語言編程實現(xiàn)，可以同時在Windows系統(tǒng)或者Linux系統(tǒng)上運(yùn)行，運(yùn)行結(jié)果先輸出為文本文件，后導(dǎo)入MySQL數(shù)據(jù)庫中。圖5～圖7展示了系統(tǒng)中流數(shù)據(jù)分析模塊的運(yùn)行效果。
?
圖8是對校園網(wǎng)中IP地址為10.128.254.254的Router的IfIndex10接口的流量監(jiān)測服務(wù)的測試報告圖。測試時間為2008年10月31日，上午10點至12點，圖中顯示出該路由器接口的流量。該流量測試報告顯示了網(wǎng)絡(luò)實時流量隨時間變化的狀態(tài)，在該時間段內(nèi)，流入該接口的網(wǎng)絡(luò)流量最大值為443.47 MB，平均值為293.09 MB，流出該接口的最大網(wǎng)絡(luò)流量值為460.31 MB，平均值為321.23 MB。
本文設(shè)計的基于WSDM的校園網(wǎng)流量監(jiān)測系統(tǒng),不僅能夠通過多種手段采集流量數(shù)據(jù)，而且具有確定關(guān)鍵鏈路、確定瓶頸節(jié)點、識別大象流以及判定異常流的流量分析功能，為流量控制提供了有價值的參考信息。同時，由于系統(tǒng)各部分松耦合，WSDM標(biāo)準(zhǔn)提供了統(tǒng)一的方式來訪問被管資源，能滿足分布式環(huán)境下對象處理的可靠性、可重用性和位置透明性要求，所以該系統(tǒng)模型能很好地適用于分布式環(huán)境下的網(wǎng)絡(luò)管理[9]。下一步將設(shè)計并實現(xiàn)一個流量控制系統(tǒng)，針對流量監(jiān)測系統(tǒng)的分析結(jié)果，對校園網(wǎng)流量進(jìn)行管理，進(jìn)一步提高校園網(wǎng)的網(wǎng)絡(luò)性能。
參考文獻(xiàn)
[1] ?關(guān)卿.分布式網(wǎng)絡(luò)流量數(shù)據(jù)分析與管理技術(shù)研究與實現(xiàn).國防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文, 2008.
[2] ?趙新元, 王 能.基于Web的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)的設(shè)計.計算機(jī)工程, 2007,33(3).
[3] ?崔金玲, 閆娟.基于SNMP的校園網(wǎng)網(wǎng)絡(luò)性能管理系統(tǒng)的實現(xiàn).河南師范大學(xué)學(xué)報(自然科學(xué)版), 2007, 35(1).
[4]?OASIS.WSDM.TC,http://www.oasis-open.org/committees/
?tc_home.php?wg_abbrev=wsdm, 2008-04-25.
[5] ?張衛(wèi)東, 王偉, 韓維桓.網(wǎng)絡(luò)流量測量與監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程與應(yīng)用, 2005(7):14-15.
[6] ?楊岳湘, 劉蓉, 唐川.面向SNMP代理的WSDM轉(zhuǎn)化網(wǎng)關(guān)研究. CNCC2007, 全國計算機(jī)大會, 2007.
[7] ?殷泰暉.網(wǎng)絡(luò)流量探針的關(guān)鍵技術(shù)研究. 國防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文, 2007.
[8] ?JUVA I, KUUSELA P, VIRTAMO J. A case study on?traffic matrix estimation under Gaussian distribution. In:
?Proc. of the 17th Nordic Teletraffic Seminar, 2004:49-60.
[9] ?何明, 龔正虎, 卓瑩.基于WSDM Agent的分布式拓?fù)浒l(fā)現(xiàn)系統(tǒng)設(shè)計與實現(xiàn)[C].計算機(jī)技術(shù)與應(yīng)用進(jìn)展2008, ?合肥:中國科學(xué)技術(shù)大學(xué)出版社, 2008：1286-1291.