摘 要:?設(shè)計(jì)了一種基于WSDM的校園網(wǎng)流量監(jiān)測系統(tǒng)。以校園網(wǎng)為實(shí)驗(yàn)環(huán)境,設(shè)計(jì)并實(shí)現(xiàn)了該流量監(jiān)測系統(tǒng)的原型。通過測試結(jié)果分析,證明該系統(tǒng)比傳統(tǒng)流量監(jiān)測系統(tǒng)具有更多的流量采集方式,更好的松耦合性,更容易進(jìn)行擴(kuò)展以及服務(wù)管理,對基于分布式計(jì)算的網(wǎng)絡(luò)管理系統(tǒng)模型的開發(fā)和設(shè)計(jì)有較好的借鑒價(jià)值。
關(guān)鍵詞: Web服務(wù)分布式管理; 校園網(wǎng); 流量監(jiān)測; 網(wǎng)絡(luò)管理
?
以Internet為代表的信息網(wǎng)絡(luò)是現(xiàn)代信息社會最重要的基礎(chǔ)設(shè)施之一,它已滲透到社會生活的各個領(lǐng)域,并成為學(xué)校教育中資源共享、信息交流的必要網(wǎng)絡(luò)平臺,因此,校園網(wǎng)的網(wǎng)絡(luò)管理越來越受到廣泛關(guān)注。
流量監(jiān)測正是網(wǎng)絡(luò)管理的前提和基礎(chǔ)。從網(wǎng)絡(luò)體系架構(gòu)分析,網(wǎng)絡(luò)流量是一切研究的基礎(chǔ),它能直接反映網(wǎng)絡(luò)性能的好壞,更能幫助判斷網(wǎng)絡(luò)故障及網(wǎng)絡(luò)安全等狀況[1]。目前的校園網(wǎng)具有以下特點(diǎn):(1)覆蓋范圍廣,一般都要跨越多個校區(qū);(2)使用的網(wǎng)絡(luò)設(shè)備多樣,例如服務(wù)器(DNS服務(wù)器、MAIL服務(wù)器、WWW服務(wù)器等)、交換機(jī)、路由器等;(3)網(wǎng)絡(luò)設(shè)備的生產(chǎn)廠家各異。這些都給網(wǎng)絡(luò)流量監(jiān)測帶來了很大的困難。同時,現(xiàn)有的流量監(jiān)測系統(tǒng)存在如下問題:(1)市場上的網(wǎng)管軟件(例如SunNet Manager、OpenView和NetView)雖然管理功能完善,但價(jià)格比較昂貴,而且為了充分發(fā)揮功能需要二次開發(fā)[2];(2)采集手段單一,通常只使用SNMP模式[3];(3)分析方法簡單,所得的分析結(jié)果不能為網(wǎng)絡(luò)性能分析和安全監(jiān)控提供充分的參考。因此,本文設(shè)計(jì)了一種基于Web服務(wù)分布式管理WSDM(Web Service Distributed Management)的校園網(wǎng)流量監(jiān)測系統(tǒng)。
1 系統(tǒng)設(shè)計(jì)
面向服務(wù)架構(gòu)(SOA)是一種軟件體系結(jié)構(gòu)的思想,它需要依賴具體的實(shí)現(xiàn)技術(shù)。本文采用WSDM標(biāo)準(zhǔn)[4]來支持面向服務(wù)架構(gòu)(SOA)的實(shí)現(xiàn)。WSDM是一個用于描述特定設(shè)備、應(yīng)用程序或者組件的管理信息和功能的標(biāo)準(zhǔn)。所有描述都是通過Web服務(wù)描述語言WSDL(Web Services Description Language)進(jìn)行的。WSDM標(biāo)準(zhǔn)實(shí)際上由WSDM-MUWS、WSDM-MOWS兩個不同的標(biāo)準(zhǔn)組成。
網(wǎng)絡(luò)流量監(jiān)測有主動監(jiān)測和被動監(jiān)測2種不同的實(shí)現(xiàn)方法[5]。由于主動測量方法的不足,本系統(tǒng)采用被動監(jiān)測技術(shù)。網(wǎng)絡(luò)流量采集使用3種技術(shù):(1)基于網(wǎng)管設(shè)備MIB的SNMP模式; (2)基于網(wǎng)絡(luò)探針技術(shù)的IP流量數(shù)據(jù)捕獲模式;(3)基于NetFlow技術(shù)的數(shù)據(jù)流捕獲模式。針對基于SNMP模式的技術(shù),可以參考文獻(xiàn)[6]實(shí)現(xiàn)的基于WSDM的SNMP網(wǎng)關(guān),通過該網(wǎng)關(guān)收集SNMP設(shè)備上的MIB信息;針對基于網(wǎng)絡(luò)探針技術(shù)模式,可以參考文獻(xiàn)[7]實(shí)現(xiàn)的基于WSDM的網(wǎng)絡(luò)探針服務(wù);針對基于NetFlow技術(shù)模式,也可以參考文獻(xiàn)[7],但流量數(shù)據(jù)是通過NetFlow的主動式數(shù)據(jù)推送機(jī)制獲得的,網(wǎng)絡(luò)設(shè)備中的NetFlow代理通過規(guī)范的報(bào)文格式將流量數(shù)據(jù)送往指定主機(jī)(須事前指定IP地址、協(xié)議和端口),因此,WSDM服務(wù)提供了接收和傳輸NetFlow流量數(shù)據(jù)的功能。3種采集流量的WSDM服務(wù)(SNMP網(wǎng)關(guān)、網(wǎng)絡(luò)探針服務(wù)以及NetFlow的相關(guān)服務(wù))都可以稱作流量采集器或者WSDM Agent。
1.1 總體架構(gòu)
本文設(shè)計(jì)的校園網(wǎng)流量監(jiān)測系統(tǒng)在體系結(jié)構(gòu)上劃分為3個層次,由底至上依次為資源層、管理服務(wù)層、展示層,如圖1所示。
?
1.1.1 資源層
資源層包括提供流量采集服務(wù)的分布式流量采集器WSDM Agent,它們通過調(diào)用管理服務(wù)層的WSDM Agent注冊服務(wù)實(shí)行自主注冊,具備向管理服務(wù)層主動匯報(bào)、自主管理和主動服務(wù)等功能。進(jìn)行流量采集時的方法各異,結(jié)構(gòu)也不盡相同,但是對外包裝成統(tǒng)一的WSDM服務(wù)接口,可以方便地通過管理服務(wù)層對WSDM Agent進(jìn)行管理。
1.1.2 管理服務(wù)層
管理服務(wù)層包括應(yīng)用組件、服務(wù)組件、管理平臺以及數(shù)據(jù)庫。其中,應(yīng)用組件是對展示層提供支持的各種管理服務(wù),包括策略管理模塊、WSDM Agent管理模塊、流量數(shù)據(jù)管理模塊以及流量分析模塊等系統(tǒng)功能實(shí)現(xiàn)的模塊。服務(wù)組件是對資源層的各種WSDM Agent資源的支持,包括安全審計(jì)、日志服務(wù)、異常服務(wù)、自主管理等,主要是管理服務(wù)器自主實(shí)現(xiàn)的一些功能。數(shù)據(jù)庫部分是應(yīng)用組件中各模塊對應(yīng)的數(shù)據(jù)存儲。中間層的管理平臺是管理服務(wù)層的核心,是對應(yīng)用組件、服務(wù)組件以及數(shù)據(jù)庫的支持,包括Web服務(wù)、WSDM服務(wù)的引擎和API等。
策略管理模塊:主要是底層流量采集器(WSDM Agent)的使用策略以及流量采集策略的管理。
WSDM Agent管理模塊:為合法的流量采集器(WSDM Agent)提供注冊以及更改WSDM Agent運(yùn)行狀態(tài)服務(wù),再根據(jù)WSDM Agent的使用策略調(diào)用符合條件的WSDM Agent提供的流量采集服務(wù)。WSDM Agent開發(fā)人員可以將新開發(fā)的服務(wù)通過WSDM Agent管理模塊注冊發(fā)布到管理服務(wù)層,從而方便地實(shí)現(xiàn)系統(tǒng)擴(kuò)展開發(fā)。
流量數(shù)據(jù)管理模塊:對資源層送來的流量數(shù)據(jù)進(jìn)行融合處理,為流量分析模塊提供原始的流量數(shù)據(jù),并寫入原始流量數(shù)據(jù)庫中;通過對網(wǎng)絡(luò)原始流量數(shù)據(jù)的分析得到整個網(wǎng)絡(luò)的流量統(tǒng)計(jì)信息,并將該統(tǒng)計(jì)結(jié)果存入流量統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫中,為展示層的流量時空狀態(tài)顯示模塊提供態(tài)勢展示數(shù)據(jù)。
流量分析模塊:對采集到的網(wǎng)絡(luò)原始流量數(shù)據(jù)進(jìn)行完整的測量數(shù)據(jù)統(tǒng)計(jì)和分析,進(jìn)行網(wǎng)絡(luò)帶寬分布分析、網(wǎng)絡(luò)瓶頸分析、網(wǎng)絡(luò)流量異常分析、網(wǎng)絡(luò)應(yīng)用流量監(jiān)測等,對網(wǎng)絡(luò)健康狀況及未來的發(fā)展趨勢做出準(zhǔn)確判斷。
1.1.3 展示層
展示層包括流量時空狀態(tài)顯示模塊。該模塊可以從流量數(shù)據(jù)庫中取得所要查詢的網(wǎng)絡(luò)流量歷史信息,也可以調(diào)用管理服務(wù)層提供的服務(wù)觸發(fā)流量信息更新采集實(shí)時的流量數(shù)據(jù),還可以通過服務(wù)將合法用戶的操作信息送到管理服務(wù)層,根據(jù)用戶需求采用圖形用戶界面GUI將流量態(tài)勢分析的結(jié)果展示出來。提供包括實(shí)時報(bào)表、日報(bào)表、周報(bào)表、月報(bào)表等多種格式的流量報(bào)表,還可以以直方圖,二維、三維坐標(biāo)曲線,扇形圖等形式向用戶展示實(shí)時的網(wǎng)絡(luò)鏈路流量信息以及大規(guī)模網(wǎng)絡(luò)流量態(tài)勢分析的結(jié)果。
1.2 物理視圖
系統(tǒng)的物理部署情況如圖2所示。由于系統(tǒng)采用3種方式進(jìn)行流量采集,因此,針對SNMP設(shè)備則使用SNMP網(wǎng)關(guān)(采集器),針對NetFlow設(shè)備則使用NetFlow采集器。另外還部署了網(wǎng)絡(luò)探針(采集器),這些采集器都部署在網(wǎng)絡(luò)的核心節(jié)點(diǎn)或關(guān)鍵鏈路處,將通過路由器或交換機(jī)采集到的原始流量數(shù)據(jù)發(fā)送到流量管理平臺,流量管理服務(wù)器及流量數(shù)據(jù)庫服務(wù)器進(jìn)行交互,對分布式的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析與處理,并將原始的流量數(shù)據(jù)與統(tǒng)計(jì)分析之后的態(tài)勢數(shù)據(jù)存入流量數(shù)據(jù)庫中,門戶系統(tǒng)服務(wù)器通過調(diào)用流量管理平臺提供的服務(wù)滿足用戶的查詢請求。
1.3 處理視圖
系統(tǒng)的處理視圖如圖3所示。具體的處理流程如下:
(1) 流量采集器(WSDM Agent)通過調(diào)用管理服務(wù)層對合法WSDM Agent提供的注冊服務(wù)進(jìn)行注冊。
(2) 合法WSDM Agent的注冊信息寫入流量WSDM Agent注冊數(shù)據(jù)庫,此時表明該WSDM Agent正常工作。
(3) 管理服務(wù)層按照流量采集器(WSDM Agent)使用策略調(diào)用已注冊WSDM Agent的服務(wù)。
(4) 流量采集器(WSDM Agent)返回采集的流量數(shù)據(jù)。
(5) WSDM Agent送來的流量數(shù)據(jù)經(jīng)過流量數(shù)據(jù)管理模塊與流量分析模塊的交互處理后,將經(jīng)過融合處理的分布式流量數(shù)據(jù)以及得出的統(tǒng)計(jì)分析數(shù)據(jù)寫入流量數(shù)據(jù)庫。
(6) 用戶進(jìn)行流量查詢請求。
(7) 服務(wù)實(shí)現(xiàn)模塊將用戶的請求轉(zhuǎn)換成對流量數(shù)據(jù)管理模塊和流量分析模塊的服務(wù)調(diào)用。
(8) 流量數(shù)據(jù)管理與流量分析模塊從流量數(shù)據(jù)庫中查詢得到用戶請求的流量數(shù)據(jù)。
(9) 服務(wù)實(shí)現(xiàn)模塊得到所請求的流量數(shù)據(jù)。
(10) 服務(wù)實(shí)現(xiàn)模塊將請求的流量數(shù)據(jù)送到位于展示層的流量時空狀態(tài)顯示模塊中,將流量信息展示給用戶。
1.4 流量分析系統(tǒng)架構(gòu)
流量分析系統(tǒng)是整個流量監(jiān)測系統(tǒng)的核心,其系統(tǒng)架構(gòu)如圖4所示。該架構(gòu)分為5個模塊:流量采集模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)傳輸模塊、流量分析模塊、數(shù)據(jù)存儲與管理模塊。由流量監(jiān)測系統(tǒng)總體架構(gòu)可知,流量分析系統(tǒng)結(jié)構(gòu)中的這5個功能模塊分別位于總體架構(gòu)的各個層次。
位于資源層中的流量采集模塊和數(shù)據(jù)接收模塊,通過網(wǎng)絡(luò)數(shù)據(jù)流采集技術(shù)采用某種機(jī)制(例如基于NetFlow的流信息數(shù)據(jù)采集)實(shí)現(xiàn)分布式的網(wǎng)絡(luò)流量數(shù)據(jù)的采集,構(gòu)成流量采集器(WSDM Agent);然后由數(shù)據(jù)傳輸模塊負(fù)責(zé)將這些分布式的流量采集器(WSDM Agent)采集到的原始流量數(shù)據(jù)上傳至位于管理服務(wù)層的流量管理平臺中;由流量管理平臺中的流量分析模塊對這些分布式的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行全網(wǎng)絡(luò)的OD流[8]的計(jì)算,之后對OD流進(jìn)行進(jìn)一步的統(tǒng)計(jì)和分析判定,提供包括確定網(wǎng)絡(luò)關(guān)鍵鏈路、瓶頸節(jié)點(diǎn)、識別網(wǎng)絡(luò)中的大象流及判定異常流等功能,并將得到的這些分析統(tǒng)計(jì)結(jié)果保存到流量數(shù)據(jù)庫。流量數(shù)據(jù)庫由數(shù)據(jù)存儲與管理模塊進(jìn)行維護(hù)。該模塊設(shè)計(jì)為存儲網(wǎng)絡(luò)實(shí)時流量和歷史流量數(shù)據(jù)以及統(tǒng)計(jì)分析結(jié)果數(shù)據(jù),由流量管理平臺中的流量數(shù)據(jù)管理模塊將資源層發(fā)送上來的經(jīng)過預(yù)處理的原始流量數(shù)據(jù)保存到該模塊所屬的原始流量數(shù)據(jù)庫中。
2 系統(tǒng)實(shí)現(xiàn)
2.1 系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)
本文設(shè)計(jì)的校園網(wǎng)流量監(jiān)測系統(tǒng)相對于傳統(tǒng)的系統(tǒng),沒有采用面向服務(wù)架構(gòu)的監(jiān)測系統(tǒng),具有更好的松耦合性,并且更容易進(jìn)行擴(kuò)展。為了進(jìn)一步驗(yàn)證其可以應(yīng)用于現(xiàn)實(shí)的校園網(wǎng)流量監(jiān)測中,并驗(yàn)證所設(shè)計(jì)系統(tǒng)的創(chuàng)新性與實(shí)用性,本文基于校園網(wǎng)實(shí)現(xiàn)了一個原型系統(tǒng)。實(shí)現(xiàn)中涉及的關(guān)鍵技術(shù)如下:
(1)基于Glassfish平臺的Agent服務(wù)開發(fā)技術(shù)。Glassfish是Sun公司新推出的一款Java EE服務(wù)器,與Tomcat相比,Glassfish服務(wù)器擁有延遲加載、動態(tài)映射等技術(shù),并且與其他商用組件和開源組件具有很好的兼容性,所以在XML處理以及Web Service方面有很大的優(yōu)勢。
(2) 基于Apache Muse的WSDM Agent開發(fā),將流量采集功能包裝成標(biāo)準(zhǔn)的WSDM服務(wù)。Apache Muse通過Java實(shí)現(xiàn)了WSDM規(guī)范,用戶可以使用它為可管理的資源創(chuàng)建Web服務(wù)接口?;贛use建立的應(yīng)用程序可以部署在Java EE環(huán)境中。
(3) 將WSDM Agent注冊模塊集成到Glassfish平臺中,這個過程修改和調(diào)用了Glassfish的內(nèi)部相關(guān)接口。
(4) 流量分析模塊中確定關(guān)鍵鏈路、確定瓶頸節(jié)點(diǎn)、識別大象流以及判定異常流的相關(guān)方法的實(shí)現(xiàn)。
(5) 流量數(shù)據(jù)庫的數(shù)據(jù)存儲以及分析結(jié)果顯示技術(shù)。采用基于JDBC的數(shù)據(jù)庫連接進(jìn)行流量數(shù)據(jù)的存儲以及顯示。
2.2 運(yùn)行測試
首先測試系統(tǒng)中流量分析模塊實(shí)現(xiàn)的確定網(wǎng)絡(luò)關(guān)鍵鏈路、識別大象流、判別異常流3種功能。流量分析模塊采用Perl語言編程實(shí)現(xiàn),可以同時在Windows系統(tǒng)或者Linux系統(tǒng)上運(yùn)行,運(yùn)行結(jié)果先輸出為文本文件,后導(dǎo)入MySQL數(shù)據(jù)庫中。圖5~圖7展示了系統(tǒng)中流數(shù)據(jù)分析模塊的運(yùn)行效果。
?
圖8是對校園網(wǎng)中IP地址為10.128.254.254的Router的IfIndex10接口的流量監(jiān)測服務(wù)的測試報(bào)告圖。測試時間為2008年10月31日,上午10點(diǎn)至12點(diǎn),圖中顯示出該路由器接口的流量。該流量測試報(bào)告顯示了網(wǎng)絡(luò)實(shí)時流量隨時間變化的狀態(tài),在該時間段內(nèi),流入該接口的網(wǎng)絡(luò)流量最大值為443.47 MB,平均值為293.09 MB,流出該接口的最大網(wǎng)絡(luò)流量值為460.31 MB,平均值為321.23 MB。
本文設(shè)計(jì)的基于WSDM的校園網(wǎng)流量監(jiān)測系統(tǒng),不僅能夠通過多種手段采集流量數(shù)據(jù),而且具有確定關(guān)鍵鏈路、確定瓶頸節(jié)點(diǎn)、識別大象流以及判定異常流的流量分析功能,為流量控制提供了有價(jià)值的參考信息。同時,由于系統(tǒng)各部分松耦合,WSDM標(biāo)準(zhǔn)提供了統(tǒng)一的方式來訪問被管資源,能滿足分布式環(huán)境下對象處理的可靠性、可重用性和位置透明性要求,所以該系統(tǒng)模型能很好地適用于分布式環(huán)境下的網(wǎng)絡(luò)管理[9]。下一步將設(shè)計(jì)并實(shí)現(xiàn)一個流量控制系統(tǒng),針對流量監(jiān)測系統(tǒng)的分析結(jié)果,對校園網(wǎng)流量進(jìn)行管理,進(jìn)一步提高校園網(wǎng)的網(wǎng)絡(luò)性能。
參考文獻(xiàn)
[1] ?關(guān)卿.分布式網(wǎng)絡(luò)流量數(shù)據(jù)分析與管理技術(shù)研究與實(shí)現(xiàn).國防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文, 2008.
[2] ?趙新元, 王 能.基于Web的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)的設(shè)計(jì).計(jì)算機(jī)工程, 2007,33(3).
[3] ?崔金玲, 閆娟.基于SNMP的校園網(wǎng)網(wǎng)絡(luò)性能管理系統(tǒng)的實(shí)現(xiàn).河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2007, 35(1).
[4]?OASIS.WSDM.TC,http://www.oasis-open.org/committees/
?tc_home.php?wg_abbrev=wsdm, 2008-04-25.
[5] ?張衛(wèi)東, 王偉, 韓維桓.網(wǎng)絡(luò)流量測量與監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用, 2005(7):14-15.
[6] ?楊岳湘, 劉蓉, 唐川.面向SNMP代理的WSDM轉(zhuǎn)化網(wǎng)關(guān)研究. CNCC2007, 全國計(jì)算機(jī)大會, 2007.
[7] ?殷泰暉.網(wǎng)絡(luò)流量探針的關(guān)鍵技術(shù)研究. 國防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文, 2007.
[8] ?JUVA I, KUUSELA P, VIRTAMO J. A case study on?traffic matrix estimation under Gaussian distribution. In:
?Proc. of the 17th Nordic Teletraffic Seminar, 2004:49-60.
[9] ?何明, 龔正虎, 卓瑩.基于WSDM Agent的分布式拓?fù)浒l(fā)現(xiàn)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[C].計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展2008, ?合肥:中國科學(xué)技術(shù)大學(xué)出版社, 2008:1286-1291.