摘 要:?設計了一種基于WSDM的校園網流量監(jiān)測系統。以校園網為實驗環(huán)境,設計并實現了該流量監(jiān)測系統的原型。通過測試結果分析,證明該系統比傳統流量監(jiān)測系統具有更多的流量采集方式,更好的松耦合性,更容易進行擴展以及服務管理,對基于分布式計算的網絡管理系統模型的開發(fā)和設計有較好的借鑒價值。
關鍵詞: Web服務分布式管理; 校園網; 流量監(jiān)測; 網絡管理
?
以Internet為代表的信息網絡是現代信息社會最重要的基礎設施之一,它已滲透到社會生活的各個領域,并成為學校教育中資源共享、信息交流的必要網絡平臺,因此,校園網的網絡管理越來越受到廣泛關注。
流量監(jiān)測正是網絡管理的前提和基礎。從網絡體系架構分析,網絡流量是一切研究的基礎,它能直接反映網絡性能的好壞,更能幫助判斷網絡故障及網絡安全等狀況[1]。目前的校園網具有以下特點:(1)覆蓋范圍廣,一般都要跨越多個校區(qū);(2)使用的網絡設備多樣,例如服務器(DNS服務器、MAIL服務器、WWW服務器等)、交換機、路由器等;(3)網絡設備的生產廠家各異。這些都給網絡流量監(jiān)測帶來了很大的困難。同時,現有的流量監(jiān)測系統存在如下問題:(1)市場上的網管軟件(例如SunNet Manager、OpenView和NetView)雖然管理功能完善,但價格比較昂貴,而且為了充分發(fā)揮功能需要二次開發(fā)[2];(2)采集手段單一,通常只使用SNMP模式[3];(3)分析方法簡單,所得的分析結果不能為網絡性能分析和安全監(jiān)控提供充分的參考。因此,本文設計了一種基于Web服務分布式管理WSDM(Web Service Distributed Management)的校園網流量監(jiān)測系統。
1 系統設計
面向服務架構(SOA)是一種軟件體系結構的思想,它需要依賴具體的實現技術。本文采用WSDM標準[4]來支持面向服務架構(SOA)的實現。WSDM是一個用于描述特定設備、應用程序或者組件的管理信息和功能的標準。所有描述都是通過Web服務描述語言WSDL(Web Services Description Language)進行的。WSDM標準實際上由WSDM-MUWS、WSDM-MOWS兩個不同的標準組成。
網絡流量監(jiān)測有主動監(jiān)測和被動監(jiān)測2種不同的實現方法[5]。由于主動測量方法的不足,本系統采用被動監(jiān)測技術。網絡流量采集使用3種技術:(1)基于網管設備MIB的SNMP模式; (2)基于網絡探針技術的IP流量數據捕獲模式;(3)基于NetFlow技術的數據流捕獲模式。針對基于SNMP模式的技術,可以參考文獻[6]實現的基于WSDM的SNMP網關,通過該網關收集SNMP設備上的MIB信息;針對基于網絡探針技術模式,可以參考文獻[7]實現的基于WSDM的網絡探針服務;針對基于NetFlow技術模式,也可以參考文獻[7],但流量數據是通過NetFlow的主動式數據推送機制獲得的,網絡設備中的NetFlow代理通過規(guī)范的報文格式將流量數據送往指定主機(須事前指定IP地址、協議和端口),因此,WSDM服務提供了接收和傳輸NetFlow流量數據的功能。3種采集流量的WSDM服務(SNMP網關、網絡探針服務以及NetFlow的相關服務)都可以稱作流量采集器或者WSDM Agent。
1.1 總體架構
本文設計的校園網流量監(jiān)測系統在體系結構上劃分為3個層次,由底至上依次為資源層、管理服務層、展示層,如圖1所示。
?
1.1.1 資源層
資源層包括提供流量采集服務的分布式流量采集器WSDM Agent,它們通過調用管理服務層的WSDM Agent注冊服務實行自主注冊,具備向管理服務層主動匯報、自主管理和主動服務等功能。進行流量采集時的方法各異,結構也不盡相同,但是對外包裝成統一的WSDM服務接口,可以方便地通過管理服務層對WSDM Agent進行管理。
1.1.2 管理服務層
管理服務層包括應用組件、服務組件、管理平臺以及數據庫。其中,應用組件是對展示層提供支持的各種管理服務,包括策略管理模塊、WSDM Agent管理模塊、流量數據管理模塊以及流量分析模塊等系統功能實現的模塊。服務組件是對資源層的各種WSDM Agent資源的支持,包括安全審計、日志服務、異常服務、自主管理等,主要是管理服務器自主實現的一些功能。數據庫部分是應用組件中各模塊對應的數據存儲。中間層的管理平臺是管理服務層的核心,是對應用組件、服務組件以及數據庫的支持,包括Web服務、WSDM服務的引擎和API等。
策略管理模塊:主要是底層流量采集器(WSDM Agent)的使用策略以及流量采集策略的管理。
WSDM Agent管理模塊:為合法的流量采集器(WSDM Agent)提供注冊以及更改WSDM Agent運行狀態(tài)服務,再根據WSDM Agent的使用策略調用符合條件的WSDM Agent提供的流量采集服務。WSDM Agent開發(fā)人員可以將新開發(fā)的服務通過WSDM Agent管理模塊注冊發(fā)布到管理服務層,從而方便地實現系統擴展開發(fā)。
流量數據管理模塊:對資源層送來的流量數據進行融合處理,為流量分析模塊提供原始的流量數據,并寫入原始流量數據庫中;通過對網絡原始流量數據的分析得到整個網絡的流量統計信息,并將該統計結果存入流量統計結果數據庫中,為展示層的流量時空狀態(tài)顯示模塊提供態(tài)勢展示數據。
流量分析模塊:對采集到的網絡原始流量數據進行完整的測量數據統計和分析,進行網絡帶寬分布分析、網絡瓶頸分析、網絡流量異常分析、網絡應用流量監(jiān)測等,對網絡健康狀況及未來的發(fā)展趨勢做出準確判斷。
1.1.3 展示層
展示層包括流量時空狀態(tài)顯示模塊。該模塊可以從流量數據庫中取得所要查詢的網絡流量歷史信息,也可以調用管理服務層提供的服務觸發(fā)流量信息更新采集實時的流量數據,還可以通過服務將合法用戶的操作信息送到管理服務層,根據用戶需求采用圖形用戶界面GUI將流量態(tài)勢分析的結果展示出來。提供包括實時報表、日報表、周報表、月報表等多種格式的流量報表,還可以以直方圖,二維、三維坐標曲線,扇形圖等形式向用戶展示實時的網絡鏈路流量信息以及大規(guī)模網絡流量態(tài)勢分析的結果。
1.2 物理視圖
系統的物理部署情況如圖2所示。由于系統采用3種方式進行流量采集,因此,針對SNMP設備則使用SNMP網關(采集器),針對NetFlow設備則使用NetFlow采集器。另外還部署了網絡探針(采集器),這些采集器都部署在網絡的核心節(jié)點或關鍵鏈路處,將通過路由器或交換機采集到的原始流量數據發(fā)送到流量管理平臺,流量管理服務器及流量數據庫服務器進行交互,對分布式的網絡流量數據進行分析與處理,并將原始的流量數據與統計分析之后的態(tài)勢數據存入流量數據庫中,門戶系統服務器通過調用流量管理平臺提供的服務滿足用戶的查詢請求。
1.3 處理視圖
系統的處理視圖如圖3所示。具體的處理流程如下:
(1) 流量采集器(WSDM Agent)通過調用管理服務層對合法WSDM Agent提供的注冊服務進行注冊。
(2) 合法WSDM Agent的注冊信息寫入流量WSDM Agent注冊數據庫,此時表明該WSDM Agent正常工作。
(3) 管理服務層按照流量采集器(WSDM Agent)使用策略調用已注冊WSDM Agent的服務。
(4) 流量采集器(WSDM Agent)返回采集的流量數據。
(5) WSDM Agent送來的流量數據經過流量數據管理模塊與流量分析模塊的交互處理后,將經過融合處理的分布式流量數據以及得出的統計分析數據寫入流量數據庫。
(6) 用戶進行流量查詢請求。
(7) 服務實現模塊將用戶的請求轉換成對流量數據管理模塊和流量分析模塊的服務調用。
(8) 流量數據管理與流量分析模塊從流量數據庫中查詢得到用戶請求的流量數據。
(9) 服務實現模塊得到所請求的流量數據。
(10) 服務實現模塊將請求的流量數據送到位于展示層的流量時空狀態(tài)顯示模塊中,將流量信息展示給用戶。
1.4 流量分析系統架構
流量分析系統是整個流量監(jiān)測系統的核心,其系統架構如圖4所示。該架構分為5個模塊:流量采集模塊、數據接收模塊、數據傳輸模塊、流量分析模塊、數據存儲與管理模塊。由流量監(jiān)測系統總體架構可知,流量分析系統結構中的這5個功能模塊分別位于總體架構的各個層次。
位于資源層中的流量采集模塊和數據接收模塊,通過網絡數據流采集技術采用某種機制(例如基于NetFlow的流信息數據采集)實現分布式的網絡流量數據的采集,構成流量采集器(WSDM Agent);然后由數據傳輸模塊負責將這些分布式的流量采集器(WSDM Agent)采集到的原始流量數據上傳至位于管理服務層的流量管理平臺中;由流量管理平臺中的流量分析模塊對這些分布式的網絡流量數據進行全網絡的OD流[8]的計算,之后對OD流進行進一步的統計和分析判定,提供包括確定網絡關鍵鏈路、瓶頸節(jié)點、識別網絡中的大象流及判定異常流等功能,并將得到的這些分析統計結果保存到流量數據庫。流量數據庫由數據存儲與管理模塊進行維護。該模塊設計為存儲網絡實時流量和歷史流量數據以及統計分析結果數據,由流量管理平臺中的流量數據管理模塊將資源層發(fā)送上來的經過預處理的原始流量數據保存到該模塊所屬的原始流量數據庫中。
2 系統實現
2.1 系統實現的關鍵技術
本文設計的校園網流量監(jiān)測系統相對于傳統的系統,沒有采用面向服務架構的監(jiān)測系統,具有更好的松耦合性,并且更容易進行擴展。為了進一步驗證其可以應用于現實的校園網流量監(jiān)測中,并驗證所設計系統的創(chuàng)新性與實用性,本文基于校園網實現了一個原型系統。實現中涉及的關鍵技術如下:
(1)基于Glassfish平臺的Agent服務開發(fā)技術。Glassfish是Sun公司新推出的一款Java EE服務器,與Tomcat相比,Glassfish服務器擁有延遲加載、動態(tài)映射等技術,并且與其他商用組件和開源組件具有很好的兼容性,所以在XML處理以及Web Service方面有很大的優(yōu)勢。
(2) 基于Apache Muse的WSDM Agent開發(fā),將流量采集功能包裝成標準的WSDM服務。Apache Muse通過Java實現了WSDM規(guī)范,用戶可以使用它為可管理的資源創(chuàng)建Web服務接口?;贛use建立的應用程序可以部署在Java EE環(huán)境中。
(3) 將WSDM Agent注冊模塊集成到Glassfish平臺中,這個過程修改和調用了Glassfish的內部相關接口。
(4) 流量分析模塊中確定關鍵鏈路、確定瓶頸節(jié)點、識別大象流以及判定異常流的相關方法的實現。
(5) 流量數據庫的數據存儲以及分析結果顯示技術。采用基于JDBC的數據庫連接進行流量數據的存儲以及顯示。
2.2 運行測試
首先測試系統中流量分析模塊實現的確定網絡關鍵鏈路、識別大象流、判別異常流3種功能。流量分析模塊采用Perl語言編程實現,可以同時在Windows系統或者Linux系統上運行,運行結果先輸出為文本文件,后導入MySQL數據庫中。圖5~圖7展示了系統中流數據分析模塊的運行效果。
?
圖8是對校園網中IP地址為10.128.254.254的Router的IfIndex10接口的流量監(jiān)測服務的測試報告圖。測試時間為2008年10月31日,上午10點至12點,圖中顯示出該路由器接口的流量。該流量測試報告顯示了網絡實時流量隨時間變化的狀態(tài),在該時間段內,流入該接口的網絡流量最大值為443.47 MB,平均值為293.09 MB,流出該接口的最大網絡流量值為460.31 MB,平均值為321.23 MB。
本文設計的基于WSDM的校園網流量監(jiān)測系統,不僅能夠通過多種手段采集流量數據,而且具有確定關鍵鏈路、確定瓶頸節(jié)點、識別大象流以及判定異常流的流量分析功能,為流量控制提供了有價值的參考信息。同時,由于系統各部分松耦合,WSDM標準提供了統一的方式來訪問被管資源,能滿足分布式環(huán)境下對象處理的可靠性、可重用性和位置透明性要求,所以該系統模型能很好地適用于分布式環(huán)境下的網絡管理[9]。下一步將設計并實現一個流量控制系統,針對流量監(jiān)測系統的分析結果,對校園網流量進行管理,進一步提高校園網的網絡性能。
參考文獻
[1] ?關卿.分布式網絡流量數據分析與管理技術研究與實現.國防科學技術大學碩士學位論文, 2008.
[2] ?趙新元, 王 能.基于Web的網絡流量監(jiān)測系統的設計.計算機工程, 2007,33(3).
[3] ?崔金玲, 閆娟.基于SNMP的校園網網絡性能管理系統的實現.河南師范大學學報(自然科學版), 2007, 35(1).
[4]?OASIS.WSDM.TC,http://www.oasis-open.org/committees/
?tc_home.php?wg_abbrev=wsdm, 2008-04-25.
[5] ?張衛(wèi)東, 王偉, 韓維桓.網絡流量測量與監(jiān)控系統的設計與實現[J].計算機工程與應用, 2005(7):14-15.
[6] ?楊岳湘, 劉蓉, 唐川.面向SNMP代理的WSDM轉化網關研究. CNCC2007, 全國計算機大會, 2007.
[7] ?殷泰暉.網絡流量探針的關鍵技術研究. 國防科學技術大學碩士學位論文, 2007.
[8] ?JUVA I, KUUSELA P, VIRTAMO J. A case study on?traffic matrix estimation under Gaussian distribution. In:
?Proc. of the 17th Nordic Teletraffic Seminar, 2004:49-60.
[9] ?何明, 龔正虎, 卓瑩.基于WSDM Agent的分布式拓撲發(fā)現系統設計與實現[C].計算機技術與應用進展2008, ?合肥:中國科學技術大學出版社, 2008:1286-1291.