摘 要: 為解決行業(yè)資源共享" title="資源共享">資源共享問題,提出了行業(yè)資源共享的網(wǎng)格系統(tǒng)的體系結(jié)構(gòu)以及資源管理模式。實現(xiàn)了行業(yè)資源共享并闡述了行業(yè)資源管理系統(tǒng)的應(yīng)用流程及其特點。
關(guān)鍵詞: 網(wǎng)格技術(shù)" title="網(wǎng)格技術(shù)">網(wǎng)格技術(shù) 資源共享 網(wǎng)格體系結(jié)構(gòu) 資源管理
隨著更多的計算機技術(shù)滲透到因特網(wǎng),網(wǎng)格繼Internet和Web之后在20世紀90年代末又成為研究熱點。
網(wǎng)格是構(gòu)筑在因特網(wǎng)上的一組新興技術(shù),它將高速互聯(lián)網(wǎng)、高性能計算" title="高性能計算">高性能計算機、大型數(shù)據(jù)庫、傳感器、遠程設(shè)備等融為一體,為科技人員和普通百姓提供了更多的資源、功能和交互性。網(wǎng)格是從電力網(wǎng)的概念借鑒過來的,其最終目的是希望用戶在使用網(wǎng)格時就像使用電力那樣,方便地使用分布在網(wǎng)絡(luò)上強大而豐富的各種資源,如計算資源、存儲資源、數(shù)據(jù)資源、信息資源、軟件資源、通信資源、知識資源和專家資源等。網(wǎng)格具有高性能、一體化、資源共享、協(xié)同工作、知識生產(chǎn)等特點,是目前關(guān)系科研、經(jīng)濟、社會、國防的重要國家基礎(chǔ)設(shè)施,在國內(nèi)外己引起廣泛的關(guān)注。隨著網(wǎng)格體系和技術(shù)標(biāo)準的日趨成熟和完善,網(wǎng)格將會在更廣泛的領(lǐng)域得到推廣和應(yīng)用[1]。
在美國,網(wǎng)格研究人員著重于計算網(wǎng)格和數(shù)據(jù)網(wǎng)格,即TeraGrid和GIG(全球信息網(wǎng)格)。在歐洲則著重于網(wǎng)格應(yīng)用,其網(wǎng)格工程包括數(shù)據(jù)網(wǎng)格、e-learning和e-culture[4]。而在其他國家,如日本、新加坡、印度則側(cè)重于構(gòu)建網(wǎng)格程序。
中國也很重視網(wǎng)格研究,目前已有一些重點項目得到政府的支持,如863工程支持的國家網(wǎng)格,教育部支持的中國網(wǎng)格工程,上海市政支持的上海網(wǎng)格等[5]。
1 網(wǎng)格技術(shù)
1.1 網(wǎng)格技術(shù)的概念及其特點
網(wǎng)格通過高速共享網(wǎng)絡(luò)連接地理上廣泛分布的異構(gòu)資源(包括超級計算系統(tǒng)、存儲器、數(shù)據(jù)庫、軟件、科學(xué)儀器和分布式文件系統(tǒng)等),并在同一時間利用這些資源來協(xié)同解決那些通常需要許多CPU或存儲器處理和訪問的單個問題。在形成網(wǎng)格狀的高性能計算網(wǎng)中,各個資源就是網(wǎng)格的節(jié)點[2]。
網(wǎng)格的特點是可以根據(jù)問題對資源的需求,動態(tài)地組織網(wǎng)絡(luò)上的資源,實現(xiàn)計算資源共享。這種資源的共享不僅僅是文件的交換共享,還可以是直接對計算機硬件資源、軟件資源、網(wǎng)絡(luò)和數(shù)據(jù)資源等直接訪問,并且這種共享是動態(tài)的且高度可控的,資源的提供者和消費者、共享內(nèi)容、共享發(fā)生的條件都是嚴格定義的。所有遵守這些共享規(guī)則的企業(yè)可以構(gòu)成一個虛擬組織,從而實現(xiàn)虛擬組織內(nèi)部的資源共享。
1.2 網(wǎng)格的體系結(jié)構(gòu)
網(wǎng)格體系結(jié)構(gòu)的構(gòu)建是關(guān)于如何建造網(wǎng)格的技術(shù),包括對網(wǎng)格基本組成部分和各部分功能的定義和描述,對網(wǎng)格各部分相互關(guān)系與集成方法的規(guī)定,以及對網(wǎng)格有效運行機制的刻畫。顯然,網(wǎng)格體系結(jié)構(gòu)是網(wǎng)格最核心的部分。只有建立合理的網(wǎng)格體系結(jié)構(gòu),才能夠設(shè)計和建造出好的網(wǎng)格,才能使網(wǎng)格有效地發(fā)揮作用。
迄今為止,比較重要且有影響的網(wǎng)格體系結(jié)構(gòu)是五層沙漏結(jié)構(gòu)。該結(jié)構(gòu)是基于美國國家實驗室的網(wǎng)格研發(fā)項目Globus提出來的,是一種以協(xié)議為中心的“協(xié)議結(jié)構(gòu)”[3]。該結(jié)構(gòu)強調(diào)協(xié)議在網(wǎng)格的資源共享和互操作中的地位,通過協(xié)議實現(xiàn)一種機制,使虛擬組織的用戶與資源之間可以協(xié)商資源的使用,建立共享關(guān)系,并且還可以進一步地管理和開發(fā)新的共享關(guān)系。這一標(biāo)準化的開放結(jié)構(gòu)對網(wǎng)格的擴展性、互操作性、一致性以及代碼共享都很有好處。圖1所示為五層沙漏結(jié)構(gòu)的形狀圖。
這五層結(jié)構(gòu)由下而上分別是構(gòu)造層、連接層、資源層、匯聚層和應(yīng)用層,各層涵義如下:
(1)構(gòu)造層(Fabric)是物理實體或邏輯實體,實現(xiàn)局部資源的控制,并向上提供共享訪問資源,如高性能計算資源、大型數(shù)據(jù)庫存儲資源、高速網(wǎng)絡(luò)資源、傳感器和遠程設(shè)備等。本層提供的功能為更上層的使用提供了基礎(chǔ),所提供的功能越豐富,更上層就越能構(gòu)造更復(fù)雜的應(yīng)用。
(2)連接層(Connectivity)定義網(wǎng)格中網(wǎng)絡(luò)事務(wù)的核心通信協(xié)議和安全協(xié)議。通信協(xié)議包括傳輸、路由、命名等;安全協(xié)議提供通信服務(wù)上的安全加密機制,用于識別用戶和資源,安全協(xié)議為建立用戶和資源之間的信任關(guān)系提供了技術(shù)支持。構(gòu)造層中提交的各種資源間的數(shù)據(jù)交換都在這一層的控制下實現(xiàn),各資源間的認證、安全控制也在這里實現(xiàn)。
(3)資源層(Resource)在一個單獨的資源上定義提供共享操作的協(xié)議,該協(xié)議實現(xiàn)調(diào)用構(gòu)造層的功能以訪問和控制本地資源。它包含信息協(xié)議和管理協(xié)議兩個協(xié)議族。在資源層只關(guān)心單個的資源,不關(guān)心全局的狀態(tài)和跨域的交互行為。
(4)匯聚層(Collective)將資源層提交的受控資源匯聚在一起,供虛擬組織的應(yīng)用程序共享和調(diào)用。匯聚層不關(guān)心單個資源的管理,關(guān)心的是全局的狀態(tài)和跨域的交互行為。因此,該層提供的協(xié)議服務(wù)是很廣泛的,開發(fā)者可以根據(jù)自己的需要,在使用下層提供的服務(wù)的基礎(chǔ)上進行再開發(fā)。匯聚層也提出了一些通用的協(xié)議和服務(wù),如目錄服務(wù)、協(xié)同分配調(diào)度、經(jīng)紀人服務(wù)、數(shù)據(jù)復(fù)制服務(wù)、軟件發(fā)現(xiàn)服務(wù)、團體授權(quán)服務(wù)、團體記賬和支付服務(wù)等。
(5)應(yīng)用層(Application)是用戶利用下層提供的API 或SDK實現(xiàn)一些特定功能。
2 行業(yè)資源共享系統(tǒng)的網(wǎng)格體系結(jié)構(gòu)與應(yīng)用
當(dāng)今的經(jīng)濟發(fā)展趨于國際化,我國各行各業(yè)的企業(yè)所面臨的競爭壓力越來越大,而且這些競爭壓力主要由各個企業(yè)單獨承擔(dān),而有些發(fā)達國家卻出現(xiàn)了企業(yè)聯(lián)合競標(biāo)、設(shè)計與制造的趨勢。以一個企業(yè)的能力來與一個行業(yè)的企業(yè)進行競爭,必定處于弱勢。為了在激烈的國際市場競爭中立于不敗之地,需要充分利用行業(yè)內(nèi)的資源,組建行業(yè)性的企業(yè)聯(lián)盟,以提高國際競爭力。這需要一個支持行業(yè)性的開放資源服務(wù)的平臺。 而網(wǎng)格技術(shù)的發(fā)展正好為行業(yè)資源共享提供一個很好的集成化的平臺環(huán)境。
2.1 行業(yè)資源共享系統(tǒng)的網(wǎng)格體系結(jié)構(gòu)
行業(yè)資源共享系統(tǒng)的網(wǎng)格體系結(jié)構(gòu)如圖2所示。此系統(tǒng)從下而上分別是網(wǎng)格資源域、網(wǎng)格中間件、開發(fā)規(guī)范和管理控制平臺和應(yīng)用層。

(1)網(wǎng)格資源域包括地理上分布的可以通過 Internet訪問到的所有分布式異構(gòu)資源,其中有運行不同操作系統(tǒng)的計算機、工作站、存儲設(shè)備、各種數(shù)據(jù)庫、儀器設(shè)備和應(yīng)用系統(tǒng)" title="應(yīng)用系統(tǒng)">應(yīng)用系統(tǒng)等。它構(gòu)成整個網(wǎng)格系統(tǒng)的硬件基礎(chǔ)。
(2)網(wǎng)格中間件能真正實現(xiàn)物理上連接、邏輯上孤立的網(wǎng)格資源的有效共享,屏蔽下層結(jié)構(gòu)的分布性和異構(gòu)性,向上層提供統(tǒng)一、透明的使用接口。網(wǎng)格中間件從下到上由資源網(wǎng)格、信息資源網(wǎng)格、服務(wù)網(wǎng)格組成。
①資源網(wǎng)格是行業(yè)資源共享系統(tǒng)基礎(chǔ)組成部分,負責(zé)本節(jié)點域的創(chuàng)建和屬性的收集,動態(tài)監(jiān)測和調(diào)度本地資源,及時地將本地網(wǎng)格資源的信息傳送給上層的信息服務(wù)" title="信息服務(wù)">信息服務(wù)模塊。此外,它還負責(zé)接收由網(wǎng)格請求代理提交的任務(wù)并負責(zé)運行相應(yīng)的資源,為行業(yè)資源應(yīng)用提供基本框架。相當(dāng)于網(wǎng)格的構(gòu)造層和連接層。
?、谛畔①Y源網(wǎng)格基于資源網(wǎng)格創(chuàng)建,是行業(yè)資源共享系統(tǒng)的重要組成部分。為了能為整個行業(yè)聯(lián)盟中的企業(yè)提供有用的信息服務(wù),就需要對資源網(wǎng)格提供的數(shù)據(jù)信息加以分析整理,并且通過信息網(wǎng)格,將企業(yè)所需的信息提供給服務(wù)網(wǎng)格。主要功能有信息服務(wù)、貿(mào)易服務(wù)等。信息服務(wù)動態(tài)收集各個資源節(jié)點的信息,并進行分析整理;貿(mào)易服務(wù)提供網(wǎng)格請求代理和資源域內(nèi)節(jié)點協(xié)商價格的功能,相當(dāng)于網(wǎng)格的資源層。
?、鄯?wù)網(wǎng)格是行業(yè)資源共享系統(tǒng)的核心組成部分,對全局資源進行統(tǒng)一的管理和分配。服務(wù)網(wǎng)格提供資源共享系統(tǒng)所支持的各種服務(wù),同時對各應(yīng)用系統(tǒng)提供服務(wù)支持,這種服務(wù)支持包括信息服務(wù)、計算服務(wù)和信息處理服務(wù)等。服務(wù)網(wǎng)格提供的服務(wù)包括建立虛擬企業(yè)聯(lián)盟、使不同企業(yè)的人和系統(tǒng)可以協(xié)同和交互等,即實現(xiàn)整個行業(yè)的資源共享。它既提供通用性的服務(wù)接口,也可以根據(jù)虛擬組織或應(yīng)用領(lǐng)域的需要提供特定服務(wù)接口。
(3)開發(fā)規(guī)范與管理控制平臺是整個系統(tǒng)的中央控制單元,通過該平臺的集中統(tǒng)一控制,使得服務(wù)網(wǎng)格、信息資源網(wǎng)格、資源網(wǎng)格的各個子系統(tǒng)符合統(tǒng)一的規(guī)范,利于實現(xiàn)各子系統(tǒng)間的互通、互聯(lián)和互操作,進而在管理控制平臺的統(tǒng)一控制、協(xié)調(diào)下發(fā)揮出系統(tǒng)的最大效用。
(4)應(yīng)用層通過調(diào)用網(wǎng)格中間件,共享網(wǎng)格上的資源完成任務(wù)。它應(yīng)該根據(jù)不同企業(yè)的具體要求,建立相應(yīng)的應(yīng)用系統(tǒng)來滿足各企業(yè)的不同要求。
2.2 行業(yè)資源共享系統(tǒng)的資源管理模式
行業(yè)資源共享系統(tǒng)采用圖3所示的網(wǎng)絡(luò)拓撲圖。企業(yè)內(nèi)部通過局域網(wǎng)實現(xiàn)資源的互聯(lián)、互通,其資源信息通過其所在的局域網(wǎng)內(nèi)的服務(wù)器統(tǒng)一管理。行業(yè)中各個企業(yè)通過接入廣域網(wǎng)集合海量網(wǎng)格計算所需的網(wǎng)格資源。通常,這些企業(yè)在地域上廣泛分布,難以集中管理。因此采用分布式的資源管理方法較為實際,即對于分布于不同局域網(wǎng)中的網(wǎng)格資源,各服務(wù)器通過分布式數(shù)據(jù)庫建立自己的資源信息庫,服務(wù)器之間通過分布式數(shù)據(jù)庫交互信息為資源分配和作業(yè)調(diào)度服務(wù);對于一個具體的任務(wù)可以通過各個局域網(wǎng)服務(wù)器獲得各自的局域網(wǎng)資源信息,從而形成動態(tài)企業(yè)聯(lián)盟。
在這個網(wǎng)格系統(tǒng)中,不存在全局控制的調(diào)度系統(tǒng),每個企業(yè)的地位都是平等的。這樣的網(wǎng)格具有很強的可擴展性和容錯能力,系統(tǒng)內(nèi)任何一個節(jié)點發(fā)生故障都不會對整個系統(tǒng)造成太大的影響。
2.3 行業(yè)資源共享系統(tǒng)的應(yīng)用流程
系統(tǒng)應(yīng)用的基本流程:①用戶通過應(yīng)用系統(tǒng)從網(wǎng)格節(jié)點登錄,在用戶通過登錄中間件的身份認證后,用戶向系統(tǒng)提交任務(wù);②服務(wù)網(wǎng)格對任務(wù)進行分割,通過信息資源網(wǎng)格查找可利用資源及節(jié)點并進行貿(mào)易協(xié)商,然后下達任務(wù)到指定資源;③任務(wù)被分配給資源網(wǎng)格上的不同節(jié)點來共同完成,然后將任務(wù)結(jié)果連同任務(wù)完成報告返回,再由服務(wù)網(wǎng)格將結(jié)果合并后通過用戶應(yīng)用系統(tǒng)提交給用戶。
為了說明行業(yè)資源共享系統(tǒng)的特點,現(xiàn)舉一個具體的例子。在發(fā)電行業(yè)中,企業(yè)A想分析整個發(fā)電行業(yè)的發(fā)展現(xiàn)狀和未來趨勢,需要用到行業(yè)內(nèi)各個發(fā)電企業(yè)的相關(guān)數(shù)據(jù),同時需要進行大量的數(shù)據(jù)處理和數(shù)據(jù)挖掘。但是企業(yè)A并沒有處理大量數(shù)據(jù)和數(shù)據(jù)挖掘的能力,而企業(yè)B有一高性能計算機群,企業(yè)C有一套數(shù)據(jù)挖掘軟件。只要企業(yè) A、B、C都在網(wǎng)格系統(tǒng)中,便可以很容易地通過網(wǎng)格技術(shù)將各發(fā)電企業(yè)的數(shù)據(jù)資源、企業(yè)B的高性能計算機群和企業(yè)C的數(shù)據(jù)挖掘系統(tǒng)組織成一個虛擬企業(yè)聯(lián)盟,完成企業(yè)A的應(yīng)用請求,而不需要購買任何新的軟、硬件系統(tǒng)。一旦任務(wù)結(jié)束,虛擬企業(yè)聯(lián)盟自動解散。
不難看出,網(wǎng)格技術(shù)的虛擬企業(yè)成員不是單個的實際企業(yè)或企業(yè)的某個部門,而是一個個具體的計算機、存儲器之類的資源節(jié)點。通過行業(yè)資源共享系統(tǒng),可以最大限度地整合整個行業(yè)的現(xiàn)有資源,實現(xiàn)資源共享與重用。
網(wǎng)格技術(shù)是新一代互聯(lián)網(wǎng)技術(shù)。將網(wǎng)格技術(shù)應(yīng)用于行業(yè)資源共享,可以增強行業(yè)內(nèi)企業(yè)間資源的互操作性,即可以與遠程的資源進行協(xié)同工作,打破現(xiàn)有的壁壘。本文提出的行業(yè)資源共享的網(wǎng)格體系結(jié)構(gòu)和資源管理模式對實現(xiàn)行業(yè)資源重用具有重要指導(dǎo)作用。
參考文獻
1 Foster I,Kesselman C,Tuecke S.The anatomy of the grid:Enableing scalable virtual organizations.International J.Super-computer Applications,2001;15(3):200~222
2 羅作民,張 景,李軍懷.網(wǎng)格計算及其關(guān)鍵技術(shù)綜述[J].計算機工程與應(yīng)用,2003;30:18~22
3 胡 敏,顧君忠.Globus網(wǎng)格體系結(jié)構(gòu)及其服務(wù)的實現(xiàn)[J].計算機工程,2003;29(15):5~7


