??? 摘? 要： 利用Spaces模型的時間和空間透明性，將Spaces用作網(wǎng)格計算中共享數(shù)據(jù)和分配任務(wù)的“黑板”，設(shè)計了一個基于Spaces的網(wǎng)格計算構(gòu)架——GCFS，為網(wǎng)格計算的框架設(shè)計提供了一種新方法。
??? 關(guān)鍵詞： 網(wǎng)格計算? 異步通信? Spaces模型? Master-Worker模型
?
??? 隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)格計算作為一種新型的分布式技術(shù)，提供了集成的計算與資源環(huán)境，在提高資源利用率方面起到越來越重要的作用。但在分布式系統(tǒng)中，進程間的通信、事件同步是必須解決的問題。目前出現(xiàn)了眾多的解決方法，具有代表性的有RMI、CORBA、Web Service等分布式計算模型。由于這些方法在解決問題時的抽象層次不一樣，所以對系統(tǒng)的開銷、可擴展性、跨平臺性以及易實現(xiàn)性等方面的影響程度也不一樣。
??? 耶魯大學的David Gelernter在Linda系統(tǒng)中提出了元組空間（Tuple Space）的思想。該系統(tǒng)的初衷是利用Spaces為并行計算提供全局的通信緩存。由于Spaces模型簡單且能較好地協(xié)調(diào)進程間的同步，因此，可將它作為另一種抽象的分布式計算模型應用于當前的各種分布式計算領(lǐng)域。T Spaces、JavaSpaces作為由Tuple Space模型發(fā)展起來的通用分布式中間件，已被應用到很多分布式計算中。但在實際應用中，它們的一些功能是不必要的，且容易引起性能效率的降低。網(wǎng)格計算中一個很重要的性能是可將位于異構(gòu)網(wǎng)絡(luò)的多種資源整合為虛擬的統(tǒng)一視圖，由不同的應用動態(tài)地共享。本文把Spaces用作網(wǎng)格計算中共享數(shù)據(jù)和分配任務(wù)的“黑板”，通過動態(tài)地創(chuàng)建或取消Spaces服務(wù)來適應網(wǎng)格計算環(huán)境的變化并設(shè)計了具有良好可伸縮性的GCFS（Grid Computing Framework with Spaces）框架。
1? Spaces模型
??? 分布式應用中的通信通常有兩種。一種是異步通信，指不同進程間的消息傳遞；另一種是同步通信，指遠程過程的調(diào)用。Spaces擴展了進程間異步通信的模型，應用的參與者集中在一個或多個Spaces中，資源提供者將信息放到Spaces，訂閱該資源的請求者可從Spaces訪問到這些信息，也就是說Spaces為網(wǎng)絡(luò)資源的提供者和請求者的相互協(xié)作提供了共同的虛擬空間。圖1為Spaces模型，它體現(xiàn)了Spaces的以下特點：
?
??? (1)具有分布式應用的四個最基本操作：讀、寫、取、通知。
?? ?(2)計算機間的進程通信是間接的，并不需要預先知道其他進程的情況，直接和Spaces進行信息交互即可。與多個點對點通信的方式相反，所有的計算機都能通過Spaces看到相同的全局消息。
?? ?(3)具有持久性，即使創(chuàng)建消息的進程不再存在，它們所生成的消息也仍然可以保留。
?? ?(4)作為允許N個進程同時進行協(xié)作通信的公共中介，Spaces以一種自然的方式實現(xiàn)了分布式計算的可擴展性。新進程的加入和離開不需分別通知其他進程，只需由對應的Spaces進行管理。
??? 根據(jù)上述特點，可把Space定義為一個可通過網(wǎng)絡(luò)訪問并提供協(xié)作異步通信服務(wù)的共享消息庫。與RMI、CORBA、Web Service等進程間直接通信的計算模型不同，在Spaces模型中，進程間的協(xié)作交互是通過在一個或多個Spaces中交換消息來實現(xiàn)的。Spaces模型具有異步性，對Spaces內(nèi)的信息操作具有時間和空間的透明性。該特性能有效地解決分布式系統(tǒng)設(shè)計中所遇到的局部失敗、平臺獨立性、系統(tǒng)間難以相互發(fā)現(xiàn)等問題，從而減低了開發(fā)分布式應用程序的難度。
??? 盡管Spaces能夠存儲各種消息，支持在應用間共享消息，但它們并不是分布式文件系統(tǒng)或者數(shù)據(jù)庫。Spaces側(cè)重于利用消息來協(xié)調(diào)分布式計算，而分布式文件系統(tǒng)側(cè)重于對信息進行存儲管理。由于兩者的應用目的不同，所以使用方式也有很大差別。例如，在文件系統(tǒng)中，通過命名對先前存儲的數(shù)據(jù)進行訪問，用惟一的名字來標識文件，并通過文件的名字或內(nèi)容來查找文件。而Spaces是邏輯共享內(nèi)存模型，與常規(guī)的共享內(nèi)存模式不同，它與值關(guān)聯(lián)，但沒有地址，可通過模板進行匹配查找。消息的名字、類型、內(nèi)容以及消息間的關(guān)系等都可以作為查找條件。
2? GCFS的設(shè)計
2.1 體系結(jié)構(gòu)
??? GCFS是利用Spaces的異步性來創(chuàng)建一個靈活且具有可擴展性的網(wǎng)格計算框架。圖2所示的體系結(jié)構(gòu)包含了六個主要構(gòu)件，分別是：Space管理器、任務(wù)管理器、任務(wù)調(diào)度器、Space服務(wù)、負責通信的Agent以及網(wǎng)格應用程序。
?
??? Space管理器本身也是由Spaces模型建立起來的，它的主要功能是負責管理系統(tǒng)中的各個Space服務(wù)。Space管理器通過所掌握的參與網(wǎng)格計算的所有計算機的信息，動態(tài)地創(chuàng)建或者撤銷Space服務(wù)，即系統(tǒng)中的Space服務(wù)能夠隨著計算環(huán)境的變化而動態(tài)變化。例如，在網(wǎng)格搭建的初期，A地參與的計算機數(shù)量較少，可以通過位于B地的Space服務(wù)為A地的計算機提供任務(wù)分配服務(wù)。但隨著A地越來越多的計算機參與該網(wǎng)格平臺，Space管理器將采用評估算法判斷是否有必要專門在A地建立一個Space服務(wù)，從而減少兩地之間的通信開銷。相反，如果A地網(wǎng)格節(jié)點數(shù)量減少到一定程度，為了減輕Space管理器的管理成本，Space管理器也會評估是否有必要撤銷A地的Space服務(wù)，并將A地的計算機重新引導到相鄰地區(qū)的Space服務(wù)中。
??? 在Space管理器中的任務(wù)管理器將任務(wù)劃給各個Space服務(wù)。相應地，Space服務(wù)的任務(wù)調(diào)度器負責將任務(wù)分配給合適的網(wǎng)格節(jié)點執(zhí)行。Space服務(wù)為網(wǎng)格節(jié)點提供信息的公共存儲和共享服務(wù)，在GCFS中起到了連接網(wǎng)格節(jié)點和待處理任務(wù)的中間橋梁作用。一個Space服務(wù)可以管理多個網(wǎng)格節(jié)點，但每個網(wǎng)格節(jié)點只接受一個Space服務(wù)管理。此外，GCFS框架具有良好的負載均衡性，參與計算機首先連接平臺的Space管理器，Space管理器根據(jù)當前各個Space服務(wù)的負載、計算機的處理能力以及地理位置等情況，將計算機引導到相應的Space服務(wù)。如果某個Space服務(wù)出錯或者出現(xiàn)過載，Space管理器會根據(jù)調(diào)度算法重新將該服務(wù)區(qū)域中的網(wǎng)格節(jié)點切換到其他的Space服務(wù)。
??? 圖3描述了將GCFS應用于Master-Worker模式的方法示例。一個位于A地的Master（同時作為Space管理器）通過任務(wù)管理器劃分多個任務(wù)到各個Space服務(wù)。位于各地的Worker通過Space管理器訪問相應的Space服務(wù)，從中獲取任務(wù)進行計算并將計算結(jié)果返回Space服務(wù)。Master從各個Space服務(wù)中收集返回的結(jié)果進行匯總分析。圖3中用虛線圈出的Space是虛擬的，由位于各地的多個Space服務(wù)構(gòu)成，它們可以被動態(tài)地創(chuàng)建或撤銷。位于各地的Worker看到的是一個虛擬統(tǒng)一的Space，其中真實存在的Space服務(wù)的變動對Workers來說是透明的。
?
2.2 實現(xiàn)方法
??? 由于Java語言具有良好的跨平臺性和可移植性，因此GCFS的實現(xiàn)采用Java語言。本節(jié)重點討論GCFS的主要類設(shè)計，其類結(jié)構(gòu)如圖4所示。
?
??? Computer類負責管理參與網(wǎng)格的計算機基本信息。這些基本信息主要包括計算機的所在位置、計算機名、用戶、IP地址、CPU處理能力、內(nèi)存大小、硬盤空間、操作系統(tǒng)版本、網(wǎng)絡(luò)連接情況以及開始參與系統(tǒng)的時間等。evaluateComputer方法根據(jù)計算機的屬性評估其性能指標，為SpaceManager類的evaluateSpace方法提供算法判斷依據(jù)，使Space管理器能夠選擇計算能力強的計算機提供Space服務(wù)。同時，任務(wù)管理器和任務(wù)調(diào)度器也能夠根據(jù)計算機的性能情況分配合適的任務(wù)給各個網(wǎng)格節(jié)點進行處理。
??? SpaceManager類用于管理網(wǎng)格中的Space服務(wù)，包括Space服務(wù)的動態(tài)創(chuàng)建、撤銷和監(jiān)控。evaluatedSpace方法的作用是評估在某個網(wǎng)格節(jié)點上創(chuàng)建或者撤銷一個Space服務(wù)的必要性。該方法首先要判斷網(wǎng)格中是否需要創(chuàng)建新的或者撤銷一個已有的Space服務(wù)，然后再選擇應該在哪個網(wǎng)格節(jié)點上執(zhí)行新建或者撤銷的操作。
??? TaskManager類管理網(wǎng)格中的任務(wù)，決定如何進行任務(wù)劃分和分配。assignTask方法利用智能任務(wù)調(diào)度算法，根據(jù)各個Space的當前負載情況，決定在何時將何任務(wù)分配給何Space服務(wù)。
??? Space類用于提供Space服務(wù)。在本框架中，Space服務(wù)的主要作用是為任務(wù)提供管理服務(wù)，網(wǎng)格節(jié)點能夠從Space服務(wù)中獲取任務(wù)。該類提供了read、write、take、inform等基本方法操作存放在Space服務(wù)中的系統(tǒng)信息和任務(wù)。
??? TaskScheduler類對在Space服務(wù)中的任務(wù)進行調(diào)度。它的scheduleTask方法與TaskManager類的assignTask方法功能類似，都是將任務(wù)分配給合適的資源，其差別為二者分配的資源對象不同。scheduleTask是將在Space服務(wù)中的任務(wù)分配給該服務(wù)轄下的網(wǎng)格節(jié)點。
??? Task類表示子任務(wù)的信息，starttime屬性表示任務(wù)的開始時間，estimatedinterval屬性表示預計要處理的時間。這兩個屬性用于容錯，如果當前時間超出了starttime+k×estimatedinterval(其中k是一個經(jīng)驗值)，任務(wù)調(diào)度器就會通知Space服務(wù)，要求其檢查負責該任務(wù)的網(wǎng)格節(jié)點是否出現(xiàn)故障。taskobject屬性包含了任務(wù)的可執(zhí)行代碼，當網(wǎng)格節(jié)點從Space服務(wù)獲得一個Task實例后，taskobject會自動地下載到節(jié)點上執(zhí)行，并將計算結(jié)果返回給Space服務(wù)。
??? ClientAgent類和ServerAgent類用于網(wǎng)格節(jié)點、Space服務(wù)和Space管理器之間的相互通信。connectServer、listentoServer等方法采用的是UDP通信協(xié)議。目前GCFS在安全方面的措施還較少，參與任務(wù)計算的網(wǎng)格節(jié)點不需驗證就可以直接連接到Space服務(wù)和Space管理器上，且網(wǎng)格節(jié)點對服務(wù)器傳送的數(shù)據(jù)也是信任的。
3? 結(jié)束語
??? 網(wǎng)格技術(shù)要對計算資源進行“虛擬”組合，使得位于不同位置、具有不同硬件和操作系統(tǒng)的資源能夠協(xié)同工作。Spaces模型是一種非常抽象的分布式計算模型，可管理消息、資源和任務(wù)等信息。通過在網(wǎng)格中動態(tài)地創(chuàng)建Space服務(wù)，GCFS系統(tǒng)建立了一個輕量級的網(wǎng)格計算框架。為了提高3G無線網(wǎng)絡(luò)仿真的性能，該框架正被應用于移動通信的3G仿真。該框架還存在著許多需要深入研究的問題，例如，如何使多個Spaces進行相互協(xié)作，如何更好地增強Spaces在Internet中的安全性以及如何有效地對任務(wù)進行分解和調(diào)度等。
參考文獻
1?? Freeman E，Hupfer S，Arnold K.JavaSpaces(TM) Principles，Patterns and Practice.Addison-Wesley Pub Co，1999
2?? Edwards W K.Jini核心技術(shù).北京：機械工業(yè)出版社，2002
3?? GigaSpacesTM Technologies Ltd.GigaSpaces Grid Server for Web Services Applications[R/OL].http：//www.gigaspaces.com/whitepaper.htm.2005，1
4?? Sterck H D，Markel R S，Pohl T et al.A lightweight Java Taskspaces framework for scientific computing on computational grids.In：Proceedings of the ACM Symposium on?Applied Computing，Track on Parallel and Distributed?Systems and Networking，2003
5?? Lehman T J，Cozzi A，Xiong Y et al.Hitting the distributed computing sweet spot with TSpaces.Computer Networks，2001；35(4)
6?? Liu M L.Distributed Computing Principles and Applications.Pearson Education，Inc，2004
7?? Noble M，Slateva S.Scientfic computation with JavaSpaces.Harvard-Smithsonian Center for Astrophysics.Boston? University，Boston，2001