??? 從圖1可以看到，數(shù)據(jù)管理的重要地位，不僅在處理海量數(shù)據(jù)的數(shù)據(jù)網(wǎng)格，在數(shù)據(jù)管理尤其是數(shù)據(jù)傳輸更是占據(jù)著不可撼動的位置，而且它在計算網(wǎng)格和服務(wù)網(wǎng)格等領(lǐng)域也是至關(guān)重要的，數(shù)據(jù)以高效、可靠、方便地移動和復(fù)制關(guān)系到整個系統(tǒng)的效率。
??? 數(shù)據(jù)管理的主要功能包括：數(shù)據(jù)的訪問和控制，數(shù)據(jù)的拷貝和管理，以及與計算、網(wǎng)絡(luò)和存儲的協(xié)同調(diào)度。目前，GT中的數(shù)據(jù)管理主要包括：GridFTP、RFT（Reliable File Transfer）、RLS（Replica Location Service，代替了舊版本的Globus Replica Catalog和Globus Replica Management）、DRS(Data Replication Service，GT3.9.5即GT4 Beta版中新引入的服務(wù)）、OGSA-DAI等。本文將圍繞數(shù)據(jù)傳輸，特別是GridFTP協(xié)議對以往協(xié)議的擴展和改進(jìn)及其引申出的諸多數(shù)據(jù)傳輸與管理服務(wù)展開討論。這些軟件或服務(wù)相輔相成，構(gòu)成了網(wǎng)格中不可或缺的數(shù)據(jù)管理部分。
2? 數(shù)據(jù)傳輸——GridFTP協(xié)議
??? 在模擬和傳感器技術(shù)發(fā)展的推動下，數(shù)據(jù)集規(guī)模已經(jīng)增長到TB數(shù)量級，而且PB級的數(shù)據(jù)量將很快問世。位于日內(nèi)瓦的歐洲粒子研究中心(CERN)，目前正負(fù)電子對撞機(LEP)每年的數(shù)據(jù)是0.2~0.3TB，而幾年內(nèi)建成的緊湊μ介子螺線管(CMS)每年所產(chǎn)生的數(shù)據(jù)就將達(dá)到幾個PB。網(wǎng)格中現(xiàn)有的存儲系統(tǒng)如數(shù)量存儲系統(tǒng)、高性能存儲系統(tǒng)(DPSS、HPSS等)側(cè)重于實現(xiàn)快速傳送存儲設(shè)備和并行機或群聚計算機之間的龐大文件；而分布式文件系統(tǒng)（DFS）則側(cè)重于支持海量存儲與負(fù)載平衡，而這些系統(tǒng)間并不兼容。
??? 訪問、分析和處理分布在不同邏輯位置、存儲系統(tǒng)上的數(shù)據(jù)，應(yīng)用程序要么選擇只支持某些存儲系統(tǒng)，要么使用多種方法來獲取不同存儲系統(tǒng)上的數(shù)據(jù)。若能提供一種在異構(gòu)系統(tǒng)上的公共互用層將對存儲和用戶雙方都非常有利，因此一個普通的、但擴展性強的數(shù)據(jù)傳輸協(xié)議呼之欲出。這樣的機制比建立一個分層的客戶端或網(wǎng)關(guān)要好得多，可以避免性能上的損失和過大的復(fù)雜性。
??? Globus提出了GridFTP協(xié)議，該協(xié)議不僅擁有現(xiàn)今使用的數(shù)據(jù)傳輸協(xié)議的特點，還易于擴展，支持更多的存儲系統(tǒng)。GridFTP基于FTP協(xié)議(因為FTP是最為廣泛和實用的IETF標(biāo)準(zhǔn)協(xié)議)，又有多個RFC標(biāo)準(zhǔn)定義了FTP及其擴展，而且其中一些在網(wǎng)格環(huán)境中特別適用。下面將討論并比較當(dāng)前Internet和網(wǎng)格中依然存在的各種數(shù)據(jù)傳輸協(xié)議，并介紹Globus中GridFTP協(xié)議的實現(xiàn)和編程接口。
2.1 協(xié)議比較
??? (1)FTP(File Transfer Protocol)協(xié)議。專門用于數(shù)據(jù)傳輸?shù)膮f(xié)議，它遵循RFC959，目標(biāo)是促進(jìn)文件共享(包括計算機程序和數(shù)據(jù))；鼓勵直接或通過程序使用遠(yuǎn)程計算機；可靠有效地傳輸數(shù)據(jù)。RFC959定義的文件傳輸協(xié)議被RFC2228、RFC2640、RFC2773等更新。其中，RFC2228是FTP的安全擴展；RFC2640對FTP進(jìn)行了國際化；RFC2773是用KEA和SKIPJACK對文件傳輸加密。SFTP（Secure FTP）使用加密方式傳輸認(rèn)證信息和數(shù)據(jù)，如果對網(wǎng)絡(luò)安全性要求更高，則可以使用SFTP代替FTP，但它的傳輸效率比普通的FTP要低得多，通常用于傳輸小型敏感數(shù)據(jù)。
??? (2)HTTP（HyperText Transfer Protocol）協(xié)議。是萬維網(wǎng)WWW（World Wide Web）的基礎(chǔ)，在RFC2616中定義。它是一個簡單的協(xié)議，客戶進(jìn)程建立一條同服務(wù)器進(jìn)程的TCP連接，然后發(fā)出請求并讀取服務(wù)器進(jìn)程的響應(yīng)，服務(wù)器進(jìn)程關(guān)閉連接表示本次響應(yīng)結(jié)束。
??? (3)BBFTP是一個傳輸大型文件的FTP軟件，同時它也是基于FTP協(xié)議的一種新的數(shù)據(jù)傳輸協(xié)議。它能在高性能終端個人電腦之間可靠地傳輸和存儲數(shù)據(jù)，尤其用來優(yōu)化傳輸大型文件(超過2GB)，因為BBFTP實現(xiàn)了RFC1323(TCP高性能擴展)中定義的“大窗口”，使之更適合傳輸大文件，而不適合用來傳輸小文件。
??? 以上協(xié)議或軟件部分重要特征的對比如表1所示。

?

??? 下面就從表1中的對比說明GridFTP協(xié)議適應(yīng)網(wǎng)格環(huán)境多樣性的特點。
??? (1)網(wǎng)格大都運行在廣域網(wǎng)環(huán)境中，這就需要更高的帶寬。使用多個TCP流(即并行傳輸)可以更充分地利用并提高傳輸帶寬。而GridFTP中修改了RETR指令以使它可以指定TCP流的數(shù)目，同時引入了EBLOCK(Extended Block)模式(包括8位標(biāo)志符、64位長度、64位偏移量和數(shù)據(jù))，以支持并行傳輸、部分傳輸和帶狀傳輸。
??? (2)窗口大小是TCP/IP中獲取最大帶寬的關(guān)鍵參數(shù)，針對不同的網(wǎng)格環(huán)境、文件大小和文件集類型應(yīng)該設(shè)置不同的值。使用最優(yōu)的TCP緩沖區(qū)/窗口大小可以有效地提高數(shù)據(jù)傳輸性能。GridFTP增加的新指令SBUF和ABUF，就是分別用來手工指定和使用某種算法自動調(diào)整TCP緩沖區(qū)/窗口大小。
??? (3)安全認(rèn)證是網(wǎng)格計算的重點和難點。Globus中GSI(Grid Security Infrastructure)使用PKI、X.25和SSL作為整個安全系統(tǒng)的基礎(chǔ)，分為授權(quán)、雙重認(rèn)證、私有通信、安全私鑰、代理和單一系統(tǒng)登錄部分，建立了非集中管理的、包括多個不同組織的安全系統(tǒng)。而GridFTP支持GSI和Kerberos認(rèn)證，以滿足用戶控制不同層次上的數(shù)據(jù)完整性及保密性設(shè)定的要求。
??? (4)大規(guī)模的分布系統(tǒng)擁有大量的數(shù)據(jù)集，在存儲服務(wù)器間進(jìn)行第三方控制的傳輸是很有必要的。用戶可以啟動和監(jiān)控2臺服務(wù)器間的數(shù)據(jù)傳輸，為使用多點資源提供了保障，而且無需進(jìn)行數(shù)據(jù)中轉(zhuǎn)。GridFTP在原有FTP標(biāo)準(zhǔn)第三方傳輸?shù)墓δ苌咸砑恿薌SSAPI(Generic Security Service API）安全機制。
??? 許多時候網(wǎng)格計算只需要文件中的部分?jǐn)?shù)據(jù)或者一個數(shù)據(jù)子集，F(xiàn)TP和HTTP協(xié)議只支持從某一偏移量開始到整個文件末的傳輸，而GridFTP使用ERET、ESTO等命令可支持部分文件傳輸。同時網(wǎng)格的特殊性也使得連接狀況較難預(yù)測，因此傳輸中斷后的恢復(fù)必不可少，而GridFTP保留了FTP協(xié)議中的斷點續(xù)傳功能。
??? GridFTP除了具有以上在普通數(shù)據(jù)傳輸機制上的性能和功能改進(jìn)外，還有如下特性：
??? 帶狀（Striped）傳輸使用多個TCP流來傳輸分布在多個服務(wù)器上的數(shù)據(jù)，因為在網(wǎng)格中數(shù)據(jù)往往會分布在多存儲點上，這樣就可以大大增加客戶端傳輸帶寬，提高速率。GridFTP使用擴展的RETR指令，并有分區(qū)和分塊2種策略來進(jìn)行帶狀傳輸，SPAS、SPOR命令可分別用來設(shè)置被動和主動模式。
2.2 實現(xiàn)、性能及編程接口
????(1)實現(xiàn)。Globus項目在GridFTP協(xié)議基礎(chǔ)上實現(xiàn)了GridFTP服務(wù)器端、GridFTP客戶端、API函數(shù)庫以及一系列的相關(guān)工具。最新的GT4中GridFTP服務(wù)器已不再基于wuftpd，而是重寫了代碼，實現(xiàn)了控制通道和數(shù)據(jù)通道完全分離。一個控制通道后面可以有多個數(shù)據(jù)通道（這就是帶狀傳輸服務(wù)器的實現(xiàn)方式）。服務(wù)器幾種可能的設(shè)置如圖2所示。

?

??? (2)性能。根據(jù)實驗，在千兆網(wǎng)絡(luò)環(huán)境下的單服務(wù)器對單客戶端傳輸性能：當(dāng)TCP流增多時傳輸帶寬有明顯的增大(達(dá)到200Mbps)?？偟膩砜矗珿ridFTP的性能可達(dá)到Iperf(一種網(wǎng)絡(luò)帶寬和性能測試工具)的78%；在萬兆網(wǎng)絡(luò)(30G)環(huán)境下的帶狀服務(wù)器對單客戶端傳輸性能：當(dāng)進(jìn)行內(nèi)存到內(nèi)存?zhèn)鬏敃r，隨著帶狀數(shù)的增加，傳輸帶寬幾乎呈線性增長（斜率接近1），32個數(shù)據(jù)節(jié)點時可以達(dá)到27Gbps的帶寬，近90%的利用率；當(dāng)進(jìn)行磁盤到磁盤傳輸時，由于受到存儲系統(tǒng)的限制，但仍然達(dá)到了17.5Gbps的帶寬。帶狀傳輸性能測試如圖3所示。

?

??? (3)編程接口。除了GT自帶的用于通道控制和實現(xiàn)客戶端的2個API庫ftp_control_library和fip_client_library外，還有CoG（Commodity Grid）工具集。它是提供給網(wǎng)格用戶、管理者，特別是開發(fā)人員使用的高級框架，為開發(fā)網(wǎng)格應(yīng)用程序提供了更快速簡易的通道。目前CoG工具集有Java CoG、Python CoG等，它不僅是集成高級網(wǎng)格服務(wù)的工具，還是提供統(tǒng)一分布計算技術(shù)訪問接口的中間件^[3]。CoG可用于GT中(正在開發(fā)的CoG 4.0將兼容最新的GT4)，Java CoG為Globus開發(fā)了jglobus包，其中包括AXIS、數(shù)據(jù)傳輸、GASS、GRAM、MDS和安全等組件。
3? 可靠文件傳輸——RFT服務(wù)
??? GridFTP客戶端要求一直保持開啟，連接直到傳輸完成為止。而一旦失去與服務(wù)器的連接則需要人工參與重啟傳輸。為了傳輸任務(wù)的可靠性，一個基于無用戶的、提交傳輸任務(wù)后即可釋放的服務(wù)是十分必要的。
??? 可靠文件傳輸(Reliable File Transfer，RFT)是基于WSRF(Web Services Resource Framework)的一個網(wǎng)格服務(wù)，提供一個永久、易調(diào)用、可靠的文件傳輸服務(wù)。它支持GridFTP的第三方數(shù)據(jù)傳輸和部分文件管理功能(如批量刪除文件等)，可以監(jiān)測傳輸動態(tài)及性能，自動恢復(fù)傳輸?shù)裙δ堋FT的整體架構(gòu)如圖4所示。

?