《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 高可用性軟件架構(gòu)設(shè)計和實(shí)現(xiàn)
高可用性軟件架構(gòu)設(shè)計和實(shí)現(xiàn)
來源:微型機(jī)與應(yīng)用2011年第17期
孟劍萍
(中國電子科技集團(tuán)公司第二十八研究所,江蘇 南京 210007)
摘要: 硬件冗余可以極大地提高計算機(jī)應(yīng)用系統(tǒng)的可用性,然而,一旦關(guān)鍵硬件出現(xiàn)故障或數(shù)據(jù)庫宕機(jī),正在進(jìn)行中的業(yè)務(wù)流程通常會中斷。探討了一種如何實(shí)現(xiàn)應(yīng)用系統(tǒng)高可用性的軟件架構(gòu)的設(shè)計方案,以彌補(bǔ)純硬件冗余應(yīng)用系統(tǒng)的不足。
Abstract:
Key words :

摘  要: 硬件冗余可以極大地提高計算機(jī)應(yīng)用系統(tǒng)的可用性,然而,一旦關(guān)鍵硬件出現(xiàn)故障或數(shù)據(jù)庫宕機(jī),正在進(jìn)行中的業(yè)務(wù)流程通常會中斷。探討了一種如何實(shí)現(xiàn)應(yīng)用系統(tǒng)高可用性軟件架構(gòu)的設(shè)計方案,以彌補(bǔ)純硬件冗余應(yīng)用系統(tǒng)的不足。
關(guān)鍵詞: 高可用性;軟件容錯;分布式數(shù)據(jù)庫

 在業(yè)內(nèi),計算機(jī)應(yīng)用系統(tǒng)的可用性定義為計算機(jī)應(yīng)用系統(tǒng)保持正常運(yùn)行時間的百分比,通常用表1所示的“9”的個數(shù)來劃分可用性的類型。

 通常,硬件冗余(容錯計算機(jī)、雙機(jī)或多機(jī)集群、磁盤陣列、SAN等)、數(shù)據(jù)復(fù)制、合理的災(zāi)難備份和恢復(fù)策略都可以極大地提高計算機(jī)應(yīng)用系統(tǒng)的可用性。正因?yàn)槿绱耍?dāng)前,對于計算機(jī)應(yīng)用系統(tǒng)的高可用性、業(yè)務(wù)的可持續(xù)性要求,業(yè)內(nèi)通常以硬件系統(tǒng)的高可用性來應(yīng)對或代替。常見的解決方案是雙機(jī)(或多機(jī))集群方案或直接采用容錯計算機(jī)來保障系統(tǒng)的高可用性,應(yīng)用軟件的設(shè)計和開發(fā)往往僅注重業(yè)務(wù)流程的分析和過程控制。在這種完全依賴硬件來保障整個系統(tǒng)的可用性的系統(tǒng)里,一旦關(guān)鍵硬件出現(xiàn)故障或數(shù)據(jù)庫宕機(jī),正在進(jìn)行中的業(yè)務(wù)流程(如需較長執(zhí)行時間的事務(wù)處理、后臺批處理過程等)必然會中斷,這是因?yàn)殡p機(jī)切換也需要時間。對此,應(yīng)用軟件本身并無多少作為,該類業(yè)務(wù)必須等待系統(tǒng)重新恢復(fù)后全部或部分重做。
 本文以基于大型數(shù)據(jù)庫的應(yīng)用系統(tǒng)為例,從“軟件容錯”設(shè)計的概念出發(fā),參考“分布式”數(shù)據(jù)庫結(jié)構(gòu)設(shè)計,以“系統(tǒng)服務(wù)總線”為核心,給出了一種可行的高可用性軟件架構(gòu)的設(shè)計方案,可以極大地提高應(yīng)用軟件的可用性和業(yè)務(wù)系統(tǒng)的可持續(xù)性。無論是傳統(tǒng)的C/S架構(gòu),還是近年來流行的B/S架構(gòu),本文中給出的設(shè)計方案都有一定的參考意義。
1 軟件結(jié)構(gòu)模型
 任何基于大型數(shù)據(jù)庫的應(yīng)用系統(tǒng),都可以抽象為對數(shù)據(jù)的“讀”和“寫”操作。至于客戶端如何展現(xiàn)“讀”到的數(shù)據(jù),以及“客戶端”與“服務(wù)端”基于何種通信協(xié)議通信,不在本文討論之列。
 軟件結(jié)構(gòu)的設(shè)計其實(shí)就是針對“讀”和“寫”的一系列流程的設(shè)計。如何最大限度地保證系統(tǒng)中的所有“硬件”和“軟件”協(xié)同工作,正確完成每一次“讀”和“寫”的操作,也就是對系統(tǒng)“高可靠性”和“高可用性”的要求。
 圖1是基于“軟件容錯”和“分布式數(shù)據(jù)庫系統(tǒng)”的原理,并參照了計算機(jī)“總線”的工作原理給出的一種基于分布式數(shù)據(jù)庫或文件系統(tǒng)的高可用性的軟件架構(gòu)設(shè)計方案。系統(tǒng)采用3層架構(gòu):客戶端、中間應(yīng)用層和數(shù)據(jù)庫層。

 

 

2 系統(tǒng)設(shè)計
2.1 數(shù)據(jù)庫配置

 為了更清楚地闡述本文的設(shè)計方案,先對數(shù)據(jù)庫的配置及其功能進(jìn)行描述。本系統(tǒng)中,數(shù)據(jù)庫按角色可劃分為如下三類數(shù)據(jù)庫:控制數(shù)據(jù)庫(COTROLL DB)、日志數(shù)據(jù)庫(LOG DB)、業(yè)務(wù)數(shù)據(jù)庫(BUS DB_N)。
2.1.1 控制數(shù)據(jù)庫
 控制數(shù)據(jù)庫也可以是一個或多個系統(tǒng)控制(參數(shù))文件。它存放要訪問的目標(biāo)數(shù)據(jù)庫的節(jié)點(diǎn)(N)、端口、用戶、文件頭、表、視圖等信息;存放對節(jié)點(diǎn)、業(yè)務(wù)數(shù)據(jù)庫、表或視圖的授權(quán)或訪問控制信息;目標(biāo)數(shù)據(jù)庫(或文件)的當(dāng)前狀態(tài)(聯(lián)機(jī)/脫機(jī)、忙/空閑等);目標(biāo)數(shù)據(jù)庫中的表或視圖的當(dāng)前狀態(tài)(聯(lián)機(jī)/脫機(jī)、忙/空閑、加鎖/解鎖等)。
2.1.2 日志數(shù)據(jù)庫
 日志數(shù)據(jù)庫獨(dú)立于業(yè)務(wù)數(shù)據(jù)庫之外,用于記錄客戶端節(jié)點(diǎn)信息、請求時刻和發(fā)來的所有請求的原始內(nèi)容,但不做業(yè)務(wù)流程相關(guān)的處理、運(yùn)算等。記錄每次數(shù)據(jù)操作分配的唯一的“事件號”(EVENT_ID)。對每一次客戶端的“請求”,“系統(tǒng)服務(wù)總線”(SYSSRV)會分配唯一的標(biāo)識符號,可以定義為有一定意義的字符串,比如,“當(dāng)前時刻+流水號”。以上信息可以被壓縮、打包、加密后存放,以記錄格式保存于數(shù)據(jù)庫的表或文件中。它可以設(shè)計為數(shù)據(jù)庫中的一個或多個表,也可以是文件格式。
2.1.3 業(yè)務(wù)數(shù)據(jù)庫
 業(yè)務(wù)數(shù)據(jù)庫記錄所有業(yè)務(wù)相關(guān)的數(shù)據(jù)信息。所有業(yè)務(wù)數(shù)據(jù)庫的相關(guān)業(yè)務(wù)邏輯的數(shù)據(jù)結(jié)構(gòu)相同,即,N個節(jié)點(diǎn)的業(yè)務(wù)數(shù)據(jù)庫中與業(yè)務(wù)模式相關(guān)的表、視圖、過程或其他程序設(shè)置相同。
需要特別指出的是:
 (1)控制數(shù)據(jù)庫、日志數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)庫可以是不同數(shù)據(jù)庫廠家或品牌的產(chǎn)品。比如,日志數(shù)據(jù)庫可以采用低端的數(shù)據(jù)庫產(chǎn)品或開源數(shù)據(jù)庫系統(tǒng),業(yè)務(wù)數(shù)據(jù)庫可以采用高端的大型數(shù)據(jù)庫產(chǎn)品。
 (2)控制數(shù)據(jù)庫、日志數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)庫在物理上和邏輯上是可以相互隔離的,這可以極大地提高系統(tǒng)的整體安全性。目標(biāo)數(shù)據(jù)庫和要訪問的表或視圖對客戶端來說是“不可見”的,由控制數(shù)據(jù)庫動態(tài)定義和控制。
 (3)所有類別的數(shù)據(jù)庫在物理上位于一個或多個節(jié)點(diǎn)上,即節(jié)點(diǎn)N>=1;任意一個節(jié)點(diǎn)N上建有一個或多個業(yè)務(wù)數(shù)據(jù)庫(邏輯數(shù)據(jù)庫>=1);任意一個節(jié)點(diǎn)是一個完整的、可獨(dú)立工作的計算機(jī)。根據(jù)性能要求,可以是高性能PC機(jī)、PC服務(wù)器、小型機(jī)、集群或超級計算機(jī),或是它們的“混合體”;任意一個節(jié)點(diǎn)是指定網(wǎng)絡(luò)中的一個指定節(jié)點(diǎn)。
2.2 應(yīng)用層設(shè)計
 中間應(yīng)用層由5個后臺進(jìn)程構(gòu)成:(1)系統(tǒng)服務(wù)總線(SYSSRV);(2)數(shù)據(jù)庫寫進(jìn)程(DBWRT_N);(3)數(shù)據(jù)庫讀進(jìn)程(DBRED_N);(4)數(shù)據(jù)庫在線恢復(fù)進(jìn)程(DBRCY);(5)日志檢查進(jìn)程(LOGCHK)。
2.2.1 系統(tǒng)服務(wù)總線
 這是一個后臺監(jiān)聽、分發(fā)、調(diào)度總進(jìn)程。設(shè)計目標(biāo)具有一定的“自我修復(fù)”和“自我復(fù)制”動能。它可以根據(jù)負(fù)載情況,自我復(fù)制或開啟子進(jìn)程響應(yīng)新的負(fù)載;可以動態(tài)配置可服務(wù)的節(jié)點(diǎn)或客戶端;可以為特定節(jié)點(diǎn)或客戶端指定專用進(jìn)程;它通過“DBWRT”和“DBRED”“讀/寫”日志數(shù)據(jù)庫或日志文件。
2.2.2 寫進(jìn)程
 寫進(jìn)程負(fù)責(zé)向所有節(jié)點(diǎn)寫數(shù)據(jù)。它可以配置成多進(jìn)程/單進(jìn)程模式;多進(jìn)程模式,指對應(yīng)每個業(yè)務(wù)數(shù)據(jù)庫N都有獨(dú)立的“寫”進(jìn)程;單進(jìn)程模式,指對應(yīng)多個業(yè)務(wù)數(shù)據(jù)庫只有一個主進(jìn)程,主進(jìn)程開啟多個線程提供“寫”服務(wù)。
2.2.3 讀進(jìn)程
 讀進(jìn)程負(fù)責(zé)向所有節(jié)點(diǎn)讀數(shù)據(jù),它可以配置成多進(jìn)程/單進(jìn)程模式。多進(jìn)程模式指對應(yīng)每個業(yè)務(wù)數(shù)據(jù)庫N都有獨(dú)立的“讀”進(jìn)程,單進(jìn)程模式指對應(yīng)多個業(yè)務(wù)數(shù)據(jù)庫只有一個主進(jìn)程,主進(jìn)程開啟多個線程提供“讀”服務(wù)。
根據(jù)需要,讀進(jìn)程可以配置成:向所有在線節(jié)點(diǎn)并發(fā)讀數(shù)據(jù),返回最快的結(jié)果集,拋棄其他的結(jié)果集,并中斷其他讀進(jìn)程;也可以配置成:隨機(jī)讀某個節(jié)點(diǎn)的數(shù)據(jù),如果失敗或超時,則再隨機(jī)讀余下的在線節(jié)點(diǎn),直到“讀”成功或失?。贿€可以配置成向所有節(jié)點(diǎn)順序讀數(shù)據(jù),過程類似上面“隨機(jī)讀”。
 以上“讀寫”業(yè)務(wù)數(shù)據(jù)庫的進(jìn)程,設(shè)計上支持多種數(shù)據(jù)庫訪問接口,針對“表”或“視圖”提供統(tǒng)一格式的、標(biāo)準(zhǔn)的、動態(tài)的SQL數(shù)據(jù)操作接口和方法,完成對數(shù)據(jù)庫中表或視圖的增、刪、改、查和批處理操作。它們可以設(shè)計為數(shù)據(jù)庫中的存儲過程,也可以是C++,Java程序的API或混合體。
2.2.4 數(shù)據(jù)庫在線恢復(fù)進(jìn)程
 該進(jìn)程負(fù)責(zé)檢查全部或部分節(jié)點(diǎn)數(shù)據(jù)庫(包括所有授權(quán)控制數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫和日志數(shù)據(jù)庫)或文件的工作狀態(tài);檢查數(shù)據(jù)庫或文件表中數(shù)據(jù)的一致性;將以上檢查結(jié)果寫入日志數(shù)據(jù)庫(或日志文件)。
當(dāng)某個業(yè)務(wù)數(shù)據(jù)庫中的表寫入失敗時,它負(fù)責(zé)從“日志數(shù)據(jù)庫”的表或日志文件中讀出原始數(shù)據(jù),接著寫入出現(xiàn)問題的業(yè)務(wù)數(shù)據(jù)庫的表中,并檢查結(jié)果?;驈钠渌?jié)點(diǎn)的數(shù)據(jù)庫中讀相關(guān)數(shù)據(jù)并寫入到出現(xiàn)問題的業(yè)務(wù)數(shù)據(jù)庫的表中。
 接收外部命令,根據(jù)“時間點(diǎn)”或“事件號”從特定時刻、特定數(shù)據(jù)庫(包括日志數(shù)據(jù)庫)、特定表恢復(fù)數(shù)據(jù)到特定目標(biāo)數(shù)據(jù)庫的表或文件。
2.2.5 日志檢查進(jìn)程
 該進(jìn)程負(fù)責(zé)讀、寫日志文件,檢查數(shù)據(jù)操作結(jié)果的一致性。如果不一致,則報告給“系統(tǒng)服務(wù)總線”,將問題數(shù)據(jù)庫或數(shù)據(jù)庫中的表、視圖設(shè)置為“離線”狀態(tài)。
3系統(tǒng)實(shí)現(xiàn)
3.1系統(tǒng)初始化

 啟動配置好的后臺進(jìn)程即完成系統(tǒng)初始化過程。
3.2 數(shù)據(jù)“寫”流程
 數(shù)據(jù)“寫”流程的主要步驟如下:
 (1)客戶端通過給定協(xié)議(或混合多種通信協(xié)議)向后臺“系統(tǒng)服務(wù)總線”發(fā)送“寫”請求。
 (2)激活“數(shù)據(jù)庫寫進(jìn)程”,將客戶端的“請求”寫入“日志數(shù)據(jù)庫”(或日志文件),并分配一個唯一的“事件號”。
 (3)“系統(tǒng)服務(wù)總線”查詢“授權(quán)/控制數(shù)據(jù)庫”(或/配置文件)得到客戶端請求訪問的數(shù)據(jù)存放的目標(biāo)數(shù)據(jù)庫(或文件)節(jié)點(diǎn)N(或文件存放的節(jié)點(diǎn)N)、端口、用戶、表、文件頭等信息。節(jié)點(diǎn)N可以是多個,即節(jié)點(diǎn)N>=1。
 (4)“系統(tǒng)服務(wù)總線”向N個“數(shù)據(jù)庫寫進(jìn)程”發(fā)送數(shù)據(jù)“寫”訪問請求,并得到各節(jié)點(diǎn)的返回結(jié)果集。
 (5)只要有1個節(jié)點(diǎn)寫入成功,“系統(tǒng)服務(wù)總線”就將寫入成功的標(biāo)志發(fā)回客戶端;“數(shù)據(jù)庫寫進(jìn)程”將各節(jié)點(diǎn)的返回結(jié)果狀態(tài)寫入“日志數(shù)據(jù)庫”(或日志文件)中。
 (6)“日志監(jiān)控”查詢“日志數(shù)據(jù)庫”(或日志文件),比較N個節(jié)點(diǎn)的寫入狀態(tài)。如發(fā)現(xiàn)寫錯誤、失敗、超時等狀態(tài),則將該“業(yè)務(wù)數(shù)據(jù)庫”(或文件、表、視圖)標(biāo)志為“非正常聯(lián)機(jī)數(shù)據(jù)庫”(或文件、表、視圖不可用)。
 (7)激活“數(shù)據(jù)在線恢復(fù)進(jìn)程”,進(jìn)程為“非正常聯(lián)機(jī)數(shù)據(jù)庫”,則執(zhí)行數(shù)據(jù)庫數(shù)據(jù)“同步”。在線同步恢復(fù)如失敗,則將該“數(shù)據(jù)庫”標(biāo)志為“需要DBA維護(hù)”的類別,留待DBA或軟件維護(hù)工程師處理。
3.3 數(shù)據(jù)“讀”流程
 數(shù)據(jù)“讀”流程的主要步驟如下:
 (1)客戶端通過給定協(xié)議(或混合多種通信協(xié)議)向后臺“系統(tǒng)服務(wù)總線”發(fā)送“讀”請求。
 (2)激活“寫進(jìn)程”,將客戶端的“請求”寫入“日志數(shù)據(jù)庫”(或日志文件),并分配一個唯一的“事件號”。
 (3)“系統(tǒng)服務(wù)總線”查詢“授權(quán)/控制數(shù)據(jù)庫”(或/配置文件)得到客戶端請求訪問的數(shù)據(jù)存放的目標(biāo)數(shù)據(jù)庫節(jié)點(diǎn)N(或文件存放的節(jié)點(diǎn)N)、端口、用戶、表等信息。節(jié)點(diǎn)N可以是多點(diǎn),即節(jié)點(diǎn)N>=1。
 (4)“系統(tǒng)服務(wù)總線”查詢“授權(quán)/控制數(shù)據(jù)庫”(或/配置文件)得到可用的、空閑的目標(biāo)數(shù)據(jù)庫節(jié)點(diǎn)N(或文件存放的節(jié)點(diǎn)N)。
 (5)激活“讀進(jìn)程”(或隨機(jī)、或順序)向N個節(jié)點(diǎn)的“業(yè)務(wù)數(shù)據(jù)庫”(或文件)發(fā)送數(shù)據(jù)“讀”訪問請求,并得到各節(jié)點(diǎn)的返回結(jié)果集。
 (6)“系統(tǒng)服務(wù)總線”將最快返回的結(jié)果集發(fā)回客戶端;拋棄其他結(jié)果集,中斷其他讀進(jìn)程。
在本系統(tǒng)的設(shè)計和實(shí)現(xiàn)中,由于采用了“分布式”數(shù)據(jù)庫或文件系統(tǒng)部署,只要N個節(jié)點(diǎn)中至少有一個節(jié)點(diǎn)的“業(yè)務(wù)數(shù)據(jù)庫”正常工作,因?yàn)橐粋€或幾個“業(yè)務(wù)數(shù)據(jù)庫”系統(tǒng)(或節(jié)點(diǎn)硬件)故障所引起的業(yè)務(wù)系統(tǒng)的不可持續(xù)性理論上將可以完全避免,因而提高了系統(tǒng)的“容錯”性。
 由于N個數(shù)據(jù)庫同時在線,且節(jié)點(diǎn)是否可用、空閑等狀態(tài)可實(shí)時監(jiān)控,這為特定業(yè)務(wù)快速訪問和獨(dú)享訪問提供了先決條件。如可以指定某特定“業(yè)務(wù)數(shù)據(jù)庫”僅為某個或幾個特定客戶端服務(wù)提供“讀”訪問。
 因?yàn)樵O(shè)計了統(tǒng)一、標(biāo)準(zhǔn)的增、刪、改、查的過程方法或API,前端開發(fā)人員甚至不必寫任何SQL語句就可以完成對數(shù)據(jù)庫中表或視圖的操作,可以大大地縮短編程和調(diào)試時間。
 需要指出的是,雖然“系統(tǒng)服務(wù)總線”具有“自我修復(fù)”和“自我復(fù)制”的特點(diǎn),但因?yàn)?ldquo;節(jié)點(diǎn)”硬件故障或“授權(quán)/控制數(shù)據(jù)庫”(或/配置文件)或“日志數(shù)據(jù)庫”故障而引起的全系統(tǒng)不可用依然存在,因此,建議該節(jié)點(diǎn)采用性能好、可靠性高的中、高端服務(wù)器。
參考文獻(xiàn)
[1] Mostofa Abd-El-Barr. Design and analysis of reliable and fault-tolerant computer systems[M]. London: Imperial College Press, 2006.
[2] KOREN I, KRISHNA C M. Fault-tolerant systems[M]. Morgan Kaufmann Publishers, 2007.
[3] Hoang Pham. Handbook of reliability engineering[M]. Springer,2003.
[4] MARCUS E, STERN H. Blueprints for high availability. 2nd, edition. John wiley&Sons, 2003.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。