摘 要: 隨著4G時(shí)代的到來(lái),IDC建設(shè)也愈發(fā)重要。在擴(kuò)展IDC能力的同時(shí),能源消耗問(wèn)題也日益嚴(yán)重。以x86化、基于IaaS虛擬化以及優(yōu)化的Min-Min資源調(diào)度算法為主要依據(jù),討論了以上技術(shù)在實(shí)現(xiàn)IDC節(jié)能化中起到的作用。
關(guān)鍵詞: 節(jié)能;IaaS;資源調(diào)度;IDC
0 引言
隨著4G產(chǎn)業(yè)的日漸壯大,電信業(yè)IDC的建設(shè)、擴(kuò)容、維護(hù)等一系列配套工程也面臨著所對(duì)應(yīng)的升級(jí)和改造。數(shù)據(jù)顯示,截止到2012年,中國(guó)移動(dòng)目前31省各個(gè)應(yīng)用系統(tǒng)的主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)等IT基礎(chǔ)設(shè)施獨(dú)立建設(shè)和運(yùn)維,基礎(chǔ)設(shè)施資源沒(méi)有實(shí)現(xiàn)整合和共享,IT服務(wù)能力分散,服務(wù)器平時(shí)利用率不足50%[1]。傳統(tǒng)應(yīng)急式、分散式、煙囪式、蛛網(wǎng)式的建設(shè)模式所帶來(lái)的管理信息系統(tǒng)功能重復(fù)、成本高昂、流程割裂、接口不一等諸多問(wèn)題則加劇了這一情況。然而,由上述情況所引起的另外一個(gè)問(wèn)題——巨大能源消耗,則愈發(fā)嚴(yán)重。如何改進(jìn)IDC設(shè)計(jì),如何合理利用IDC資源以達(dá)到節(jié)能環(huán)保的目的,成為了當(dāng)下熱點(diǎn)研究課題之一。
借助虛擬化技術(shù)和處理能力較強(qiáng)的x86機(jī)器,對(duì)IDC進(jìn)行改造成為可行的方法,本文分析討論兩種手段的可行性,并就引申的資源調(diào)度進(jìn)行分析優(yōu)化。
1 現(xiàn)狀分析
從IDC能耗類型進(jìn)行區(qū)分,可以大致分為三類能源消耗[2]:物理機(jī)能耗、網(wǎng)絡(luò)設(shè)備能耗、其他能耗。對(duì)于物理機(jī)能耗,CPU、RAM、DAS等均為考量范圍;網(wǎng)絡(luò)設(shè)備能耗則集中在交換機(jī)、鏈路、路由器等;而空調(diào)、照明、風(fēng)扇等則列為配套設(shè)施能耗。時(shí)下,借助于云計(jì)算技術(shù),對(duì)IDC進(jìn)行集中改造成為了諸多改進(jìn)PUE指數(shù)[3]的有效方案之一,本文以物理機(jī)能耗改進(jìn)為重點(diǎn),研究可行的減小能耗方案。
1.1 服務(wù)器x86化
電信業(yè)發(fā)展之初,對(duì)于重要的業(yè)務(wù)系統(tǒng)基本上采用小型機(jī)進(jìn)行部署應(yīng)用。小型機(jī)具有先天的架構(gòu)優(yōu)勢(shì),在系統(tǒng)處理性能(以SPEC jEnterprise2010為測(cè)量基準(zhǔn))和RAS性能上有著優(yōu)異的表現(xiàn)[4]。然而,隨著電信業(yè)云計(jì)算和大數(shù)據(jù)時(shí)代的到來(lái),小型機(jī)在各個(gè)方面的考量上已經(jīng)不能滿足時(shí)下需要。購(gòu)置和維護(hù)費(fèi)用昂貴,小型機(jī)由于操作系統(tǒng)復(fù)雜,需要有專業(yè)的維護(hù)人員進(jìn)行日常的設(shè)備維護(hù);且小型機(jī)單機(jī)柜裝一臺(tái)特殊機(jī)柜,占地面積為780 mm×1 165 mm,每萬(wàn)tpmC需要22.71 cm2,占地面積較大[5],單臺(tái)滿配1 000 W,半配時(shí)大于5 000 W,每萬(wàn)tpmC消耗25 W,能源消耗較大。
此外,基于電信業(yè)普遍的虛擬化、資源池化需求,小型機(jī)虛擬化技術(shù)目前仍然要與設(shè)備廠家綁定,不能實(shí)現(xiàn)跨廠家設(shè)備的虛擬化方案。相較于小型機(jī),x86服務(wù)器則在節(jié)能、虛擬化等方面具有巨大的優(yōu)勢(shì)。
以x86刀片服務(wù)器、單機(jī)柜裝2框、共32片標(biāo)準(zhǔn)綜合柜為例,占地600 mm×1 000 mm,每萬(wàn)tpmC需要 9.375 cm2,能夠節(jié)省約60%的占地面積。能源消耗成本:?jiǎn)慰驖M配(16片+機(jī)框),消耗2 000 W,每萬(wàn)tpmC消耗6.25 W,相較小型機(jī)能夠節(jié)約75%的能源需求。
在虛擬化支持方面,x86服務(wù)器虛擬化技術(shù)目前較為成熟,在計(jì)算密集型應(yīng)用環(huán)境、開(kāi)發(fā)測(cè)試、單機(jī)計(jì)算能力需求較低或資源需求變化較大的環(huán)境中部署x86平臺(tái)的虛擬化應(yīng)用,可以提高服務(wù)器利用率、管理效率,能夠達(dá)到節(jié)約寶貴IDC空間和較少能源消耗的目的。
1.2 IaaS虛擬化
在傳統(tǒng)的IDC機(jī)房建設(shè)中,為了避免業(yè)務(wù)相互干擾,通常采用煙囪式系統(tǒng)搭建法,即單一物理機(jī)上部署業(yè)務(wù)系統(tǒng)。在隔離業(yè)務(wù)邊界的同時(shí),也浪費(fèi)了大量的可用物理機(jī)能力資源,造成了能耗過(guò)大的問(wèn)題。而IaaS物理平臺(tái)即服務(wù)的提出,為解決這一問(wèn)題提出了一個(gè)好的契機(jī)。
整體來(lái)看,IaaS的實(shí)現(xiàn)是動(dòng)態(tài)負(fù)載均衡和虛擬技術(shù)的綜合運(yùn)用,而目前就從架構(gòu)上來(lái)分析,分為兩大類虛擬化技術(shù)[6],如圖1所示。
?。?)裸金屬類型虛擬化技術(shù)
該類型虛擬化技術(shù)是指直接在物理機(jī)上部署VMM,雖然這里稱為虛擬機(jī),但其本質(zhì)上是具有OS功能的微型操作系統(tǒng),通過(guò)在物理機(jī)和虛擬機(jī)之間架設(shè)資源映射,可以虛擬出N臺(tái)機(jī)器。目前,較為成熟的服務(wù)器虛擬產(chǎn)品有VMware的ESX、微軟的Hyper-V以及開(kāi)源的Xen。
(2)寄居型虛擬化技術(shù)
寄居型虛擬化技術(shù)相較裸金屬虛擬化的結(jié)構(gòu)而言,在物理機(jī)與VMM之間多了一層HOST OS層,即在已有的操作系統(tǒng)中安裝VMM,VMM指令通過(guò)操作系統(tǒng)與底層進(jìn)行互操作,來(lái)實(shí)現(xiàn)虛擬機(jī)的假設(shè)。比較常見(jiàn)的產(chǎn)品是VMware的VMware Workstation。顯而易見(jiàn),在操作系統(tǒng)上搭建VMM是比較浪費(fèi)物理機(jī)資源的一種虛擬化方式。但由于所有的VM都運(yùn)行在同一個(gè)操作系統(tǒng)中,因此,管理起來(lái)統(tǒng)一方便。
上述兩種IaaS涉及的虛擬化技術(shù)各有優(yōu)點(diǎn),但對(duì)于IDC來(lái)講,主要采用第一種方式,即裸機(jī)型虛擬化技術(shù),最大程度地對(duì)物理機(jī)進(jìn)行資源利用,綜合統(tǒng)計(jì),CPU利用率從平均不到10%提升到55%以上,整體能夠提升利用率至60%~80%,利用率的提升,意味著用更少的機(jī)器做更多的事情,在節(jié)省成本的同時(shí),節(jié)能減排,符合創(chuàng)建綠色I(xiàn)DC宗旨。
2 基于Min-Min的算法優(yōu)化
上一節(jié)中,從IDC的服務(wù)器x86化和IaaS虛擬化兩個(gè)方面討論了機(jī)房節(jié)能的可行性和技術(shù)細(xì)節(jié),然而,有一個(gè)問(wèn)題并沒(méi)有能夠詳細(xì)論述,即當(dāng)以上兩種手段都應(yīng)用時(shí),面對(duì)業(yè)務(wù)調(diào)度合理化、新的業(yè)務(wù)上線、舊業(yè)務(wù)替換、閑置物理機(jī)待停等問(wèn)題并沒(méi)有合適的解決方案。本節(jié)以Min-Min算法為基礎(chǔ),針對(duì)IDC機(jī)房節(jié)能需求進(jìn)行相應(yīng)的算法改造優(yōu)化,完成IaaS中的資源調(diào)度優(yōu)化。
2.1 Min-Min算法簡(jiǎn)介
Min-Min算法的整體思想是通過(guò)計(jì)算任務(wù)集合 T<t1,t2,…,tn>中的資源消耗值,取出最小消耗的任務(wù)tm,將其映射到執(zhí)行最快的機(jī)器上執(zhí)行,整個(gè)任務(wù)集合按照FIFO的原則進(jìn)行任務(wù)分配執(zhí)行,直到所有任務(wù)執(zhí)行結(jié)束。相較于Min-Min算法,ECMM雖然能夠?qū)⒖臻eCPU休眠,但卻增加了任務(wù)就緒時(shí)間。而優(yōu)化的Min-Min算法并不存在此問(wèn)題。
針對(duì)于IDC中的服務(wù)器而言,在進(jìn)行資源池化后,與VM對(duì)應(yīng)的并不是任務(wù)而是應(yīng)用。這里,需要針對(duì)應(yīng)用的資源消耗進(jìn)行統(tǒng)計(jì)分析,再合理分配VM,以充分利用服務(wù)器能力,減少能源消耗。下面就以IDC節(jié)能為目的,對(duì)Min-Min算法進(jìn)行特性化優(yōu)化。
2.2 Min-Min算法優(yōu)化
這里,為了簡(jiǎn)化論證,假設(shè)所有虛擬機(jī)與上面承載的業(yè)務(wù)應(yīng)用為一對(duì)一關(guān)系,即每一個(gè)VM上運(yùn)行一個(gè)應(yīng)用。相對(duì)于云計(jì)算平臺(tái)市場(chǎng)變化的服務(wù)型應(yīng)用,IDC中部署的應(yīng)用大多數(shù)較為穩(wěn)定,除去版本更迭、新舊替換、新增資源外,少有其他變動(dòng)。
優(yōu)化的Min-Min算法分為兩個(gè)層次,即VM層面的遷移和應(yīng)用任務(wù)層面的遷移。算法的具體步驟如下:
?。?)按照物理機(jī)性能,將虛擬機(jī)能力進(jìn)行排序,得到集合V<v1,v2,…,vn>,排序時(shí)參照物理機(jī)的CPU、RAM、啟用時(shí)間、tmpC能力。
(2)對(duì)一段時(shí)間內(nèi)(以一月為例)的應(yīng)用任務(wù)所需要消耗的資源進(jìn)行統(tǒng)計(jì),并依照Ctotal=Ccpu+Cram+Cio,其中Ctotal指應(yīng)用需要的總資源消耗,Ccpu指平均CPU占用率,Cram指內(nèi)存使用量,Cio指IO消耗,然后,得出應(yīng)用資源消耗集合C<c1,c2,…,cn>(進(jìn)行排序時(shí),可以同時(shí)參考應(yīng)用的優(yōu)先級(jí)別),對(duì)應(yīng)的應(yīng)用任務(wù)集合A<a1,a2,…,an>。
?。?)對(duì)于任務(wù)集合A<a1,a2,…,an>,如果其為空,則將全部物理機(jī)待機(jī);否則,將其按照順序遷移到V<v1,v2,…,vn>;若遷移數(shù)量為m,則將剩余的n-m臺(tái)虛擬機(jī)進(jìn)行待機(jī)操作(n>m)。
?。?)每新增、更新、刪除應(yīng)用任務(wù),需要對(duì)應(yīng)用集合A<>以及消耗資源集合C<>進(jìn)行更新;同理適用于物理機(jī)器。
(5)定期或者動(dòng)態(tài)重復(fù)以上步驟。
通過(guò)優(yōu)化的Min-Min算法對(duì)應(yīng)用任務(wù)和虛擬機(jī)之間不定期進(jìn)行資源映射,可以有效地利用物理機(jī)性能,并能夠?qū)﹂e置虛擬機(jī)/物理機(jī)進(jìn)行待機(jī)操作,避免空轉(zhuǎn)。
2.3 仿真實(shí)驗(yàn)分析
試用CloudSim對(duì)優(yōu)化的Min-Min算法進(jìn)行實(shí)際測(cè)試,對(duì)于應(yīng)用任務(wù)從100~500的情況下,相比較基于ECMM能源消耗情況來(lái)看,總體上能夠節(jié)約60%以上的能源。
3 結(jié)論
本文綜合討論了基于IaaS的云資源調(diào)度優(yōu)化,涉及了小型機(jī)的x86化,服務(wù)器資源池化,并討論了優(yōu)化的Min-Min算法減少能源消耗的能力。同時(shí),本文也提出了可以優(yōu)化的區(qū)域:(1)Unix服務(wù)器虛擬化技術(shù),Unix服務(wù)器目前仍然與設(shè)備廠家綁定,不能實(shí)現(xiàn)跨廠家設(shè)備的虛擬化方案,建議小型機(jī)分區(qū)虛擬化的應(yīng)用,利用動(dòng)態(tài)分區(qū)技術(shù)提高資源調(diào)控靈活度;(2)桌面云技術(shù),在CRM營(yíng)業(yè)廳、呼叫中心云桌面試點(diǎn)中,采用小能耗的瘦終端桌面虛擬化方案替代原有PC終端;(3)IDC其他設(shè)備,鼓勵(lì)采用具有更高能效比供電、空調(diào)設(shè)備,在完成同等工作量的條件下減少電能消耗;(4)分布式計(jì)算在數(shù)據(jù)挖掘應(yīng)用任務(wù)中的應(yīng)用。
參考文獻(xiàn)
[1] 王秀玲.中國(guó)移動(dòng)云計(jì)算架構(gòu)分析[D].濟(jì)南:山東大學(xué),2012.
[2] 郭亮.IDC步入云計(jì)算時(shí)代節(jié)能“組網(wǎng)”業(yè)務(wù)管理尚存嚴(yán)峻挑戰(zhàn)[J].世界電信,2011(1):103-106.
[3] 楊國(guó)勛.綠色數(shù)據(jù)中心產(chǎn)業(yè)的發(fā)展趨勢(shì)[J].中國(guó)信息界,2012(5):5-7.
[4] 黃偉,張杰.CRM系統(tǒng)中小型機(jī)與x86服務(wù)器應(yīng)用對(duì)比分析[J].電信工程技術(shù)與標(biāo)準(zhǔn)化,2013(6):83-88.
[5] 金敏玉,張式勤,宋祺.X86刀片機(jī)及其虛擬化技術(shù)在電信企業(yè)IT系統(tǒng)中的應(yīng)用研究[J].移動(dòng)通信,2011(6):86-92.
[6] 楊冰,張保穩(wěn),李號(hào),等.面向云計(jì)算中虛擬化技術(shù)的等級(jí)保護(hù)要求研究[J].信息安全與通信保密,2014(2):106-111.