這些年在科學(xué)界,國際頂級機(jī)構(gòu)一直在做著同一件事,那就是為他們持續(xù)增長的海量數(shù)據(jù)找到價格更便宜的存身之處?,F(xiàn)在,他們中的一些說:找到了。
由于已經(jīng)受益于此,在他們的合作伙伴希捷把這個“秘密”——CORTX,一款獨(dú)立于硬件的100%開源對象存儲軟件——推向市場的時候,這些機(jī)構(gòu)很樂意地站了出來,并對它表達(dá)了贊賞。法國原子能和替代能源委員會(CEA)和英國原子能機(jī)構(gòu)(UKAEA)都是CORTX未發(fā)布前,就已經(jīng)采用了它的早期用戶。CEA項(xiàng)目經(jīng)理Jacques-Charles Lafoucriere,和UKAEA的百萬兆級算法專家Debasmita Samadder博士用“強(qiáng)大”、“靈活”、“高效”和“新穎”等詞匯去描述了他們眼中的CORTX。這些機(jī)構(gòu)用它來支持超大規(guī)模的數(shù)據(jù)存儲,實(shí)現(xiàn)并行文件系統(tǒng)接口(pNFS)和分層存儲管理工具等。兼容TensorFlow等人工智能和深度學(xué)習(xí) (AI/DL) 工具也是他們的關(guān)注點(diǎn)——這些國際頂級機(jī)構(gòu)永遠(yuǎn)都會站在科技的最前沿。事實(shí)上,CORTX的用例非常廣泛,除人工智能和機(jī)器學(xué)習(xí),還包括了混合云、邊緣、高性能計算等領(lǐng)域。那些機(jī)構(gòu)負(fù)責(zé)人對CORTX的高度贊賞有著很高的可信度,因?yàn)檫@些機(jī)構(gòu)中的一些已經(jīng)不滿足于僅僅是去使用它了。“CORTX將降低EB級數(shù)據(jù)的存儲成本。”洛斯阿拉莫斯國家實(shí)驗(yàn)室(Los Alamos National Laboratory)高性能計算部門負(fù)責(zé)人Gary Grider斷言。他們已經(jīng)決定參與到CORTX協(xié)作開源社區(qū)中去。目前,CORTX已經(jīng)可從GitHub下載,以及協(xié)作開發(fā)。
希捷科技全球副總裁暨中國區(qū)總裁孫丹:通過生態(tài)協(xié)作,CORTX將使超大規(guī)模存儲架構(gòu)更為普及。
除了用戶,整個科技生態(tài)對CORTX的興趣也都相當(dāng)濃厚。英特爾很清楚開源創(chuàng)新在高性能存儲領(lǐng)域的價值。英特爾數(shù)據(jù)平臺事業(yè)部副總裁Bryan Jorgensen認(rèn)為,它將推高未來數(shù)據(jù)時代中云、高性能計算、人工智能和通信網(wǎng)絡(luò)等的性能水平。目前英特爾已計劃在CORTX社區(qū)內(nèi)結(jié)合相關(guān)的平臺功能,包括英特爾傲騰持久內(nèi)存、英特爾QuickAssist加速器,和DAOS文件系統(tǒng),以共同實(shí)現(xiàn)和優(yōu)化這一開源技術(shù)。全球知名的文件系統(tǒng)提供商WekaIO也表達(dá)了同樣的意愿。WekaIO人工智能和戰(zhàn)略聯(lián)盟負(fù)責(zé)人Shailesh Manjrekar描繪了一個未來——在參與到CORTX開源項(xiàng)目開發(fā)中后,市場將可以利用創(chuàng)新的Weka AI解決方案框架,創(chuàng)建端到端解決方案:通過WekaFS提供卓越性能,而CORTX提供容量和耐用性。在中國市場,目前已有8家希捷的客戶以及合作伙伴——新華三集團(tuán)、同有科技、宏杉科技、UIT創(chuàng)新科、五舟科技、鯨鯊軟件、極道科技以及柏科數(shù)據(jù)等,決定將就CORTX開源軟件與開源社區(qū)與希捷展開合作。這個開源社區(qū)是在希捷發(fā)布CORTX時一同發(fā)布的。同時發(fā)布的還有一個可作為融合基礎(chǔ)架構(gòu)部署的參考架構(gòu)Lyve Drive Rack。
這個參考架構(gòu)可以讓用戶部署CORTX并構(gòu)建自己的大容量私有云——Lyve Drive Rack的機(jī)箱容量由1.34PB起。希捷在Datasphere峰會上展示它時,它的盤位上插滿了20TB HAMR硬盤。希捷消息稱,這款大容量硬盤計劃在12月開始供貨。這是希捷布局開源對象存儲軟件的目的之一。大容量硬盤已經(jīng)為云服務(wù)商降低了成本,但它遠(yuǎn)沒有到普及到程度。受限于軟件實(shí)力,并不是每個想要用好海量數(shù)據(jù)的企業(yè)用戶,都能享受到它的好處——硬盤容量越大,I/O性能就會下降,這需要用戶有一定的優(yōu)化能力對系統(tǒng)進(jìn)行調(diào)優(yōu)。“谷歌、百度和騰訊等互聯(lián)網(wǎng)和云計算企業(yè),會第一時間使用我們的大容量硬盤,”希捷科技全球副總裁暨中國區(qū)總裁孫丹說,“因?yàn)樗麄兺ㄟ^采用大容量硬盤獲得了商業(yè)價值。”要知道,當(dāng)今天的云服務(wù)商已經(jīng)使用16T硬盤的時候,傳統(tǒng)企業(yè)才部署到8T。希捷相信免費(fèi)和開源的CORTX能解決這一難題。在推出它之前的數(shù)年間,“希捷已經(jīng)為此寫出了百萬行代碼”,希捷科技中國區(qū)資深解決方案工程師李蓁說,考慮到未來人工智能、機(jī)器學(xué)習(xí)會是未來數(shù)據(jù)領(lǐng)域當(dāng)中主流的應(yīng)用,希捷已經(jīng)在設(shè)計之初,專門針對AI以及機(jī)器學(xué)習(xí)做了調(diào)優(yōu)?!拔覀冊贑ORTX上面有一個內(nèi)置的內(nèi)存介質(zhì),通過這種設(shè)計,用戶可以直接在CORTX上對數(shù)據(jù)進(jìn)行標(biāo)注,同時可以進(jìn)行非常高效的檢索?!崩钶枵f。Lyve Drive Rack上還設(shè)置有一顆專用芯片,它可以降低在使用糾刪碼的時候所需配置的內(nèi)存——這達(dá)到了降低部署成本的效果。孫丹相信,通過生態(tài)協(xié)作,CORTX將使超大規(guī)模存儲架構(gòu)更為普及,科技實(shí)力相對較弱的企業(yè)也將可以經(jīng)濟(jì)、快速地部署對象存儲,通過對海量數(shù)據(jù)進(jìn)行標(biāo)記來探索有數(shù)據(jù)價值的洞見。如果一切如預(yù)期般順利,CORTX和CORTX社區(qū)將是希捷給對象存儲帶來的巨大貢獻(xiàn)。事實(shí)上,希捷一直在對象存儲的協(xié)作開發(fā)中發(fā)揮關(guān)鍵作用。九十年代后期,希捷是行業(yè)聯(lián)盟的創(chuàng)始成員。該聯(lián)盟建立了第一個對象存儲規(guī)范:SNIA OSD標(biāo)準(zhǔn)。在這一點(diǎn)上,希捷對于對象存儲的創(chuàng)新和協(xié)作的承諾貫穿在 CORTX及其眾多架構(gòu)優(yōu)化中。“我覺得希捷做這件事,還是挺偉大的。”孫丹說,希捷內(nèi)部對CORTX已經(jīng)做出了新的5年規(guī)劃;而接下來要做的,就是讓它的生態(tài)變得更加繁榮。