《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業(yè)界動態(tài) > 存儲軟件CORTX進入市場,超大規(guī)模存儲架構有望走向普及

存儲軟件CORTX進入市場,超大規(guī)模存儲架構有望走向普及

2020-11-17
來源:IT創(chuàng)事記

這些年在科學界,國際頂級機構一直在做著同一件事,那就是為他們持續(xù)增長的海量數(shù)據找到價格更便宜的存身之處?,F(xiàn)在,他們中的一些說:找到了。

由于已經受益于此,在他們的合作伙伴希捷把這個“秘密”——CORTX,一款獨立于硬件的100%開源對象存儲軟件——推向市場的時候,這些機構很樂意地站了出來,并對它表達了贊賞。法國原子能和替代能源委員會(CEA)和英國原子能機構(UKAEA)都是CORTX未發(fā)布前,就已經采用了它的早期用戶。CEA項目經理Jacques-Charles Lafoucriere,和UKAEA的百萬兆級算法專家Debasmita Samadder博士用“強大”、“靈活”、“高效”和“新穎”等詞匯去描述了他們眼中的CORTX。這些機構用它來支持超大規(guī)模的數(shù)據存儲,實現(xiàn)并行文件系統(tǒng)接口(pNFS)和分層存儲管理工具等。兼容TensorFlow等人工智能和深度學習 (AI/DL) 工具也是他們的關注點——這些國際頂級機構永遠都會站在科技的最前沿。事實上,CORTX的用例非常廣泛,除人工智能和機器學習,還包括了混合云、邊緣、高性能計算等領域。那些機構負責人對CORTX的高度贊賞有著很高的可信度,因為這些機構中的一些已經不滿足于僅僅是去使用它了?!癈ORTX將降低EB級數(shù)據的存儲成本?!甭逅拱⒗箛覍嶒炇遥↙os Alamos National Laboratory)高性能計算部門負責人Gary Grider斷言。他們已經決定參與到CORTX協(xié)作開源社區(qū)中去。目前,CORTX已經可從GitHub下載,以及協(xié)作開發(fā)。

希捷科技全球副總裁暨中國區(qū)總裁孫丹:通過生態(tài)協(xié)作,CORTX將使超大規(guī)模存儲架構更為普及。

除了用戶,整個科技生態(tài)對CORTX的興趣也都相當濃厚。英特爾很清楚開源創(chuàng)新在高性能存儲領域的價值。英特爾數(shù)據平臺事業(yè)部副總裁Bryan Jorgensen認為,它將推高未來數(shù)據時代中云、高性能計算、人工智能和通信網絡等的性能水平。目前英特爾已計劃在CORTX社區(qū)內結合相關的平臺功能,包括英特爾傲騰持久內存、英特爾QuickAssist加速器,和DAOS文件系統(tǒng),以共同實現(xiàn)和優(yōu)化這一開源技術。全球知名的文件系統(tǒng)提供商WekaIO也表達了同樣的意愿。WekaIO人工智能和戰(zhàn)略聯(lián)盟負責人Shailesh Manjrekar描繪了一個未來——在參與到CORTX開源項目開發(fā)中后,市場將可以利用創(chuàng)新的Weka AI解決方案框架,創(chuàng)建端到端解決方案:通過WekaFS提供卓越性能,而CORTX提供容量和耐用性。在中國市場,目前已有8家希捷的客戶以及合作伙伴——新華三集團、同有科技、宏杉科技、UIT創(chuàng)新科、五舟科技、鯨鯊軟件、極道科技以及柏科數(shù)據等,決定將就CORTX開源軟件與開源社區(qū)與希捷展開合作。這個開源社區(qū)是在希捷發(fā)布CORTX時一同發(fā)布的。同時發(fā)布的還有一個可作為融合基礎架構部署的參考架構Lyve Drive Rack。

wx_article_20201116200847_Q2yxkI.jpg

這個參考架構可以讓用戶部署CORTX并構建自己的大容量私有云——Lyve Drive Rack的機箱容量由1.34PB起。希捷在Datasphere峰會上展示它時,它的盤位上插滿了20TB HAMR硬盤。希捷消息稱,這款大容量硬盤計劃在12月開始供貨。這是希捷布局開源對象存儲軟件的目的之一。大容量硬盤已經為云服務商降低了成本,但它遠沒有到普及到程度。受限于軟件實力,并不是每個想要用好海量數(shù)據的企業(yè)用戶,都能享受到它的好處——硬盤容量越大,I/O性能就會下降,這需要用戶有一定的優(yōu)化能力對系統(tǒng)進行調優(yōu)?!肮雀?、百度和騰訊等互聯(lián)網和云計算企業(yè),會第一時間使用我們的大容量硬盤,”希捷科技全球副總裁暨中國區(qū)總裁孫丹說,“因為他們通過采用大容量硬盤獲得了商業(yè)價值。”要知道,當今天的云服務商已經使用16T硬盤的時候,傳統(tǒng)企業(yè)才部署到8T。希捷相信免費和開源的CORTX能解決這一難題。在推出它之前的數(shù)年間,“希捷已經為此寫出了百萬行代碼”,希捷科技中國區(qū)資深解決方案工程師李蓁說,考慮到未來人工智能、機器學習會是未來數(shù)據領域當中主流的應用,希捷已經在設計之初,專門針對AI以及機器學習做了調優(yōu)?!拔覀冊贑ORTX上面有一個內置的內存介質,通過這種設計,用戶可以直接在CORTX上對數(shù)據進行標注,同時可以進行非常高效的檢索?!崩钶枵f。Lyve Drive Rack上還設置有一顆專用芯片,它可以降低在使用糾刪碼的時候所需配置的內存——這達到了降低部署成本的效果。孫丹相信,通過生態(tài)協(xié)作,CORTX將使超大規(guī)模存儲架構更為普及,科技實力相對較弱的企業(yè)也將可以經濟、快速地部署對象存儲,通過對海量數(shù)據進行標記來探索有數(shù)據價值的洞見。如果一切如預期般順利,CORTX和CORTX社區(qū)將是希捷給對象存儲帶來的巨大貢獻。事實上,希捷一直在對象存儲的協(xié)作開發(fā)中發(fā)揮關鍵作用。九十年代后期,希捷是行業(yè)聯(lián)盟的創(chuàng)始成員。該聯(lián)盟建立了第一個對象存儲規(guī)范:SNIA OSD標準。在這一點上,希捷對于對象存儲的創(chuàng)新和協(xié)作的承諾貫穿在 CORTX及其眾多架構優(yōu)化中。“我覺得希捷做這件事,還是挺偉大的。”孫丹說,希捷內部對CORTX已經做出了新的5年規(guī)劃;而接下來要做的,就是讓它的生態(tài)變得更加繁榮。


本站內容除特別聲明的原創(chuàng)文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。