《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業(yè)界動態(tài) > AI、HPC的助推器,下一代并行文件系統(tǒng)解決方案—EXA5

AI、HPC的助推器,下一代并行文件系統(tǒng)解決方案—EXA5

2019-07-05
關鍵詞: AI HPC

  DataDirect Networks (DDN)推出了EXA5,這是該公司第五代Exascaler Lustre文件系統(tǒng)平臺,將用于填充DDN的全閃存、中檔和高端存儲設備系列。Exascaler主要客戶是針對HPC人群,但這個最新版本也吸引了更多面向企業(yè)客戶的特性,尤其是那些從事人工智能工作的客戶。

  DDN高級營銷總監(jiān)Kurt Kuckein表示:“對于那些不那么熟悉DDN的企業(yè)來說,這些需求變得越來越明顯。因此這款產(chǎn)品結合了我們存儲功能和一些企業(yè)特性。”

  多年來,DDN一直在有條不紊地為Exascaler軟件添加一些利于企業(yè)的功能,人工智能市場正促使DDN對這一領域給予額外關注。對于EXA5,很多新特性都是相當標準的問題——增強型數(shù)據(jù)保護、升級安全性(包括多租戶)、通過CIFS和NFS網(wǎng)關支持non-Lustre并行存儲系統(tǒng)[1]以及審計功能。改進的small file性能也有所增加了,這也得到了傳統(tǒng)的高性能計算客戶的贊賞。

  據(jù)Kuckein介紹,他們在Lustre中做了大量工作來加速Smallfile(小文件存儲)的性能。在硬件級別,這主要是通過利用基于閃存的存儲組件的特殊隨機訪問性能實現(xiàn)的。Kuckein說,他們所做的優(yōu)化不僅加快了Smallfile(小文件存儲)的I/O速度,而且還跨越了一系列文件大小,從幾kb到幾mb。

  然而,EXA5最大的新特性是STRATAGEM,這是一個功能強大的數(shù)據(jù)編排引擎,它使用基于策略的布局為用戶提供全面的數(shù)據(jù)駐留控制,并且提供了Flash和硬盤之間的自動分層。分層是通過將活動數(shù)據(jù)保存在閃存中,并將訪問的數(shù)據(jù)放在旋轉磁盤上,從而優(yōu)化I/O性能。它通過掃描后臺文件系統(tǒng)并在訪問模式允許的情況下移動文件來實現(xiàn)這一點。EXA5中的其他幾十個新特性為在云中部署要求最高的工作負載的用戶提供了獨特的價值。

1562139873379174.png

  到目前為止,DDN客戶一直依賴于開放源碼的Lustre策略引擎,比如Robinhood,根據(jù)Kuckein的說法,Robinhood在性能方面還有待改進。Strategem使用的開銷要小得多,因此可以在不過度影響用戶性能的情況下進行文件系統(tǒng)掃描。有趣的是,它將大多數(shù)基于閃存的文件鏡像到硬盤上,以備快速需要閃存層上的空間。用戶還可以自定義開發(fā),在特定情況下自動進行數(shù)據(jù)升降級,還可以使用API對外部驅動的數(shù)據(jù)移動進行控制。

  DDN設置了策略引擎,所以無論Flash是在它自己基于NVMe(非易失性內(nèi)存主機控制器接口規(guī)范)的存儲陣列(比如ES200NV或ES400NV)中,還是在混合設備(比如ES7990)中與硬盤混合,都沒有關系。它將解決所有的Flash 是否在文件名稱空間或系統(tǒng)本身的問題。

  EXA5已經(jīng)在德克薩斯高級計算中心(TACC)很快將擁有一臺頂級超級計算機—“Frontera”上實現(xiàn)了應用。作為世界上第五大系統(tǒng),同時由CPU和GPU驅動,新型TACC機器有望與傳統(tǒng)HPC應用程序一起運行人工智能工作負載。它支持50 pb的DDN硬件,其中3 pb以基于NVMe的硬件的形式提供額外的快速劃痕存儲。

2.png


  在人工智能領域,一家提供實時視頻分析軟件公司正在應用EXA5,XXII分析軟件可以用于無現(xiàn)金的零售環(huán)境中,監(jiān)控商店客戶,并根據(jù)他們放入購物車的內(nèi)容計算費用。在最近的GTC會議上,XXII分析軟件運行在了連接DDN存儲的Nvidia硬件上進行了演示。

  EXA5可以運行在所有的Flash SFA200NV SFA400NV,混合SFA7990,高密度SFA18K,以及 A?I存儲電器 (A1200和AI7990)上,它將在今年第三季度初上市。

  [1] Lustre,一種平行分布式文件系統(tǒng),通常用于大型計算機集群和超級電腦。Lustre是源自Linux和Cluster的混成詞。它是應用廣泛的linux開源分布式存儲文件系統(tǒng),其容量可輕易擴容到PB級別,在HPC、云上有相應的使用。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者。如涉及作品內(nèi)容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。