2月28日消息,在不舍與興奮中,我們迎來了DeepSeek開源周第五天。今天DeepSeek開源的項目是:Fire-Flyer文件系統(tǒng),即3FS。
據(jù)了解,3FS是一個高性能并行文件系統(tǒng),它是所有Deepseek數(shù)據(jù)訪問的助推器,能應對AI訓練和推理工作負載的挑戰(zhàn)。
它利用現(xiàn)代SSD和RDMA網(wǎng)絡提供共享存儲層,能簡化分布式應用程序的開發(fā),具有以下主要特性:
1、分離式架構(gòu):結(jié)合了數(shù)千個SSD和數(shù)百個存儲節(jié)點的網(wǎng)絡帶寬,使應用程序可以不受位置限制地訪問存儲資源
2、強一致性:實現(xiàn)了鏈式復制與分配查詢(CRAQ)協(xié)議,確保數(shù)據(jù)的強一致性,簡化應用程序開發(fā)
3、文件接口:提供基于事務性鍵值存儲(如FoundationDB)支持的無狀態(tài)元數(shù)據(jù)服務,使用通用的文件接口,無需學習新的存儲API
4、多樣化工作負載支持
4.1 數(shù)據(jù)準備:高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果
4.2 數(shù)據(jù)加載:支持計算節(jié)點間的訓練樣本隨機訪問,消除預取或打亂數(shù)據(jù)集的需求
4.3 檢查點保存:支持大規(guī)模訓練的高吞吐并行檢查點保存
4.4 推理KVCache:提供比基于內(nèi)存緩存更具成本效益的替代方案,同時提供高吞吐量和更大容量
另外,3FS的核心性能指標表現(xiàn)在聚合讀取吞吐量上,具體體現(xiàn)就是在由180個存儲節(jié)點組成的集群中,可實現(xiàn) 6.6 TiB/s 的聚合讀取吞吐量。
在基準測試表現(xiàn)中,在25節(jié)點集群的 GraySort 基準測試中,吞吐量可達 3.66 TiB/分鐘;在單客戶端節(jié)點的 KVCache 查找峰值吞吐量超過40 GiB/s。
尤其值得一提的是,3FS對于V3和R1中訓練數(shù)據(jù)預處理、數(shù)據(jù)集加載、嵌入向量搜索和KV Cache查找等工作,都立下了汗馬功勞,可謂功高蓋主!
網(wǎng)友們表示,3FS和Smallpond為AI數(shù)據(jù)處理設定了新基準,將改變數(shù)據(jù)處理的游戲規(guī)則。這對于AI演化來說,相當于從自行車升級到了高鐵!大家說,3FS牛不牛!