《電子技術(shù)應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > DeepSeek開源周完美收官:開源勞苦功高的3FS

DeepSeek開源周完美收官:開源勞苦功高的3FS

2025-02-28
來源:快科技
關(guān)鍵詞: Deepseek 開源周 3FS

2月28日消息,在不舍與興奮中,我們迎來了DeepSeek開源周第五天。今天DeepSeek開源的項目是:Fire-Flyer文件系統(tǒng),即3FS。

0.png

據(jù)了解,3FS是一個高性能并行文件系統(tǒng),它是所有Deepseek數(shù)據(jù)訪問的助推器,能應對AI訓練和推理工作負載的挑戰(zhàn)。

它利用現(xiàn)代SSD和RDMA網(wǎng)絡提供共享存儲層,能簡化分布式應用程序的開發(fā),具有以下主要特性:

1、分離式架構(gòu):結(jié)合了數(shù)千個SSD和數(shù)百個存儲節(jié)點的網(wǎng)絡帶寬,使應用程序可以不受位置限制地訪問存儲資源

2、強一致性:實現(xiàn)了鏈式復制與分配查詢(CRAQ)協(xié)議,確保數(shù)據(jù)的強一致性,簡化應用程序開發(fā)

3、文件接口:提供基于事務性鍵值存儲(如FoundationDB)支持的無狀態(tài)元數(shù)據(jù)服務,使用通用的文件接口,無需學習新的存儲API

4、多樣化工作負載支持

4.1  數(shù)據(jù)準備:高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果

4.2  數(shù)據(jù)加載:支持計算節(jié)點間的訓練樣本隨機訪問,消除預取或打亂數(shù)據(jù)集的需求

4.3  檢查點保存:支持大規(guī)模訓練的高吞吐并行檢查點保存

4.4  推理KVCache:提供比基于內(nèi)存緩存更具成本效益的替代方案,同時提供高吞吐量和更大容量

另外,3FS的核心性能指標表現(xiàn)在聚合讀取吞吐量上,具體體現(xiàn)就是在由180個存儲節(jié)點組成的集群中,可實現(xiàn)  6.6 TiB/s 的聚合讀取吞吐量。

在基準測試表現(xiàn)中,在25節(jié)點集群的 GraySort 基準測試中,吞吐量可達 3.66 TiB/分鐘;在單客戶端節(jié)點的 KVCache 查找峰值吞吐量超過40 GiB/s。

尤其值得一提的是,3FS對于V3和R1中訓練數(shù)據(jù)預處理、數(shù)據(jù)集加載、嵌入向量搜索和KV Cache查找等工作,都立下了汗馬功勞,可謂功高蓋主!

網(wǎng)友們表示,3FS和Smallpond為AI數(shù)據(jù)處理設定了新基準,將改變數(shù)據(jù)處理的游戲規(guī)則。這對于AI演化來說,相當于從自行車升級到了高鐵!大家說,3FS牛不牛!

0.png


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。