TMT观察网_独特视角观察TMT行业

【TechWeb】2月28日消息，DeepSeek開源周第五天，DeepSeek宣布開源了Fire-Flyer文件系統（3FS）。

Github地址：https://github.com/deepseek-ai/3FS

據介紹，3FS是一個高性能并行文件系統，能應對AI訓練和推理工作負載的挑戰，它利用現代SSD和RDMA網絡提供共享存儲層，能簡化分布式應用程序的開發。

在由180個存儲節點組成的大型測試集群上，3FS最終的總讀取吞吐量達到約6.6個TIB/S； KVCache 查詢每個客戶端節點達到40+GiB/s的峰值吞吐量。

DeepSeek列舉了3FS的主要功能和優勢包括：

性能和可用性

* 分解式架構結合了數千個SSD的吞吐量和數百個存儲節點的網絡帶寬，使應用程序能夠以不受位置影響的方式訪問存儲資源。

* 強一致性實現帶有分配查詢（CRAQ）的鏈式復制以實現強一致性，從而使應用程序代碼簡單且易于推理。

* 文件接口開發由事務鍵值存儲（例如FoundationDB）支持的無狀態元數據服務。文件接口眾所周知且隨處可用。無需學習新的存儲API。

多樣化的工作負載

* 數據準備將數據分析管道的輸出組織成分層目錄結構，并有效地管理大量中間輸出。

* 數據加載器通過跨計算節點隨機訪問訓練樣本，消除了預取或混洗數據集的需要。

* 檢查點支持大規模訓練的高吞吐量并行檢查點。

* 用于推理的KVCache提供了一種基于DRAM的緩存的經濟高效的替代方案，可提供高吞吐量和更大的容量。