DeepSeek-OpenSourceWeek-第五天-Launch of 3FS and Smallpond Framework

2025 年 2 月 28 日，DeepSeek 在开源周的最后一天宣布推出了 Fire-Flyer File System（3FS）和 Smallpond 数据处理框架。这些创新旨在提升数据访问和处理能力，特别是针对 AI 训练和推理工作负载。

Fire-Flyer File System (3FS)

3FS 是一种高性能的分布式文件系统，专为应对 AI 训练和推理工作负载的挑战而设计。它利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布式应用程序的开发。

关键特性：

• 高性能：3FS 在 180 节点集群中实现了 6.6 TiB/s 的聚合读取吞吐量。在 25 节点集群的 GraySort 基准测试中，达到了 3.66 TiB/min 的吞吐量。每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。

• 去中心化架构：结合了数千个 SSD 的吞吐量和数百个存储节点的网络带宽，使应用程序能够以不受位置影响的方式访问存储资源。

• 强一致性：实现了链式复制与分配查询（CRAQ）协议，确保数据的强一致性，简化应用程序开发。

• 文件接口：提供基于事务性键值存储（如 FoundationDB）支持的无状态元数据服务，使用通用的文件接口，无需学习新的存储 API。

应用场景：

• 数据准备：将数据分