AI 浪潮下的存储新解：3FS 与 JuiceFS 深度剖析

原创

于 2025-04-02 11:37:54 发布 · 789 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #java

在 AI 技术蓬勃发展的当下，企业在 AI 业务进程中，需要处理海量文本、图像、视频等非结构化数据，数据量呈爆炸式增长。作为 AI 训练关键的存储技术，分布式文件系统迎来了新的发展契机。2025 年 2 月，DeepSeek 开源的 Fire-Flyer File System（3FS），引发了行业对文件系统技术的新一轮关注。本文将深入剖析 3FS 的实现机制，并与 JuiceFS 展开全面对比，助力用户明晰两种文件系统的差异及适用场景，同时挖掘 3FS 的创新技术亮点。

一、架构设计：同中有异，各展所长

3FS：专为 AI 打造的高性能架构

3FS 专为解决 AI 训练和推理工作负载而设计，借助高性能的 NVMe 和 RDMA 网络搭建共享存储层。该系统涵盖集群管理服务、元数据服务、存储服务以及客户端（FUSE Client、Native Client）。各模块通过 RDMA 网络通信，元数据服务和存储服务向集群管理服务发送心跳信号。集群管理服务负责处理成员变更，并将集群配置分发给其他服务和客户端。为保障系统可靠性，防止单点故障，通常会部署多个集群管理服务，选举其中一个为主节点，主节点故障时，其他管理器会自动提升为主节点，集群配置则存储于 ZooKeeper 或 etcd 等可靠的分布式服务中。

文件元数据操作请求会被发送至元数据服务，元数据服务本身无状态，依赖支持事务的键值数据库 FoundationDB 存储文件元数据，客户端可灵活连接任意元数据服务，提升了系统的可伸缩性和可靠性。每个存储服务管理若干本地 SSD，提供 chunk 存储接口，并采用 CRAQ 算法确保数据强一致性。3FS 将存储文件拆分为默认 512K 大小的块，在多个 SSD 上进行复制，提高数据可靠性和访问速度。客户端提供 FUSE Client 和 Native Client 两种接入方式，前者支持常见 POSIX 接口，操作简单；后者性能更高，但需要调用客户端 API 。