小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务

小米作为全球知名的科技巨头公司，已经在数百款产品中广泛应用了 AI 技术，这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些 AI 应用主要都是通过小米的深度学习训练平台完成的。

在训练平台的存储方案中，小米曾尝试了多种不同的存储方式，包括 Ceph+NFS、HDFS 和对象存储挂载等。然而，这些不同的存储方式导致了数据冗余和维护管理成本的增加，同时也带来了扩展性和性能方面的问题。另外，随着公司云原生化进程的推进，越来越多的应用从物理机迁移到容器平台，这进一步增加了对文件存储和多节点共享访问数据的需求。

因此，小米存储团队自 2021 年开始启动了文件存储项目，基于 JuiceFS 构建了一个文件存储平台化产品，并通过 CSI Driver 组件提供了云原生存储的能力，以满足上述各种业务场景对文件存储的需求。

目前，这个平台已经承载了超过 50 亿个文件，总容量 2.5PB 以上，集群吞吐达到每秒 300~400Gbps。业务场景也在不断扩展，涵盖了大模型数据存储、大数据以及数据湖上云等领域。在接下来的内容中，我们将深入介绍小米在这一过程中的设计思路和实践经验。

01 为什么要建设统一的存储平台

一方面，我们面临着以下三方面的需求增长：日益增长的应用场景：随着人工智能业务的发展，我们对大规模文件存储的需求也在快速增长，此外在容器内共享访问数据、存算分离、大数据上云、大模型等场景同样对文件存储有着众多的应用需求，这些场景均需要高效、可靠的文件存储服务。

统一的文件存储方案：在我们立项并进行 JuiceFS 项目之前，在机器学习平台我们采用了 Ceph RBD+NFS、S3 FUSE、HDFS 等多种数据存储方式，我们期望能够统一存储方案，将大部分数据放到同一存储平台，降低维护及数据冗余成本。

混合云场景：小米作为全球化企业，业务遍布全球多个国家，在海外多个区域都会有文件存储相关的业务需求，我们需要满足私有云+公有云一体的文件存储架构。我们预期中的存储平台需要具备如下特性：

1. 功能丰富，拥有完善的存储功能，支持 POSIX 等多种访问协议，同时具备易用性，面向云原生平台设计。

2. 规模扩展性，能够支撑百亿文件、百 PB 容量规模的文件存储能力，能够弹性扩展。

3. 性能与成本，满足 AI 高并发训练等场景的性能需求，服务稳定可靠同时兼顾存储成本。

4. 混合云场景，支持多种存储后端，支持云上云下不同应用环境。

5. 开发迭代，我们有一个明确的目标，即借助开源项目，不重复造轮子。易于开发扩展与维护， 能够持续迭代。

存储选型：CephFS vs JuiceFS

我们对比了 JuiceFS、CephFS 以及其他一些业界文件系统的性能和功能。JuiceFS 社区文档也提供了一些的对比信息，如果您感兴趣，可以查阅 JuiceFS 社区文档。

首先，CephFS 在我们的需求中有一些无法满足的部分，例如，我们希望在公有云上部署，而 CephFS 可能更适合在 IDC 环境中使用。其次，CephFS 在集群规模达到一定程度时（例如 PB 级别），在平衡和元数据服务器性能方面可能会遇到一些瓶颈。

在 2021 年初，JuiceFS 项目刚刚开源，我们就开始关注了。与 CephFS 等其他开源文件存储系统相比，JuiceFS 采用了插件化的设计思想，为我们提供了更大的灵活性，使我们能够根据自身需求进行定制化开发。JuiceFS 还提供了丰富的产品功能，能够满足我们的特定场景需求。

同时，考虑到 Ceph 作为底层存储服务在小米内部已经大规模应用了多年，我们可以将 Ceph RADOS 作为 JuiceFS 的数据存储池，在 IDC 机房内提供高性能和低延迟的文件存储服务。这是我们在选型时的基本思考，以下这些优势是我们选择了 JuiceFS 作为整体存储服务的基础。

JuiceFS 优势

JuiceFS 采用了数据和元数据分离存储的架构，同时具备完全可插拔的设计，我个人认为这个构想非常出色。在进行基于 JuiceFS 的二次开发时，我们