详解 JuiceFS 在多云架构下的数据同步与一致性

随着大模型流行，GPU 算力资源正变得日益稀缺，传统的“算力跟着存储跑”的策略需要转变为“存储跟着算力跑”。为了确保数据一致性和管理的便捷性，企业通常在特定地区的公有云上选择对象存储作为所有模型数据的集中存储点。当进行计算任务调度时，往往需要人工介入，手动进行数据拷贝和迁移方法不仅成本高昂，还存在管理和维护的复杂性，包括权限控制等问题都极为棘手。

JuiceFS 企业版的 “镜像文件系统” 功能允许用户从一个地区自动复制元数据到多个地区，形成一对多的复制模式。在多云架构下，该功能在确保数据一致性的同时，大幅降低人工运维的工作量。

最新的 JuiceFS 企业版 5.1 中， 镜像文件系统除了支持读取，还新增了可直接写入的功能。本文将探讨镜像文件系统的读写实现原理。

01 为什么需要镜像文件系统

让我们设想这样一个场景，某用户的文件系统部署在北京，但北京地区的 GPU 资源供给不足，而该用户在上海还有可用的 GPU 资源。这时用户想在上海运行模型训练任务，有两个简单的方案：

1. 直接在上海挂载北京的文件系统。理论上来说，只要北京与上海之间的网络连接顺畅，上海的客户端确实就能访问数据以进行训练。然而实际情况是，文件系统的访问通常涉及到频繁的元数据操作，而由于两地的网络延迟较大，性能结果往往都无法达到预期。
2. 在上海建立新的文件系统，在训练前拷贝所需数据集到上海。这样做的优点是可以保证上海训练任务的性能。但缺点也是很明显的，一方面构建新文件系统需要较高的硬件成本，另一方面每次训练前同步数据也提高了运维的复杂性。

综上所述，这两个简单的方案都无法令人满意。为此 JuiceFS 企