巧用 JuiceFS Sync 命令跨云迁移和同步数据

近年来，云计算已成为主流，企业从自身利益出发，或是不愿意被单一云服务商锁定，或是业务和数据冗余，或是出于成本优化考虑，会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台，业务迁移涉及到数据的迁移。正好 JuiceFS 已经对接了各种对象存储的 API ，也实现了数据同步的逻辑，让我们来了解下 JuiceFS 的 sync 命令。

什么是 JuiceFS Sync

JuiceFS 的 sync 子命令是功能完整的数据同步实用工具，可以在所有 JuiceFS 支持的对象存储之间多线程并发同步或迁移数据，既支持在「对象存储」与「JuiceFS」之间迁移数据，也支持在「对象存储」与「对象存储」之间跨云跨区迁移数据。与 rsync 类似，除了对象存储也支持同步本地目录、通过 SSH 访问远程目录、HDFS、WebDAV 等，同时提供全量同步、增量同步、条件模式匹配等高级功能。

基本用法

命令格式

juicefs sync [command options] SRC DST

即把 SRC 同步到 DST，既可以同步目录，也可以同步文件。

其中：

• SRC 代表数据源地址及路径
• DST 代表目标地址及路径
• [command options] 代表可选的同步选项，详情查看命令参考。

地址格式均为 [NAME://][ACCESS_KEY:SECRET_KEY@]BUCKET[.ENDPOINT][/PREFIX]

其中：

• NAME 是存储类型，比如 s3、oss。详情查看所有支持的存储服务
• ACCESS_KEY 和 SECRET_KEY 是对象存储的 API 访问密钥
• BUCKET[.ENDPOINT] 是对象存储的访问地址
• PREFIX 是可选的，限定要同步的目录名前缀。

以下是一个 Amazon S3 对象存储的地址范例：

s3://ABCDEFG:HIJKLMN@myjfs.s3.us-west-1.amazonaws.com

特别地，SRC 和 DST 如果以 / 结尾将被视为目录，例如：movies/。没有以 / 结尾则会被视为「前缀」，将按照前缀匹配的规则进行匹配，例如，当前目录下有 test 和 text 两个目录，使用以下命令可以将它们同步到目标路径 ~/mnt/：

juicefs sync ./te ~/mnt/te

使用这种方式，sync 命令会以 te 前缀匹配当前路径下所有包含该前缀的目录或文件，即 test 和 text。而目标路径 ~/mnt/te 中的 te 也是前缀