用 rclone 把现有 S3/MinIO 数据同步到 RustFS

关注

原创 2026-08-25 12:15:28 762 阅读 AI 写同款· GEO 优化 ›

迁移实战：三种高效的MinIO到RustFS数据迁移方案详解数据迁移方案全解析：策略、工具与最佳实践本文系统介绍了三种主流数据迁移方案：完全停机迁移（适合1TB以下数据，需业务中断）、滚动迁移（1TB-10TB数据，接近零中断）和双写迁移（10TB+关键业务，零中断）。详细对比了各方案的技术复杂度、风险和实施成本，并提供了实际案例参考。文章还深入探讨了迁移工具选型（推荐rclone和mc），性能优化策略（网络带宽控制、进度监控）以及数据验证方法（自动化检查流水线）。最后强调根据业务需求选择方案，建议优先考虑数据安全性和业务连续性，推荐先小规模测试再全面迁移。阅读详情

RustFS 官网首页：面向 AI 数据中心的高性能 S3 兼容对象存储

有套 MinIO 跑了两年，里面是数据库备份和客户交付物。你想在 RustFS 上再做一份异地副本，万一主存储出问题能拉得回来。不想写迁移脚本，也不想引入新组件——rclone 一个二进制就够。

RustFS 是 100% S3 兼容的，rclone 的 S3 后端对着自定义 endpoint 直接用，不用等特殊适配。下面是一份可复制的配置。

1. 配置 rclone 连 RustFS

rclone 对自建 endpoint 默认走 path-style 寻址，配上 RustFS 的地址和凭证即可：

rclone config create rustfs s3 \
  provider=Other \
  endpoint=http://rustfs.internal:9000 \
  access_key_id=rustfsadmin \
  secret_access_key=rustfsadmin \
  acl=private

provider=Other 告诉 rclone 这是兼容 S3 的第三方，endpoint 指向 RustFS 的 9000 端口。另一端（你的 MinIO 或源 S3）同样建一个 remote，比如叫 src。

一份数据从源 S3/MinIO 经 rclone 同步进 RustFS 的链路

2. 先 dry-run，再全量

任何迁移第一步都是干跑，确认两边能通、清单对得上：

rclone copy src:my-bucket rustfs:my-bucket --dry-run -P
# 确认无误，去掉 --dry-run 跑全量
rclone copy src:my-bucket rustfs:my-bucket -P

copy 是单向、不删目标；想让目标严格等于源（多出的删掉），用 sync——但 sync 会删目标里源没有的对象，生产务必先 --dry-run 看清楚要删什么。

3. 不可变备份：叠加对象锁

如果这份副本是用来防勒索、防误删的，打开 RustFS 的对象锁（WORM），再用 rclone 的 --immutable 让备份对象禁止覆盖和删除：

# 目标桶先开合规对象锁（保留 365 天），见 RustFS 对象锁文档
rclone copy src:my-bucket rustfs:my-bucket --immutable -P

--immutable 会让 rclone 跳过已存在对象、且要求目标支持不可变，正好和对象锁配合出"写一次、锁一年"的防篡改副本。代价是锁定期内对象占着空间、不能改，适合合规归档而非热数据。

4. 定时增量：cron 一行

全量跑完之后，日常用增量同步保活。rclone 对大桶开 --fast-list 少打 LIST 请求，调 --transfers/--checkers 提并发：

# 每天 03:00 增量同步（--ignore-existing 跳过已传，省流量）
0 3 * * * rclone copy src:my-bucket rustfs:my-bucket \
  --fast-list --ignore-existing --log-file /var/log/rclone-backup.log -P

RustFS 的版本控制如果开着，rclone 覆盖同名对象会留历史版本，误删也能回退——但副本侧开了版本控制，存储会随版本涨，记得配生命周期清冷版本。

rclone 同步 RustFS 的关键参数速查

5. 边界：sync 会删、网络要算

sync 是破坏性的：它让目标等于源，源没有的对象会被删。备份场景宁可用 copy + --ignore-existing，或 sync 前先 --dry-run。

网络与凭证：跨机房同步走公网要算带宽和费用；RustFS 默认账号 rustfsadmin/rustfsadmin 暴露即裸奔，remote 里的密钥生产用专用账号。

大桶调优：对象上亿时单靠默认参数会慢，--fast-list + 调 --transfers 是必要的，别指望一条命令秒完。
这些都是 rclone + 任意 S3 存储的通用功课，不是 RustFS 的坑。官方文档和 rclone 手册都公开，动手前翻一遍。

6. 总结与下一步
- RustFS 是 S3 兼容的，rclone 的 S3 后端配 endpoint 直接用，不用特殊适配。
- 流程：config 建 remote → copy --dry-run 验证 → copy 全量 → --immutable + 对象锁出不可变备份 → cron 增量。
边界：sync 会删目标、跨机房算带宽、大桶要 --fast-list 调并发。
下一步：按第 1 节建 rustfs remote，挑一个非生产桶跑 rclone copy --dry-run 看清单，通了再去掉 --dry-run 全量同步。

以下是深入学习 RustFS 的推荐资源：RustFS

官方文档： RustFS 官方文档- 提供架构、安装指南和 API 参考。

GitHub 仓库： GitHub 仓库 - 获取源代码、提交问题或贡献代码。

社区支持： GitHub Discussions- 与开发者交流经验和解决方案。

意见反馈：GitHub Issues