分布式存储与RustFS的博客

一次训练跑几百轮，模型权重、指标图、中间产物散落在每台机器的本地盘，换机器就找不回上次的实验。MLflow 把 artifact（产物文件）落到对象存储就能解决这个问题。RustFS 是 100% 兼容 S3 的存储，官方集成目录（docs.rustfs.com/zh/developer/integration）的 AI 类目里 MLflow 有专门的指南，用 Docker Compose 以 …

训练任务卡在 data loader、小文件把吞吐打到谷底，根因常在存储不在算力。本文讲清为什么 AI 训练/特征工程更适合用 S3 兼容对象存储当数据底座，以及 RustFS 怎么接：100% S3 兼容可直接当 MLflow/DVC 的 artifact store，开版本控制给数据集留历史，官方 beta.10 压测里 4KiB/4MiB 对象 PUT 分别是 MinIO 的 2.00×/2.85×；顺便把 S3 Tables（Iceberg）还在路线图上的边界讲清楚。

手里有一套跑着的 S3/MinIO，想把数据搬进或备份到 RustFS，不用写代码——rclone 的 S3 后端直接可用。本文给一份能复制的 rclone 配置、全量/增量同步命令、对象锁不可变备份的开关，以及 sync 的破坏性提醒和定时脚本。

RustFS 不暴露原生的 Prometheus /metrics 端点，它走 OpenTelemetry 协议把指标推出来。本文给一套能复制的链路：RUSTFS_OBS_ENDPOINT 指到 OTel Collector，Collector 用 prometheus exporter 在 8889 重新暴露，Prometheus 抓 8889、Grafana 出图，以及"没数据先查哪三段"的排障顺序。

很多人把 RustFS 当成一个能存对象的 S3 兼容桶，但其实它背后的版本控制、对象锁、事件通知、标签、生命周期这些 S3 API 能力已经悄悄可用。本文按官方兼容性矩阵（commit 1e6f5f1e，2026-08-09）逐个拆：哪些已测、怎么开、用在什么场景，也把"桶访问日志还没做、ACL 被有意排除"的边界讲清楚。

法务把 MinIO 的 AGPL v3 打回、社区版也不再发预编译二进制，团队要找 S3 替代时，协议往往是第一道坎。本文把 Apache 2.0（RustFS）和 AGPL v3（MinIO）在传染性、商业集成、网络服务条款上逐项对比，讲清"换 RustFS 不只是换语言，是换掉一份会触发开源义务的协议"，也老实说 RustFS 还年轻、生产要固定版本。

RustFS 跑了一阵，最常被问到的一类问题是"怎么扩容"。但扩容有两个意思：同机加几块盘（单节点多盘），还是跨机器加一组新节点（多池 / 分布式）。这两种写法都落在同一个入口——volumes——区别只是你往里填的是本地路径、还是带省略号展开的一串端点。把这套语法摸清，扩容时不用每次翻文档。下面的写法与解析规则都对照官方 CLI 参考核对过。