分布式存储与RustFS-优快云博客

原创 Gitea 的 LFS 和附件别堆本地盘：用 RustFS 当它的 S3 后端

自建 Gitea 跑久了，Git LFS 大文件、issue 附件、头像、仓库归档、软件包和 Actions 制品会越堆越占本地盘，单机磁盘满了就得停机迁。Gitea 内置的 minio 存储类型能把这批大对象路由到任意 S3 兼容后端，RustFS 正好接上，Git 仓库本体仍留本地，大文件全进桶。

2026-11-06 08:00:00 54

原创给 RustFS 桶加一层内存缓存：用 Alluxio 让热数据少跑一遍网络

一批训练集、特征表、模型文件反复被拉取，每次都从 RustFS 桶走一遍网络，带宽账单和延迟都扛不住。Alluxio 在客户端和 RustFS 之间架一层分布式内存缓存：读过的对象块留在 worker 内存盘里，重复读取直接命中，回源次数肉眼可见地降下来。

2026-11-05 19:00:00 524

原创 Airflow 的中间文件别散落各节点：让 DAG 直接读写 RustFS

数据流水线的中间结果往哪放，是个容易被忽略、出事才知道疼的问题。直接写本地盘，任务被调度到别的节点就找不到文件；挂共享 NFS，又多一层要维护的高可用。Airflow 自带的 Amazon S3 provider 其实就是个标准 S3 客户端，只要把连接的 endpoint_url 从 AWS 指到 RustFS，DAG 里的读写就全落到对象存储上了。这篇顺着官方集成指南，用 Apache Ai…

2026-11-05 08:00:00 428

原创向量库的存储别绑死一块盘：用 RustFS 给 Milvus 当 S3 对象底座

Milvus 跑起来，向量、索引和一堆相关对象默认写在它自己的本地卷里。单机验证很顺，可一旦向量量上来，本地盘的容量、IO 和单点就成了绕不开的墙。更麻烦的是，向量库的数据量和查询负载往往不是线性增长，一次模型切换就可能让向量规模翻几倍。Milvus 支持把兼容 S3 的对象存储当持久层，向量数据和索引直接落进 RustFS 桶，Milvus 节点本身只留运行时数据和缓存。把存储下沉到对象存储，…

2026-11-04 19:15:00 558

原创 Longhorn 的卷备份别堆本地盘：用 RustFS 给它当 S3 备份目标

Kubernetes 上的有状态应用，数据大多躺在 Longhorn 的副本盘里。副本解决了单盘损坏，但解决不了误删卷、集群整体出问题、或者你想把备份挪到另一个机房这些事。Longhorn 自带一套备份机制，把卷快照成内容寻址的块丢进一个 S3 目标。把这个目标指向 RustFS，备份就不再是某几块本地盘的私产，而是能跨节点、跨集群读回的对象。副本保证的是高可用，备份保证的是可恢复，这是两件事，…

2026-11-04 14:34:28 250

原创 K8s 集群备份落到自建对象存储：Velero 接 RustFS 配置指南

etcd 快照救不了 PV 数据，K8s 生态里做应用级备份的标准工具是 Velero。本文把备份后端接到自建 RustFS：建桶、velero install 逐参数拆解、第一个备份到删 namespace 的恢复演练走一遍。s3ForcePathStyle 不设会让备份能上传却下载不了、FSB 的 beta 定性与限制、静态公共密钥的桶策略要求、桶上别叠 lifecycle 与版本控制，配置逐条对 Velero v1.18 官方文档核实，坑位与边界照实列。

2026-11-03 19:45:00 354

原创 JuiceFS 接 RustFS 当数据后端：把对象存储挂成本地文件系统

两台机器要共享一个按 TB 增长的目录，本地盘扩不动、NAS 怕闲置、对象存储只有 GET/PUT。本文用 JuiceFS 补上中间那层：数据后端接自建 RustFS，元数据放 Redis，从建桶、format 到双机共享挂载走一遍。块对象、AOF fsync 策略、df 显示的 1.0P 估值、校验的两层分工、--shards 限制与元数据自动备份，配置逐条对官方文档与源码核实，坑位与边界照实列。

2026-11-03 08:00:00 915

原创可观测性数据落进对象存储：Proscia 案例拆解与 ClickHouse 自托管配置

SaaS 可观测性平台按 TB 计费，多数团队的日志指标只敢留 15 天。AWS 存储博客的 Proscia 案例给出参照：自建后保留改无限期、月记录量涨 13 倍，存储成本从 500 美元/TB 降到 5 美元。本文拆出其中两个不绑定云的设计——ClickHouse S3 disk 冷分层与 clickhouse-backup 备份，落到自建 RustFS 对象存储，配置块逐键对官方文档与源码核实，并诚实列出个案数字的边界。

2026-11-02 19:45:00 656

原创 Kafka 分层存储落地指南：冷 Segment 自动落到 RustFS 对象存储

Kafka 分层存储（KIP-405）3.9 起生产可用，但 Apache Kafka 不带任何存储后端实现，落地要自己装 RemoteStorageManager 插件。本文用 Aiven 开源 RSM 插件把远程层接到自建的 RustFS（S3 兼容）：两套 retention 的回落陷阱、broker 全量配置（含单集群 min.isr 坑）、验证三步、KIP-950 退出路径与官方限制清单，命令全部对官方文档逐字核实。

2026-11-02 12:00:00 637

原创一条 AI 管线靠 S3 Tables 省了 40% 基础设施成本，自建侧把这三笔账算明白

Seltz 换 Amazon S3 Tables 省了 40% 基础设施成本，自建侧省的到底是什么？在 RustFS 1.0.4 上用 PyIceberg 实测 100 万行小批写入，把三笔账算明白：小文件税收两层，快照债会拖慢维护本身，报告说删了桶里一个没少。附复现步骤与四条维护经验，数字全部一手实测可溯源。

2026-11-01 19:00:00 585

原创 PB 级冷数据降本 70%：AWS 这套证据驱动的生命周期方法，自建侧怎么抄

AWS 官方博客公布一套证据驱动的生命周期降本方法：5.8 PB 日志月账单 24 万美元，砍掉 70% 还保毫秒级访问。本文拆解 Storage Lens 定位、Storage Class Analysis 取证、128 KB 阈值、45 天观察窗与防扫描护栏，并给出 RustFS lifecycle 加 tiering 的同构落地：tier 注册、合并规则、restore 拉回、高危坑与观测侧补法，命令全部可溯源。

2026-11-01 17:12:00 528

原创 Flink 的 checkpoint 和结果集还在落本地盘？用自带 S3 插件接进 RustFS

Flink 跑批作业，结果集默认写本地或 HDFS；checkpoint 也常落在本地盘。集群一换节点，或者想让别的系统直接读这批结果，本地路径就成了阻碍。Apache Flink 通过自带的 S3 文件系统插件，能把 s3:// 直接注册成连接器协议，背后指向一个 S3 兼容桶，比如 RustFS。配置对一次，批作业的结果集和流式作业的 checkpoint 都能落到共享存储。

2026-10-31 12:15:00 267

原创 Ray Data 写出的数据集还在各节点本地盘？直接落进 RustFS 桶

Ray Data 把数据集写成 Parquet 落本地盘，集群一扩容，同一份训练数据就散在十几台机器上。想在别的任务里复用这批数据，得先想清楚它到底在哪台节点的哪个目录；想回放上周的一次预处理结果，更要逐台去找。把 Ray Data 的读写直接指向一个共享的 S3 兼容桶，比如 RustFS，数据只存一份，所有 Ray 作业都从同一个端点取，这个分散问题就解决了。

2026-10-31 07:45:00 576

原创数据湖想回滚到上周的版本？用 lakeFS 给 RustFS 桶加 Git 式版本管理

数据湖里的对象一旦被覆盖或误删，想回到上周那份干净状态，往往只能从备份里捞，还未必对得上。lakeFS 在对象存储之上加了一层 Git 式版本管理：分支、提交、回滚，对象本身仍存在底层存储里。把 RustFS 当成 lakeFS 的 S3 blockstore，等于给桶里那份数据湖直接装上版本能力，提交即版本，回滚就是切分支。

2026-10-30 19:30:00 498

原创单盘扛不住了？多节点部署 RustFS，把几台机器的磁盘并成一个纠删码存储池

单机磁盘扛不住就上分布式：RustFS 用一条 RUSTFS_VOLUMES 把最多 16 块盘（4 节点 x 4 盘）并成纠删码存储池，host 网络加 /etc/hosts 对齐即可，不用额外协调服务。

2026-10-30 12:00:00 617

原创 CI 老被 Docker Hub 的 429 卡住，自建 Registry 把镜像搬进内网

Docker Hub 匿名每 6 小时 100 次、免费账号 200 次的拉取限流按出口 IP 计，CI 一多整批卡住。用官方 Distribution 自建 Registry、存储后端接 RustFS，推拉全走内网，配额由自己的磁盘说了算；含 config.yml 逐键讲解、GC 只读模式与常见误删坑。Docker 镜像自建的完整路径。

2026-10-30 07:30:00 729

原创文件不想放公有云？十行 Python 代码，boto3 对接 RustFS 当自己的 S3

文件不想放公有云？boto3 的 endpoint_url 一改，AWS S3 代码原样指向自建 RustFS。十行完成上传，预签名 URL 限时分享，末尾附七类常见报错的排查表。Python 对接 S3 兼容存储的最短路径。

2026-10-29 19:00:00 384

原创桶开了 SSE-C 或 SSE-KMS，服务端拷贝时密钥到底走哪条路？

桶开了服务端加密后，CopyObject 和站点复制时密钥怎么走：SSE-C 三个客户密钥头必须随拷贝走，换密钥重加密要源目标各指定各的，桶名 context 写入直接 400 拒绝；RustFS 1.0.2 修掉加密单段对象复制卡 FAILED 的坑。逐条有 PR 和官方文档背书。

2026-10-29 12:00:00 255

原创模型权重散落在每台 GPU？用 RustFS 给 vLLM 做共享权重库

多卡推理集群的权重散落各节点，版本漂移、空间浪费、扩容等下载，三件事都指向同一个解法：权重收进对象存储做单一事实源。本文按 RustFS 官方 vLLM 集成指南走通全链路，并补上生产要考虑的缓存策略、带宽账、前缀限权的 IAM 结构，以及 head_dim、/dev/shm 这些排障点和三步拆场。

2026-10-29 07:30:00 393

原创十分钟在自己机器上跑通一个 S3 兼容对象存储（RustFS + Docker）

本地联调、做 POC、给边缘小站垫存储底座，一条 docker run 就能把 RustFS 跑起来。本文走完从拉镜像到 aws-cli 建桶传文件的完整路径：环境变量怎么设、容器非 root 用户 10001 的挂载权限坑、health 探活与 S3 通路验证、命名卷与绑定挂载怎么选、compose 可观测栈和卷级冷备，以及证书命名、端口暴露这些边界事项。

2026-10-28 19:00:00 553

原创 K8s 都有了，对象存储还要再搭一套？RustFS 官方 Helm chart，一份 values 切单机与分布式

已有 Kubernetes 集群，对象存储不必再单独搭一套运维。RustFS 官方 Helm chart 一份 values 文件就能切单机与分布式：评估期 Deployment 先跑通，生产切 StatefulSet。本文走完装前检查、凭证校验三条路径、storageclass 与 Ingress 的默认值陷阱、探针分离、Service 命名与验证全流程，附 StatefulSet 扩盘限制和温和重建做法。

2026-10-28 08:00:00 300

原创你的网站备份只存一块盘？把 1Panel 的备份目标换成 RustFS

1Panel 的备份账号支持对接 S3 兼容存储，把备份目标从本地盘换成 RustFS。本文走通全链路：给备份一把只碰备份桶、删不掉的受限密钥，备份账号对接与计划任务配置，禁删除策略与保留份数的冲突怎么用生命周期规则化解，附高频坑排查清单。

2026-10-27 19:46:26 397

原创在 1Panel 应用商店部署 RustFS：安装、配置与验证步骤

RustFS 已上架 1Panel 应用商店，安装、升级、日志查看都能在面板里完成。本文走完整流程：商店安装弹窗的参数怎么填（含 rustfsadmin 默认用户名必须改掉的原因）、数据实际落在哪里、凭证修改与 HTTPS 反代配置、商店安装与 docker run 两条路径的差异，以及挂载权限、端口冲突这些常见卡点的排查。

2026-10-27 16:16:46 488

原创把 RustFS 当 Spark 的数据湖底座：S3A 连接器从官方 demo 接到生产集群

Spark 集群读写 RustFS 不用换存储，S3A 连接器六个配置接上就能用。本文从官方 demo 一路走到生产集群：--conf 传参、YARN/K8s 提交、专用 Access Key 与卡到前缀一级的 IAM 策略，再把桶当 Iceberg warehouse 接 S3 Tables catalog，附落地顺序和两处最常见的对接翻车点。

2026-10-27 12:00:00 715

原创训练实验的模型文件别散落各处：用 RustFS 当 MLflow 的 artifact store

一次训练跑几百轮，模型权重、指标图、中间产物散落在每台机器的本地盘，换机器就找不回上次的实验。MLflow 把 artifact（产物文件）落到对象存储就能解决这个问题。RustFS 是 100% 兼容 S3 的存储，官方集成目录（docs.rustfs.com/zh/developer/integration）的 AI 类目里 MLflow 有专门的指南，用 Docker Compose 以 …

2026-10-27 07:45:00 615

原创 GPU 在空转等数据？PyTorch 训练集进 RustFS 的三种接法

训练集放对象存储、训练节点按需拉取，GPU 不用空转等数据。本文给出 PyTorch/TensorFlow 接 RustFS 的三种接法：boto3 直读、fsspec 加 s3fs 挂进 DataLoader 做 rank 切分、预签名 URL 免密钥分发，并补上 checkpoint 落桶、大分片策略与依赖账，代码可直接抄。

2026-10-26 20:48:14 572

原创几十条 IAM policy 还在抄桶标签？用 OPA 给 RustFS 做集中授权

RustFS 的外部策略插件把桶标签送进了授权请求（#8298 起），OPA 这类策略引擎可以直接拿标签当授权条件。本文讲清 fail-closed 状态机的四个阶段、ExistingBucketTag 条件键怎么进 input.context，附一段可直接抄的 Rego 与启动配置，并说明它为什么是叠加层而非替换，以及标签治理和延迟这笔账该怎么算。

2026-10-26 18:59:13 459

原创 RustFS 集群磁盘 IO 莫名被打满？先摸清 scanner、heal 和 multipart 这三条线

RustFS 集群磁盘 IO 莫名被打满，先分清三条后台线：scanner 周期扫描、heal 自愈修复、multipart 不完整上传的清理。本文讲三条线各自什么时候吃 IO、怎么用日志和指标定位是哪条在作妖，以及把后台 IO 与前台读写错峰的配置思路。

2026-10-26 17:54:12 283

原创谁动了我的对象？用 RustFS 审计日志把每次请求送到 SIEM

对象存储默认只管存不管记，安全复盘常卡在没证据。RustFS 审计目标（Audit Targets）把集群每次请求与 API 活动投递到 SIEM、合规留存与取证系统，支持 webhook、Kafka 等九类目标。本文讲清它和事件通知的区别、webhook 怎么配，以及队列目录权限、去重、控制台边界等运维要点。

2026-10-25 12:00:00 712

原创误删、勒索、合规检查：RustFS 对象锁（WORM）护得住什么，护不住什么

归档数据怕误删、怕勒索，还要应付合规检查？RustFS 的对象锁（Object Lock / WORM）把「写入后不可改不可删」做进存储层：GOVERNANCE、COMPLIANCE、Legal Hold 三档保护，保留期内版本锁死。本文讲清三档怎么选、桶和对象怎么配、如何验证锁真的生效，也点明它挡不住的两类情况——写入全新恶意版本与宿主机级权限，以及复制、时区等运维边界。

2026-10-25 07:30:00 562

原创机器要下线，数据先线上搬家：RustFS 存储池退役实操

分布式存储跑几年，总有一批机器要退役：过保节点、小容量旧盘、机房合并。RustFS 存储池退役（pool decommission）把选定池的对象迁到剩余活跃池，搬空后才从拓扑摘除。本文讲清它和再均衡的区别、退役前三道硬门槛、Console 与 rc 两条操作路径、摘池收尾的拓扑顺序，以及 Completed 加失败计数归零的验收标准，另附扩容差异与 rc admin expand 别名的坑。

2026-10-24 19:00:00 604

原创代码仓库里的 RustFS 密钥，该永久有效吗？

写进 CI 变量的 access/secret key 只要没人动就一直有效，泄露后的可用窗口取决于有人何时发现并轮换。RustFS 内置 AWS 兼容的 STS 临时凭证：AssumeRole 用长期密钥换一小时临时票，服务账户给 CI 一把会过期的子钥匙，OIDC 场景走 AssumeRoleWithWebIdentity。本文讲清 Policy 内联会话策略怎么再收一层权限、sts:AssumeRole 的仅拒绝评估、targetUser 所需的 admin:CreateServiceAccount，

2026-10-24 12:00:00 541

S3-Compatible Object Storage Benchmark Report

空空如也