<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[分布式存储与RustFS的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/rustfs_contrib</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; rustfs_contrib]]></copyright><item><title><![CDATA[Hudi 表想摆脱 HDFS 绑定？用 Spark + Hudi 直接写进 RustFS]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/170195607</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/170195607</guid><author>rustfs_contrib</author><pubDate>Fri, 06 Nov 2026 20:52:34 +0800</pubDate><description><![CDATA[Spark + Hudi 表想甩开 HDFS？s3a 直写 RustFS，0.15.0 bundle 实测写读通。]]></description><category></category></item><item><title><![CDATA[Gitea 的 LFS 和附件别堆本地盘：用 RustFS 当它的 S3 后端]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169649340</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169649340</guid><author>rustfs_contrib</author><pubDate>Fri, 06 Nov 2026 08:00:00 +0800</pubDate><description><![CDATA[自建 Gitea 跑久了，Git LFS 大文件、issue 附件、头像、仓库归档、软件包和 Actions 制品会越堆越占本地盘，单机磁盘满了就得停机迁。Gitea 内置的 minio 存储类型能把这批大对象路由到任意 S3 兼容后端，RustFS 正好接上，Git 仓库本体仍留本地，大文件全进桶。]]></description><category></category></item><item><title><![CDATA[给 RustFS 桶加一层内存缓存：用 Alluxio 让热数据少跑一遍网络]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169744405</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169744405</guid><author>rustfs_contrib</author><pubDate>Thu, 05 Nov 2026 19:00:00 +0800</pubDate><description><![CDATA[一批训练集、特征表、模型文件反复被拉取，每次都从 RustFS 桶走一遍网络，带宽账单和延迟都扛不住。Alluxio 在客户端和 RustFS 之间架一层分布式内存缓存：读过的对象块留在 worker 内存盘里，重复读取直接命中，回源次数肉眼可见地降下来。]]></description><category></category></item><item><title><![CDATA[Airflow 的中间文件别散落各节点：让 DAG 直接读写 RustFS]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169744418</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169744418</guid><author>rustfs_contrib</author><pubDate>Thu, 05 Nov 2026 08:00:00 +0800</pubDate><description><![CDATA[数据流水线的中间结果往哪放，是个容易被忽略、出事才知道疼的问题。直接写本地盘，任务被调度到别的节点就找不到文件；挂共享 NFS，又多一层要维护的高可用。Airflow 自带的 Amazon S3 provider 其实就是个标准 S3 客户端，只要把连接的 endpoint_url 从 AWS 指到 RustFS，DAG 里的读写就全落到对象存储上了。这篇顺着官方集成指南，用 Apache Ai…]]></description><category></category></item><item><title><![CDATA[向量库的存储别绑死一块盘：用 RustFS 给 Milvus 当 S3 对象底座]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169946312</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169946312</guid><author>rustfs_contrib</author><pubDate>Wed, 04 Nov 2026 19:15:00 +0800</pubDate><description><![CDATA[Milvus 跑起来，向量、索引和一堆相关对象默认写在它自己的本地卷里。单机验证很顺，可一旦向量量上来，本地盘的容量、IO 和单点就成了绕不开的墙。更麻烦的是，向量库的数据量和查询负载往往不是线性增长，一次模型切换就可能让向量规模翻几倍。Milvus 支持把兼容 S3 的对象存储当持久层，向量数据和索引直接落进 RustFS 桶，Milvus 节点本身只留运行时数据和缓存。把存储下沉到对象存储，…]]></description><category></category></item><item><title><![CDATA[Longhorn 的卷备份别堆本地盘：用 RustFS 给它当 S3 备份目标]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169946338</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169946338</guid><author>rustfs_contrib</author><pubDate>Wed, 04 Nov 2026 14:34:28 +0800</pubDate><description><![CDATA[Kubernetes 上的有状态应用，数据大多躺在 Longhorn 的副本盘里。副本解决了单盘损坏，但解决不了误删卷、集群整体出问题、或者你想把备份挪到另一个机房这些事。Longhorn 自带一套备份机制，把卷快照成内容寻址的块丢进一个 S3 目标。把这个目标指向 RustFS，备份就不再是某几块本地盘的私产，而是能跨节点、跨集群读回的对象。副本保证的是高可用，备份保证的是可恢复，这是两件事，…]]></description><category></category></item><item><title><![CDATA[K8s 集群备份落到自建对象存储：Velero 接 RustFS 配置指南]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169848796</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169848796</guid><author>rustfs_contrib</author><pubDate>Tue, 03 Nov 2026 19:45:00 +0800</pubDate><description><![CDATA[etcd 快照救不了 PV 数据，K8s 生态里做应用级备份的标准工具是 Velero。本文把备份后端接到自建 RustFS：建桶、velero install 逐参数拆解、第一个备份到删 namespace 的恢复演练走一遍。s3ForcePathStyle 不设会让备份能上传却下载不了、FSB 的 beta 定性与限制、静态公共密钥的桶策略要求、桶上别叠 lifecycle 与版本控制，配置逐条对 Velero v1.18 官方文档核实，坑位与边界照实列。]]></description><category></category></item><item><title><![CDATA[JuiceFS 接 RustFS 当数据后端：把对象存储挂成本地文件系统]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169837930</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169837930</guid><author>rustfs_contrib</author><pubDate>Tue, 03 Nov 2026 08:00:00 +0800</pubDate><description><![CDATA[两台机器要共享一个按 TB 增长的目录，本地盘扩不动、NAS 怕闲置、对象存储只有 GET/PUT。本文用 JuiceFS 补上中间那层：数据后端接自建 RustFS，元数据放 Redis，从建桶、format 到双机共享挂载走一遍。块对象、AOF fsync 策略、df 显示的 1.0P 估值、校验的两层分工、--shards 限制与元数据自动备份，配置逐条对官方文档与源码核实，坑位与边界照实列。]]></description><category></category></item><item><title><![CDATA[可观测性数据落进对象存储：Proscia 案例拆解与 ClickHouse 自托管配置]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169748514</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169748514</guid><author>rustfs_contrib</author><pubDate>Mon, 02 Nov 2026 19:45:00 +0800</pubDate><description><![CDATA[SaaS 可观测性平台按 TB 计费，多数团队的日志指标只敢留 15 天。AWS 存储博客的 Proscia 案例给出参照：自建后保留改无限期、月记录量涨 13 倍，存储成本从 500 美元/TB 降到 5 美元。本文拆出其中两个不绑定云的设计——ClickHouse S3 disk 冷分层与 clickhouse-backup 备份，落到自建 RustFS 对象存储，配置块逐键对官方文档与源码核实，并诚实列出个案数字的边界。]]></description><category></category></item><item><title><![CDATA[Kafka 分层存储落地指南：冷 Segment 自动落到 RustFS 对象存储]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169747774</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169747774</guid><author>rustfs_contrib</author><pubDate>Mon, 02 Nov 2026 12:00:00 +0800</pubDate><description><![CDATA[Kafka 分层存储（KIP-405）3.9 起生产可用，但 Apache Kafka 不带任何存储后端实现，落地要自己装 RemoteStorageManager 插件。本文用 Aiven 开源 RSM 插件把远程层接到自建的 RustFS（S3 兼容）：两套 retention 的回落陷阱、broker 全量配置（含单集群 min.isr 坑）、验证三步、KIP-950 退出路径与官方限制清单，命令全部对官方文档逐字核实。]]></description><category></category></item><item><title><![CDATA[一条 AI 管线靠 S3 Tables 省了 40% 基础设施成本，自建侧把这三笔账算明白]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169448405</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169448405</guid><author>rustfs_contrib</author><pubDate>Sun, 01 Nov 2026 19:00:00 +0800</pubDate><description><![CDATA[Seltz 换 Amazon S3 Tables 省了 40% 基础设施成本，自建侧省的到底是什么？在 RustFS 1.0.4 上用 PyIceberg 实测 100 万行小批写入，把三笔账算明白：小文件税收两层，快照债会拖慢维护本身，报告说删了桶里一个没少。附复现步骤与四条维护经验，数字全部一手实测可溯源。]]></description><category></category></item><item><title><![CDATA[PB 级冷数据降本 70%：AWS 这套证据驱动的生命周期方法，自建侧怎么抄]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169745156</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169745156</guid><author>rustfs_contrib</author><pubDate>Sun, 01 Nov 2026 17:12:00 +0800</pubDate><description><![CDATA[AWS 官方博客公布一套证据驱动的生命周期降本方法：5.8 PB 日志月账单 24 万美元，砍掉 70% 还保毫秒级访问。本文拆解 Storage Lens 定位、Storage Class Analysis 取证、128 KB 阈值、45 天观察窗与防扫描护栏，并给出 RustFS lifecycle 加 tiering 的同构落地：tier 注册、合并规则、restore 拉回、高危坑与观测侧补法，命令全部可溯源。]]></description><category></category></item><item><title><![CDATA[Flink 的 checkpoint 和结果集还在落本地盘？用自带 S3 插件接进 RustFS]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169366960</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169366960</guid><author>rustfs_contrib</author><pubDate>Sat, 31 Oct 2026 12:15:00 +0800</pubDate><description><![CDATA[Flink 跑批作业，结果集默认写本地或 HDFS；checkpoint 也常落在本地盘。集群一换节点，或者想让别的系统直接读这批结果，本地路径就成了阻碍。Apache Flink 通过自带的 S3 文件系统插件，能把 s3:// 直接注册成连接器协议，背后指向一个 S3 兼容桶，比如 RustFS。配置对一次，批作业的结果集和流式作业的 checkpoint 都能落到共享存储。]]></description><category></category></item><item><title><![CDATA[Ray Data 写出的数据集还在各节点本地盘？直接落进 RustFS 桶]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169361577</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169361577</guid><author>rustfs_contrib</author><pubDate>Sat, 31 Oct 2026 07:45:00 +0800</pubDate><description><![CDATA[Ray Data 把数据集写成 Parquet 落本地盘，集群一扩容，同一份训练数据就散在十几台机器上。想在别的任务里复用这批数据，得先想清楚它到底在哪台节点的哪个目录；想回放上周的一次预处理结果，更要逐台去找。把 Ray Data 的读写直接指向一个共享的 S3 兼容桶，比如 RustFS，数据只存一份，所有 Ray 作业都从同一个端点取，这个分散问题就解决了。]]></description><category></category></item><item><title><![CDATA[数据湖想回滚到上周的版本？用 lakeFS 给 RustFS 桶加 Git 式版本管理]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169361598</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169361598</guid><author>rustfs_contrib</author><pubDate>Fri, 30 Oct 2026 19:30:00 +0800</pubDate><description><![CDATA[数据湖里的对象一旦被覆盖或误删，想回到上周那份干净状态，往往只能从备份里捞，还未必对得上。lakeFS 在对象存储之上加了一层 Git 式版本管理：分支、提交、回滚，对象本身仍存在底层存储里。把 RustFS 当成 lakeFS 的 S3 blockstore，等于给桶里那份数据湖直接装上版本能力，提交即版本，回滚就是切分支。]]></description><category></category></item><item><title><![CDATA[单盘扛不住了？多节点部署 RustFS，把几台机器的磁盘并成一个纠删码存储池]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168656388</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168656388</guid><author>rustfs_contrib</author><pubDate>Fri, 30 Oct 2026 12:00:00 +0800</pubDate><description><![CDATA[单机磁盘扛不住就上分布式：RustFS 用一条 RUSTFS_VOLUMES 把最多 16 块盘（4 节点 x 4 盘）并成纠删码存储池，host 网络加 /etc/hosts 对齐即可，不用额外协调服务。]]></description><category></category></item><item><title><![CDATA[CI 老被 Docker Hub 的 429 卡住，自建 Registry 把镜像搬进内网]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168554672</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168554672</guid><author>rustfs_contrib</author><pubDate>Fri, 30 Oct 2026 07:30:00 +0800</pubDate><description><![CDATA[Docker Hub 匿名每 6 小时 100 次、免费账号 200 次的拉取限流按出口 IP 计，CI 一多整批卡住。用官方 Distribution 自建 Registry、存储后端接 RustFS，推拉全走内网，配额由自己的磁盘说了算；含 config.yml 逐键讲解、GC 只读模式与常见误删坑。Docker 镜像自建的完整路径。]]></description><category></category></item><item><title><![CDATA[文件不想放公有云？十行 Python 代码，boto3 对接 RustFS 当自己的 S3]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168554698</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168554698</guid><author>rustfs_contrib</author><pubDate>Thu, 29 Oct 2026 19:00:00 +0800</pubDate><description><![CDATA[文件不想放公有云？boto3 的 endpoint_url 一改，AWS S3 代码原样指向自建 RustFS。十行完成上传，预签名 URL 限时分享，末尾附七类常见报错的排查表。Python 对接 S3 兼容存储的最短路径。]]></description><category></category></item><item><title><![CDATA[桶开了 SSE-C 或 SSE-KMS，服务端拷贝时密钥到底走哪条路？]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168446933</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/168446933</guid><author>rustfs_contrib</author><pubDate>Thu, 29 Oct 2026 12:00:00 +0800</pubDate><description><![CDATA[桶开了服务端加密后，CopyObject 和站点复制时密钥怎么走：SSE-C 三个客户密钥头必须随拷贝走，换密钥重加密要源目标各指定各的，桶名 context 写入直接 400 拒绝；RustFS 1.0.2 修掉加密单段对象复制卡 FAILED 的坑。逐条有 PR 和官方文档背书。]]></description><category></category></item><item><title><![CDATA[模型权重散落在每台 GPU？用 RustFS 给 vLLM 做共享权重库]]></title><link>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169264677</link><guid>https://blog.youkuaiyun.com/rustfs_contrib/article/details/169264677</guid><author>rustfs_contrib</author><pubDate>Thu, 29 Oct 2026 07:30:00 +0800</pubDate><description><![CDATA[多卡推理集群的权重散落各节点，版本漂移、空间浪费、扩容等下载，三件事都指向同一个解法：权重收进对象存储做单一事实源。本文按 RustFS 官方 vLLM 集成指南走通全链路，并补上生产要考虑的缓存策略、带宽账、前缀限权的 IAM 结构，以及 head_dim、/dev/shm 这些排障点和三步拆场。]]></description><category></category></item></channel></rss>