goofys和s3fs利用Minio，挂载到本地进行文件系统各个接口性能测试

最新推荐文章于 2025-06-17 10:40:45 发布

一个X号的QB

最新推荐文章于 2025-06-17 10:40:45 发布

阅读量6.1k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/xuqiaobo/article/details/78911795

本文介绍如何使用s3fs和goofys将远程对象存储桶挂载到本地文件系统的方法，包括配置步骤及性能测试工具的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

s3fs xqb-20171211 /opt/s3point -o passwd_file=./passwd -o url=http://162.3.111.182:9000/ -o use_path_request_style -o nonempty -o use_cache=/opt/s3fscache

挂载的方式，/opt/s3fscache作为缓存目录，/opt/s3point作为本地挂载目录，通过此目录可以访问http://162.3.111.182:9000/ 上面的 xqb-20171211桶里面的资源

s3fs中方法性能测试的工具是catfs，首先需要export SSHFS_SERVER=/opt/s3point

接着运行bench目录下的./run_bench.sh就好

goofys --debug_fuse -f --endpoint http://162.3.111.182:9000/ xqb-20171211 /opt/xqb-20171213/

上面是goofys文件系统，如何把远端桶挂载到本地的方法

./cat /opt/xqb-20171211 goofyscache expo

利用catfs给goofys添加磁盘缓存

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一个X号的QB

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

如何使用s3fs将minio存储挂载到本地磁盘？

网络技术联盟站

03-05

2485

在当今云计算和分布式存储的时代，MinIO和s3fs成为了广受欢迎的工具，用于构建高性能、可伸缩、易于管理的对象存储系统。MinIO是一个开源的对象存储服务器，兼容S3协议，提供了可水平扩展的分布式存储解决方案。s3fs则是一个将S3存储桶挂载到本地文件系统的工具，使得使用S3存储就像使用本地磁盘一样简便。为什么选择s3fs挂载MinIO存储而不是直接使用MinIO客户端或其他方式呢？s3fs提供了更加灵活的本地文件系统抽象，使得通过标准文件系统接口访问MinIO存储变得更加便捷。

存储架构：基于goofys 和minio，构建s3服务

GIS摆渡人

03-07

418

最近在研究 OLAP 系统中对于在 s3 存储上, 如何使用 POSIX 标准的文件系统的实现方式, 发现很多著名的开源项目都是用 fuse 这一用户态文件系统技术, 因此本文记录了 goofys + minio 使用 posix 标准的文件系统的实践过程.goofys 使用fuse用户空间文件系统实现, 可以将 S3 存储 bucket 挂载为文件系统, 使用go语言编写.

1 条评论您还未登录，请先登录后发表或查看评论

goofys挂载minio为本地目录

教Linux的李老师

05-28

305

本文介绍了使用goofys工具将minio存储桶挂载为本地目录的完整步骤。主要内容包括：1)下载安装goofys并配置执行权限；2)创建AWS认证凭证文件；3)执行存储桶挂载命令并验证结果；4)设置开机自动挂载；5)卸载存储桶的方法。文章还提供了常见问题解决方法，如安装必要依赖、查看日志和调试模式挂载。通过goofys可以方便地将对象存储挂载为本地文件系统，适合需要频繁访问云存储的场景。

s3fs---Bucket挂载

最新发布

admin_233的博客

06-17

425

Ubuntu部署步骤实现开机自动挂载 S3 存储尝试强制重新挂载如果你的非阿里云 OSS 存储支持 Amazon S3 API（例如 MinIO、华为云 OBS、腾讯云 COS），建议使用 s3fs 进行挂载。s3fs 默认不允许挂载到一个非空目录。

s3fs、goofys、juicefs对比

wade1010的专栏

02-10

2025

从运维的角度来说，关系型数据库大家都比较熟，开发人员都可以很轻松的上手，其次公司是有公司有 RDS For MySQL 产品，有专业的 DBA 团队来负责运维，所以最终是选择了MySQL 作为的元数据引擎。从数据量上来说，TiKV 无疑是最高的，但是我们的设计初衷是让每套 ES 集群独立一个元数据库实例，因此不同集群之间的元数据是不进行共享的，为了高可用彼此间需要互相隔离。元数据方面，s3fs 和 goofys 没有自己独立的元数据，所有的元数据都是依赖于s3的，JuiceFS 有自己的独立的元数据存储，

MinIO 集群稳定性容错性-测试记录(实验结果：可靠)

qq_28120987的博客

10-21

519

分布式文件系统测试记录系统环境 CentOS8硬盘: 系统分区和 4个硬盘分区每个100G/dev/sda4 挂载 /mnt/data1/dev/sda5 挂载 /mnt/data2/dev/sda6 挂载 /mnt/data3/dev/sda7 挂载 /mnt/data4注意: 不可将硬盘挂载位置对调,对调后无法识别,换回去后正常。

Linux 使用 S3fs 挂载 S3 存储桶（以 MinIO 为例）

凭心而动

07-26

6313

s3fs 是一个基于 FUSE（Filesystem in Userspace）的文件系统，它允许你将 Amazon S3 或其他兼容 S3 API 的对象存储服务挂载到本地文件系统中，从而能够像访问本地磁盘一样访问远程对象存储，像操作本地文件系统一样操作 S3 存储桶中的文件和目录。本篇文章以 MinIO 为例，讲解了如何使用 S3fs 挂载 S3 存储桶到 Linux 服务器。

对象存储Minio-测试

上官玺的博客

09-19

618

minio

分布式对象存储MINIO 测试总结

hi_bigbai的博客

09-09

4525

背景了解对象存储介绍对象存储，也叫做基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称作为对象。就像文件一样，对象包含数据，但是和文件不同的是，对象在一个层结构中不会再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里，一个对象不会属于另一个对象的下一级。文件和对象都有与它们所包含的数据相关的元数据，但是对象是以扩展元数据为特征的。每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象，而不必知道数据的物理地址。这种方法对于在云计

文件系统：通过s3fs-fuse挂载minio到本地

GIS摆渡人

04-03

1250

## 一、编译s3fs - 安装编译工具 ``` yum -y install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel ``` - 下载s3fs源码 ``` git clone https://github.com/s3fs-fuse/s3fs-fuse.git ``` - 编译安装 ``` cd /s3fs-fuse ./autog

minio - java 最佳性能分片上传、断点续传示例

09-08

示例是纯净的，后端程序仅引用了需要的jar包；后端程序启动时，请确保配置文件里的信息是跟你minio服务信息一致的；前端程序启动时，请阅读一下“composeFile”函数里的注释前后端程序都启动完成，直接上传一个文件即可测试

docker-goofys:Goofys确实在本地FS和AWS S3之间进行挂载（类似于s3fs所做的事情）

05-01

＃docker-goofys 只是和高飞混在一起。 docker run -it --cap-add mknod --cap-add sys_admin --device=/dev/fuse goofys /bin/bash

【Linux】使用 s3fs 挂载 MinIO 桶

qq_40205510的博客

05-28

1581

Linux使用s3fs挂载Minio

minio+s3fs

OC_Dot_Ti的博客

01-18

2735

写在全文前：文中大部分操作都是测试过的，小部分因为作者太激动，第一次实现的时候很狼狈，所以没有记录，其中对于文件夹权限管理没有做，希望有有心人能稍作提醒。不足之处请多海涵。 5711(server)使用报告 htop(服务器用量的, useless) sudo yum install htop nginx(need to be uninstalled) sudo ap

文件系统：通过s3fs-fuse挂载minio的部署及应用实践

GIS摆渡人

04-03

760

minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情。参考：https://blog.51cto.com/rongfengliang/3124675。注意这个文件的权限，（目前我测试600 是没有问题的,实际参考操作提示解决）注意需要配置.passwd-s3fs 文件，同时添加参数。设置 .passwd-s3fs 文件权限 600。minio docker-compose 文件。配置.passwd-s3fs。webhook 功能。

minio技术选型与部署测试

submarineas的博客

01-17

6248

引言 MinIO号称是目前速度最快的对象存储服务器。在标准硬件上，对象存储的读/写速度最高可以高达183 GB/s和171 GB/s。对象存储可以作为主存储层，用来处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。即为机器学习、分析和应用程序数据工作负载构建高性能基础架构。技术选型（为什么选择minio）本节想探讨的是我为什么会选择minio，或者往更大一点的方向上讲，为什么要使用对象存储，根据我查到的资料以及个人理解，下面做一

分布式文件系统及Minio配置及测试

Java_Zzm的博客

10-22

1649

分布式文件系统以及Minio配置及测试

streamsets 集成 minio s3测试

weixin_34355715的博客

08-23

513

具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务搭建具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate 集成使用）测试的csv 文件从https://ww...

已有minio bucket，使用Kubernetes pvc挂载minio bucket

02-21

<think>嗯，用户想要把已有的MinIO bucket通过Kubernetes的PVC挂载，这应该是想在容器里访问MinIO的对象存储吧。首先，我得回忆一下Kubernetes中如何挂载存储卷。常规的PVC通常是和PV绑定的，而PV可能关联到各种存储类，比如本地存储、云存储等。但MinIO是S3兼容的对象存储，标准的PVC可能不太适用，因为对象存储和块存储或文件系统不同，不能直接挂载为文件系统。那用户可能需要用一些支持S3的CSI驱动。记得有项目像s3fs-fuse或者Goofys，可以把S3 bucket挂载成文件系统。不过这些需要对应的Kubernetes CSI驱动。比如，有一个叫做csi-s3的开源项目，或者MinIO自己的Operator可能有相关支持？接下来，可能需要先确认用户的环境是否已经安装了这些CSI驱动。如果没有，用户需要先部署。比如，使用csi-s3的话，需要部署它的DaemonSet和控制器。然后创建存储类，指定endpoint、access key、secret key等信息。然后创建PVC的时候，引用这个存储类。这时候，PV会自动创建，并挂载到Pod里。不过需要注意的是，对象存储的挂载可能会有一些限制，比如文件操作的原子性、性能问题，或者对元数据的支持不完全。比如，s3fs虽然能挂载，但可能不适合高并发的读写场景。另外，MinIO本身有没有提供动态供应PV的方式？可能需要查阅MinIO的文档，或者他们的Kubernetes Operator是否有相关功能。Operator可能更方便管理，但用户如果只是简单挂载，可能更倾向于使用现有的CSI驱动。还有，用户的MinIO bucket是否已经存在，是否需要动态创建。如果使用静态PV配置的话，用户需要手动创建PV，指向已有的bucket。这时候需要配置PV的spec中的参数，比如endpoint、bucket名称、访问密钥等。步骤大概是这样的：安装CSI驱动，创建Secret保存MinIO的访问凭证，创建StorageClass或者PV/PVC，然后Pod中引用PVC。需要确保用户的Kubernetes集群有权限访问MinIO的服务，网络连通，比如endpoint是否正确，是否需要TLS等。可能用户遇到的问题包括CSI驱动的兼容性，Kubernetes版本问题，或者挂载后的性能问题。需要提醒用户注意这些潜在的问题，比如使用s3fs时的性能考虑，或者是否需要调整缓存参数等。总结步骤的话，应该是：1. 部署CSI驱动；2. 创建Secret；3. 创建StorageClass（如果需要动态供应）或PV/PVC；4. 在Pod中挂载PVC。同时，可能需要验证挂载后的读写是否正常，以及处理可能的权限或网络问题。</think>在 Kubernetes 中挂载已有的 MinIO Bucket 到 Pod，可以通过 **S3 兼容的 CSI 驱动**（如 `csi-s3` 或 `s3fs-fuse`）实现。以下是具体步骤： -- ### 一、准备工作 1. **MinIO 信息** - Endpoint URL（如 `http://minio.example.com:9000`） - Bucket 名称（如 `my-bucket`） - Access Key 和 Secret Key 2. **选择 CSI 驱动** 推荐使用开源项目 [`csi-s3`](https://github.com/ctrox/csi-s3) 或 [`s3fs`](https://github.com/s3fs-fuse/s3fs-fuse)，本文以 `csi-s3` 为例。 --- ### 二、部署 CSI 驱动 1. **安装 CSI 驱动** 使用 Helm 或直接部署 YAML 文件： ```bash git clone https://github.com/ctrox/csi-s3.git cd csi-s3 kubectl apply -f deploy/kubernetes/csi-s3.yaml ``` --- ### 三、创建 Secret 存储 MinIO 凭证 ```yaml # minio-secret.yaml apiVersion: v1 kind: Secret metadata: name: minio-s3-credentials type: Opaque stringData: accessKeyID: "YOUR_MINIO_ACCESS_KEY" # 替换为你的 Access Key secretAccessKey: "YOUR_MINIO_SECRET_KEY" # 替换为你的 Secret Key ``` 应用配置： ```bash kubectl apply -f minio-secret.yaml ``` --- ### 四、创建 StorageClass ```yaml # minio-storageclass.yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: minio-s3-storage provisioner: ch.ctrox.s3.csi reclaimPolicy: Retain # 删除 PVC 时保留 Bucket 数据 parameters: mounter: rclone # 可选 "rclone" 或 "goofys" csi.storage.k8s.io/node-publish-secret-name: minio-s3-credentials csi.storage.k8s.io/node-publish-secret-namespace: default csi.storage.k8s.io/provisioner-secret-name: minio-s3-credentials csi.storage.k8s.io/provisioner-secret-namespace: default endpoint: "http://minio.example.com:9000" # MinIO 地址 region: "us-east-1" # 默认 region bucket: "my-bucket" # Bucket 名称 ``` 应用配置： ```bash kubectl apply -f minio-storageclass.yaml ``` -- ### 五、创建 PVC ```yaml # minio-pvc.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: minio-s3-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi # 此值对 S3 无实际意义，仅占位符 storageClassName: minio-s3-storage ``` 应用配置： ```bash kubectl apply -f minio-pvc.yaml ``` --- ### 六、挂载到 Pod ```yaml # app-pod.yaml apiVersion: v1 kind: Pod metadata: name: s3-app spec: containers: - name: app image: nginx volumeMounts: - name: minio-s3-volume mountPath: /mnt/s3 volumes: - name: minio-s3-volume persistentVolumeClaim: claimName: minio-s3-pvc ``` -- ### 七、验证 1. 进入 Pod 检查挂载点： ```bash kubectl exec -it s3-app -- ls /mnt/s3 ``` 2. 读写文件测试： ```bash kubectl exec -it s3-app -- touch /mnt/s3/test.txt ``` --- ### 注意事项 1. **性能与兼容性** - S3 是对象存储，频繁小文件操作性能较差，适合大文件或低频访问场景。 - 某些文件操作（如原子写入、权限控制）可能受限。 2. **网络与安全** - 确保 Kubernetes 节点能访问 MinIO Endpoint。 - 启用 HTTPS 时需在 `endpoint` 配置 `https://` 并处理证书信任。 3. **动态 vs 静态配置** - 上述方法支持动态挂载，若需固定 Bucket 也可手动创建 PV。 --- 通过以上步骤，即可将 MinIO Bucket 挂载为 Kubernetes PVC，并在 Pod 中像本地文件系统一样使用。