如何将minio中的数据转存到S3存储

最新推荐文章于 2025-05-16 14:18:18 发布

涛哥碎碎念

最新推荐文章于 2025-05-16 14:18:18 发布

阅读量955

点赞数 8

CC 4.0 BY-SA版权

分类专栏：工作实战内容文章标签： minio s3 数据迁移

本文链接：https://blog.youkuaiyun.com/ltcz99/article/details/145184274

写作背景

在日常运维和开发中，可能会遇到这样一种情况：我们需要将 MinIO 中的数据迁移到 Amazon S3 中。这种需求可能是为了切换存储服务，或者是为了备份和归档。本篇文章会结合几种常见的方法，带你一步步完成数据迁移。

方法一：使用 MinIO 官方提供的 `mc` 工具

MinIO 提供了一个强大的命令行工具 mc，它不仅可以管理 MinIO，还支持与 S3 兼容的存储系统交互。借助它，我们可以轻松完成数据同步。

具体操作步骤

安装 mc 工具首先，我们需要在机器上安装 MinIO 的命令行工具 mc。

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
sudo mv mc /usr/local/bin/

配置 MinIO 和 S3 的别名 安装完成后，需要为 MinIO 和 S3 配置别名，这样工具才能识别源和目标存储。

mc alias set minio http://<minio-server>:<port> <access-key> <secret-key>
mc alias set s3 https://s3.<region>.amazonaws.com <access-key> <secret-key>

执行数据同步 使用 mc mirror 命令将 MinIO 的数据同步到 S3。
```
mc mirror mi
```

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

涛哥碎碎念

关注关注

8
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Docker部署Minio S3第三方存储

IT小辉同学

05-20

2231

你不要着急，你先去读你的书，我去看我的电影，总有一天，我们会窝在一起，读同一本书，看同一部电影。

Linux 使用 S3fs 挂载 S3 存储桶（以 MinIO 为例）

凭心而动

07-26

6322

s3fs 是一个基于 FUSE（Filesystem in Userspace）的文件系统，它允许你将 Amazon S3 或其他兼容 S3 API 的对象存储服务挂载到本地文件系统中，从而能够像访问本地磁盘一样访问远程对象存储，像操作本地文件系统一样操作 S3 存储桶中的文件和目录。本篇文章以 MinIO 为例，讲解了如何使用 S3fs 挂载 S3 存储桶到 Linux 服务器。

参与评论您还未登录，请先登录后发表或查看评论

rclone 命令大全

最新发布

woshihlf的博客

05-16

1228

例如 Amazon S3、MinIO，将数据作为“对象”（Object）存储，每个对象包含数据、元数据和唯一标识符（如 URI），适合海量非结构化数据（图片、视频、日志等）。Amazon S3（Simple Storage Service）是 AWS 在 2006 年推出的首个公有云对象存储服务，定义了行业标准的对象存储 API。MinIO 是 2014 年发布的开源对象存储系统，完全兼容 Amazon S3 API，专为云原生环境（如 Kubernetes）设计，强调轻量化和高性能。

Minio数据迁移（mc命令）

m0_71578648的博客

02-06

1万+

mc（MinIO Client）是一个强大的命令行工具，用于管理MinIO和其他兼容的对象存储服务（如Amazon S3）。你可以使用mc来执行各种操作，如创建和删除存储桶，上传、下载和删除对象，配置策略等。更多命令请看官网文档详解MinIO客户端 — MinIO中文文档 | MinIO Linux中文文档。

Minio服务器文件迁移指南：高效、安全的云存储迁移方案

gitblog_06500的博客

10-31

380

Minio服务器文件迁移指南：高效、安全的云存储迁移方案【下载地址】Minio服务器文件迁移指南分享 Minio服务器文件迁移指南本资源文件提供了关于如何迁移Minio服务器文件的详细指南项目地址: https://gitco...

MinIO（对象存储：图片、文件）的安装和Springboot整合

LC的博客

12-16

1345

官网：https://www.minio.org.cn/Minilo是一款开源的、轻量级的、分布式的云存储服务。和其他云服务不同的事，它更加适合部署在自己的服务器上。Minilo支持海量的数据存储，让用户可以轻松存储、管理和访问自己的数据。使用完全免费的开源GNU AGPL v3的许可优点1.轻量级：MiniIo基于Golang开发，部署简单，需要的系统资源较少。2.分布式：MiniIo可以分布式部署，可以通过集群的方式提高可靠性和性能。

Exness：利用 MinIO 管理 PB 级交易数据

MinIO

12-20

404

在最近与 Exness DBA 团队负责人 Dmitry Alexandrov 的对话中，我们探讨了 MinIO 如何使 Exness 能够处理海量数据并提供闪电般的交易体验。Exness 是在线交易的全球领导者，以其透明度、技术创新和以客户为中心的方法而闻名。其交易平台生成和处理 PB 级数据，需要尖端的基础设施来确保无缝运营。Dmitry 分享了对 Exness 的数据挑战、其使用 MinIO 从云迁移到本地基础设施的决定，以及 MinIO 如何成为其 AI/ML 工作负载、灾难恢复等的核心的见解。

MinIO【部署 01】MinIO安装及SpringBoot集成简单测试_minio arm架构安装

2401_85599444的博客

06-24

487

【代码】MinIO【部署 01】MinIO安装及SpringBoot集成简单测试_minio arm架构安装。

MInIO图片服务器

weixin_43971312的博客

10-25

4481

MInIO 1 基础 1.1 简介 MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。 1.2 纠删玛 Minio使用纠删码erasure code和校验和check

使用 Minio Client 访问滴滴云 S3 对象存储

java060515的专栏

12-13

2815

如何申请滴滴云 S3 的 Bucket？先注册**滴滴云账号**，进入：https://app.didiyun.com/#/s3/add 申请 Bucket，如下图：填写名称和设置访问权限，点立即创建即可。如何申请 AK 和 SK？操作步骤：点击“API”按钮。选择“对象存储密钥”。点击“创建 API 密钥”。即可得到的 SecretID 和 SecretKey 值. 如何...

minio程序-文件系统转换为S3

05-05

minio程序及使用方式，支持linux下程序运行，将文件系统转为s3

探索MinIO Java SDK：构建Amazon S3兼容的云存储应用

gitblog_00082的博客

08-08

415

探索MinIO Java SDK：构建Amazon S3兼容的云存储应用 MinIO Java SDK是一个专为亚马逊S3兼容对象存储服务设计的简单存储服务（S3）客户端。这个强大的工具集使得开发者能够轻松执行各种桶和对象操作，无论是对Amazon S3本身还是其他兼容的服务。项目简介 MinIO Java SDK提供了一个全面的API接口列表，并附有详细的示例代码，所有这些都在其Java Cl...

SpringBoot接入Minio，含MinioClient与S3Client

qq_37724144的博客

05-22

2010

Minio 是一种对象存储解决方案，它提供与 Amazon Web Services S3 兼容的 API，并支持所有核心 S3 功能。 Minio 旨在部署在任何地方 - 公共云或私有云、裸机基础设施、编排环境和边缘基础设施。因此本文中提供了S3Client与MinioClient两种实现方式启动程序访问网站 http://127.0.0.1:9001Access Keys ----> Create Access KeyYA7LgtMcxbEhewB0KdgkTyrFMkgwMOxo3qEnC6B3

手把手S3教程：利用minio搭建云存储与ArcGIS联动发布二三维服务

xinyu的记录博客

12-11

1446

minio搭建云存储与ArcGIS联动发布二三维服务

Minio版本升级（数据迁移）

weixin_41002386的博客

07-19

2469

配置你的新Minio地址和旧Minio地址，尽量不要用外网地址，避免产生高额流量费，如果你是阿里云或者腾讯云，也有可能会因为高访问量而被封IP。根据具体的linux服务器进行选择，一般linux服务器选择红色软件包即可。#迁移 bucket1是你Minio的桶名。

《企业实战分享 · 对象存储服务OSS、S3、MinIO》

山人行

07-03

1912

对象存储服务（Object Storage Service, OSS），是一种云存储解决方案，专门用于存储和管理大量的非结构化数据，如图片、视频、日志文件等。在企业实战开发中运用范围较为广泛，当数据存储的需求量较大时，可以用来替换传统的FTP技术方案，此时，使用OSS更为合适。本篇文章介绍一下Java如何操作常用的对象存储服务，包含阿里云OSS、亚马逊S3，Minio。

部署 minio 兼容aws S3模式

wangbinaaa的博客

08-29

9764

准备minio 1.下载minio二进制可执行文件（linux版），我已上传此文件到csdn 2.wget官网给的下载连接大约2k/s，等候时间开始部署 1.上传到待部署的服务器并给权限 chmod 755 minio 2.准备一个存储文件夹，我新建的/s3 mkdir /S3 3.尝试直接执行minio，保存到/s3路径 ./minio server /S3 会看到显示的信息，minio已启动...

群晖docker minio+思源笔记 S3 安装使用

weixin_41843457的博客

08-21

2598

‍。

已有minio bucket，使用Kubernetes pvc挂载minio bucket

02-21

<think>嗯，用户想要把已有的MinIO bucket通过Kubernetes的PVC挂载，这应该是想在容器里访问MinIO的对象存储吧。首先，我得回忆一下Kubernetes中如何挂载存储卷。常规的PVC通常是和PV绑定的，而PV可能关联到各种存储类，比如本地存储、云存储等。但MinIO是S3兼容的对象存储，标准的PVC可能不太适用，因为对象存储和块存储或文件系统不同，不能直接挂载为文件系统。那用户可能需要用一些支持S3的CSI驱动。记得有项目像s3fs-fuse或者Goofys，可以把S3 bucket挂载成文件系统。不过这些需要对应的Kubernetes CSI驱动。比如，有一个叫做csi-s3的开源项目，或者MinIO自己的Operator可能有相关支持？接下来，可能需要先确认用户的环境是否已经安装了这些CSI驱动。如果没有，用户需要先部署。比如，使用csi-s3的话，需要部署它的DaemonSet和控制器。然后创建存储类，指定endpoint、access key、secret key等信息。然后创建PVC的时候，引用这个存储类。这时候，PV会自动创建，并挂载到Pod里。不过需要注意的是，对象存储的挂载可能会有一些限制，比如文件操作的原子性、性能问题，或者对元数据的支持不完全。比如，s3fs虽然能挂载，但可能不适合高并发的读写场景。另外，MinIO本身有没有提供动态供应PV的方式？可能需要查阅MinIO的文档，或者他们的Kubernetes Operator是否有相关功能。Operator可能更方便管理，但用户如果只是简单挂载，可能更倾向于使用现有的CSI驱动。还有，用户的MinIO bucket是否已经存在，是否需要动态创建。如果使用静态PV配置的话，用户需要手动创建PV，指向已有的bucket。这时候需要配置PV的spec中的参数，比如endpoint、bucket名称、访问密钥等。步骤大概是这样的：安装CSI驱动，创建Secret保存MinIO的访问凭证，创建StorageClass或者PV/PVC，然后Pod中引用PVC。需要确保用户的Kubernetes集群有权限访问MinIO的服务，网络连通，比如endpoint是否正确，是否需要TLS等。可能用户遇到的问题包括CSI驱动的兼容性，Kubernetes版本问题，或者挂载后的性能问题。需要提醒用户注意这些潜在的问题，比如使用s3fs时的性能考虑，或者是否需要调整缓存参数等。总结步骤的话，应该是：1. 部署CSI驱动；2. 创建Secret；3. 创建StorageClass（如果需要动态供应）或PV/PVC；4. 在Pod中挂载PVC。同时，可能需要验证挂载后的读写是否正常，以及处理可能的权限或网络问题。</think>在 Kubernetes 中挂载已有的 MinIO Bucket 到 Pod，可以通过 **S3 兼容的 CSI 驱动**（如 `csi-s3` 或 `s3fs-fuse`）实现。以下是具体步骤： -- ### 一、准备工作 1. **MinIO 信息** - Endpoint URL（如 `http://minio.example.com:9000`） - Bucket 名称（如 `my-bucket`） - Access Key 和 Secret Key 2. **选择 CSI 驱动** 推荐使用开源项目 [`csi-s3`](https://github.com/ctrox/csi-s3) 或 [`s3fs`](https://github.com/s3fs-fuse/s3fs-fuse)，本文以 `csi-s3` 为例。 --- ### 二、部署 CSI 驱动 1. **安装 CSI 驱动** 使用 Helm 或直接部署 YAML 文件： ```bash git clone https://github.com/ctrox/csi-s3.git cd csi-s3 kubectl apply -f deploy/kubernetes/csi-s3.yaml ``` --- ### 三、创建 Secret 存储 MinIO 凭证 ```yaml # minio-secret.yaml apiVersion: v1 kind: Secret metadata: name: minio-s3-credentials type: Opaque stringData: accessKeyID: "YOUR_MINIO_ACCESS_KEY" # 替换为你的 Access Key secretAccessKey: "YOUR_MINIO_SECRET_KEY" # 替换为你的 Secret Key ``` 应用配置： ```bash kubectl apply -f minio-secret.yaml ``` --- ### 四、创建 StorageClass ```yaml # minio-storageclass.yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: minio-s3-storage provisioner: ch.ctrox.s3.csi reclaimPolicy: Retain # 删除 PVC 时保留 Bucket 数据 parameters: mounter: rclone # 可选 "rclone" 或 "goofys" csi.storage.k8s.io/node-publish-secret-name: minio-s3-credentials csi.storage.k8s.io/node-publish-secret-namespace: default csi.storage.k8s.io/provisioner-secret-name: minio-s3-credentials csi.storage.k8s.io/provisioner-secret-namespace: default endpoint: "http://minio.example.com:9000" # MinIO 地址 region: "us-east-1" # 默认 region bucket: "my-bucket" # Bucket 名称 ``` 应用配置： ```bash kubectl apply -f minio-storageclass.yaml ``` -- ### 五、创建 PVC ```yaml # minio-pvc.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: minio-s3-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi # 此值对 S3 无实际意义，仅占位符 storageClassName: minio-s3-storage ``` 应用配置： ```bash kubectl apply -f minio-pvc.yaml ``` --- ### 六、挂载到 Pod ```yaml # app-pod.yaml apiVersion: v1 kind: Pod metadata: name: s3-app spec: containers: - name: app image: nginx volumeMounts: - name: minio-s3-volume mountPath: /mnt/s3 volumes: - name: minio-s3-volume persistentVolumeClaim: claimName: minio-s3-pvc ``` -- ### 七、验证 1. 进入 Pod 检查挂载点： ```bash kubectl exec -it s3-app -- ls /mnt/s3 ``` 2. 读写文件测试： ```bash kubectl exec -it s3-app -- touch /mnt/s3/test.txt ``` --- ### 注意事项 1. **性能与兼容性** - S3 是对象存储，频繁小文件操作性能较差，适合大文件或低频访问场景。 - 某些文件操作（如原子写入、权限控制）可能受限。 2. **网络与安全** - 确保 Kubernetes 节点能访问 MinIO Endpoint。 - 启用 HTTPS 时需在 `endpoint` 配置 `https://` 并处理证书信任。 3. **动态 vs 静态配置** - 上述方法支持动态挂载，若需固定 Bucket 也可手动创建 PV。 --- 通过以上步骤，即可将 MinIO Bucket 挂载为 Kubernetes PVC，并在 Pod 中像本地文件系统一样使用。

如何将minio中的数据转存到S3存储

写作背景

方法一：使用 MinIO 官方提供的 mc 工具

具体操作步骤

方法一：使用 MinIO 官方提供的 `mc` 工具