【mlflow系列前传】MinIO的搭建使用

最新推荐文章于 2025-09-11 03:03:41 发布
原创 最新推荐文章于 2025-09-11 03:03:41 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #服务器 #分布式 #云计算

本文详细介绍了MinIO的安装、配置过程，以及其在大容量文件存储和机器学习应用中的优势。通过UI和CLI操作，展示如何搭建个人MinIO服务器，并提供相关链接以深入了解。

是什么

MinIO是一个基于Apache License v2.0开源协议的高性能的对象存储，它兼容亚马逊S3云存储服务接口
适合大容量的文件存储，如：图片，视频等文件，通常用于作为机器学习，分析的高性能的基础设施，且支持分布式部署

搭建

需要在本地有Docker

docker run -p 9000:9000 \
  -e "MINIO_ACCESS_KEY=AKIAIOSFODNN7EXAMPLE" \
  -e "MINIO_SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \
  minio/minio server /data

使用

  • 访问localhost:9000,则可以直接看到UI界面
    输入ACCESS_KEY=AKIAIOSFODNN7EXAMPLE
    SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
    在这里插入图片描述

到这里，自己搭建一个MinIO测试，已经完全满足要求了

进一步使用

当然除了ui操作，也有CLI操作,具体的操作可以自己多练习练习
更多关于MinIO，参照这里

MLflow Docker 部署方案:快速搭建机器学习实验环境
helloaiworld的博客
09-09 900
MLflow Docker 为机器学习工程师提供了一种简单高效的方式来搭建和管理实验环境。一键部署,降低使用门槛集成多个组件,提供完整的实验追踪环境便捷的客户端配置,改善开发体验基于 Docker 的灵活扩展性对于希望快速开始使用 MLflow,或者需要在团队中统一实验环境的场景,MLflow Docker 都是一个值得考虑的选择。它能够帮助数据科学家和机器学习工程师更专注于模型开发和实验,提高工作效率。随着机器学习项目的发展,MLflow Docker 也在不断更新和完善。
MLFlow Tracking Server + MinIO + SQLite远程服务器配置方法
qizhen816的博客
03-07 777
【代码】MLFlow Tracking Server + MinIO + SQLite远程服务器配置方法。
minio使用
chaogaoxiaojifantong的博客
11-28 592
minio文件上传
3步解决MLflow+MinIO Artifact下载失败：从报错到根治
最新发布
gitblog_00479的博客
09-11 303
你是否在MLflow集成MinIO时遇到Artifact下载失败？"AccessDenied"或"SignatureDoesNotMatch"错误反复出现？本文通过分析[S3ArtifactRepository源码](https://link.gitcode.com/i/f7bed351876bb316cedd4cda4e99279e)和环境变量配置，提供三步解决方案，让你的机器学习工件存储稳定可...
mlflow-docker:使用Mysql和Minio S3的ML Flow的生产就绪的docker-compose配置
05-07
MLFlow Docker设置 如果您想使用单线启动mlflow项目-此存储库适合您。 唯一的要求是将docker安装在您的系统上，我们将在linux / windows上使用Bash。 特征 通过一个文件（.env）进行设置 生产就绪的Docker卷 单独的工件和数据容器 准备好bash脚本来复制和粘贴，以供同事使用您的服务器！ 简单的安装指南 配置.env文件供您选择。 您可以在其中放置任何您喜欢的东西，它将用于配置您的服务 通过这一行来运行基础结构： $ docker-compose up -d Creating network " mlflow-basis_A " with driver " bridge " Creating mlflow_db ... done Creating tracker_mlflow ... done Creating aws-s3
Docker部署mlflow服务器
qq_44803615的博客
04-25 878
使用docker部署mlflow服务
MLflow基于Windows通过Docker和Minio搭建mlflow server
weixin_44839146的博客
04-20 3420
1. 首先下载Docker 1.1 下载与安装教程：windows系统下安装docker比较详细的教程 在上面的教程中，安装好docker之后需要进行【换源】设置，按教程操作即可，如果需要帮助可以留言。上面的教程可以参考的内容为：【安装Docker Desktop】--【Docker基础使用】，其余内容暂时可以不看。（我的安装路径："C:\Program Files\Docker\Docker\Docker Desktop.exe"） 1.2 测试docker安装是否正确：顺利运行hel...
minio基本使用，minio基本使用，minio基本使用
03-24
本篇文章将深入探讨MinIO的基本使用，帮助读者理解和掌握如何在不同环境中部署、配置和操作MinIO。 一、安装与启动 MinIO提供预编译的二进制文件，适用于各种操作系统，如Linux、macOS和Windows。你可以从官方网站...
MinIO搭建部署
云深海阔专栏
03-24 1247
1、命令行安装访问下载应用程序2、docker安装部署3、docker安装集群1）准备多台服务器每台服务器上都需要有一个数据目录，确保各节点之间网络互通。2）启动分布式集群假设有四台服务器（节点 1 至节点 4），可以使用 Docker 方式部署如下：在每台服务器上执行类似命令，假设 IP 分别为 node1, node2, node3, node4：每台节点启动时都需要指定所有节点的路径，确保数据同步与冗余。部署后，可以通过管理控制台查看集群状态。4、Kubernetes 部署。
Minio 教程 - Minio 简介
qq_33240556的博客
05-14 664
Minio是一个开源的对象存储服务器，专为云原生应用和容器化环境设计。它提供了一个高度可扩展、高性能的存储解决方案，用于存放非结构化的数据，如图片、视频、日志文件等。：Minio完全兼容Amazon S3 API，这意味着它可以无缝对接现有的S3生态系统工具、库和应用程序，无需修改代码即可迁移至Minio或在两者之间切换。：设计上追求极致性能，利用Golang编写，旨在提供低延迟、高吞吐量的数据访问能力。：支持分布式部署，能够跨多个节点存储数据，从而实现数据冗余和高可用性。
SpringBoot JavaCV Minio 实现视频流转码
weixin_44539540的博客
04-17 925
SpringBoot JavaCV Minio 实现RTSP 实时推送，历史回播，切片存储，实时抓拍
【mlflow系列1】mlflow 的搭建使用
monkeyboy_tech的博客
10-30 4971
背景 mlflow是Databrick开源的机器学习管理平台，它很好的解藕了算法训练和算法模型服务，使得算法工程师专注于模型的训练，而不需要过多的关注于服务的, 而且在我们公司已经有十多个服务稳定运行了两年多。 搭建 mlflow的搭建主要是mlflow tracking server的搭建，tracking server主要是用于模型的元数据以及模型的数据存储 我们这次以minio作为模型数据的存储后台，mysql作为模型元数据的存储，因为这种模式能满足线上的需求，不仅仅是用于测试 minio的搭建
如何搭建和使用minio？保姆级教程
热门推荐
不积跬步无以至千里，不积小流无以成江河
06-29 1万+
如何搭建和使用minio？保姆级教程
Docker安装MinIO，搭建私有云存储
weixin_46244732的博客
04-25 1353
Docker安装MinIO，搭建私有云存储
分布式minio环境搭建（详细）
m0_74870423的博客
04-13 2668
比如：我们的集群有4个节点，每个节点上一块盘，就算有2两个节点宕机，这个集群仍然是可读的，但是，我们需要3个节点才能让集群写数据。由于是非常轻量级的软件，所以架构上也没有这么复杂，他使用操作系统的文件系统作为存储介质，我们在向任意节点写数据的时候，minIO会自动同步数据到另外的节点，而机制叫做erasure code（纠删码）来保证集群的稳定，保证数据可用，所以我们建议至少使用4个节点来构建集群。早期版本中，每个租户至少有4个盘，最多有16个盘，这个是纠删码的限制，而新版本中是没有限制的。
在 MinIO 中添加用户并设置密码的步骤
秋̶᭄ꦿ攻城狮࿆ྂ
11-19 3929
您可以尝试使用新用户的凭据登录 MinIO 控制台或使用 MinIO Client 进行操作，以验证新用户的功能。请确保您已经安装了 MinIO Client，并且可以连接到您的 MinIO 服务器。命令来管理用户的权限。例如，您可以创建一个新的策略并将其分配给用户，或者将用户添加到现有的策略中。如果您还没有安装 MinIO Client，请参考之前的步骤进行安装。添加用户后，您可能还需要为该用户分配权限。通过以上步骤，您应该已成功添加新用户并为其设置密码。替换为您要添加的用户名，将。替换为您实际的桶名。
分布式存储-Minio环境搭建
温暖不了你的心的博客
07-14 4742
MinIO是一个基于Apache License V2.0开源协议的轻量级的对象存储服务。 适合存储大容量非结构化的数据，如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。
存储引用服务（OSS）Minio 环境搭建
Lucas的博客
10-28 2081
存储引用服务（OSS）Minio 环境搭建
使用Python与Minio搭建S3泊坞窗教程
在提供的描述中，“Lern S3泊坞窗Minio / Minio须藤码头工人组成-d”可能是指使用docker-compose来配置MinIO服务的一个过程。具体步骤包括： 1. 创建一个名为`docker-compose.yml`的文件，定义MinIO服务所需的配置...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值