通过Minio搭建私有化对象存储服务_开源PaaS Rainbond最佳实践

私有化对象存储-minio MinIO是一款高性能、分布式的对象存储系统,它使用Go语言编写,并基于Apache License v2.0开源协议。MinIO的主要特点包括简单、可靠。它采用简单可靠的集群方案,摒弃复杂的大规模的集群调度管理,减少风险与性能瓶颈,聚焦产品的核心功能,打造高可用的集群、灵活的扩展能力以及超过的性能。MinIO支持云原生,能与Kubernetes、Docker、Swarm编排系统良好对接,实现灵活部署。部署简单,只有一个可执行文件,参数极少,一条命令即可启动一个MinIO系统。 阅读详情

Minio是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器/虚拟机/映像等,单次存储对象的大小最大可达5TB。

实现架构单节点

  • 根据存储是否为远端,可直接使用FS或NFS直接操作存储中的Object
  • 调用S3接口,通过Minio使用FS或NFS来操作Object

多节点

多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户,每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。

分布式

分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin),在各服务器之间实现负载均衡。

功能特性

  • Amazon S3兼容Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK,Minio Client,AWS SDK和AWS CLI访问Minio服务器。
  • 数据保护Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver,但是仍然可以从中恢复。
  • 高度可用Minio服务器可以容忍分布式设置中高达(N / 2)-1节点故障。而且,您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。
  • Lambda计算Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列,如Kafka,NATS,AMQP,MQTT,Webhooks以及Elasticsearch,Redis,Postgres和MySQL等数据库。
  • 加密和防篡改Minio为加密数据提供了机密性,完整性和真实性保证,而且性能开销微乎其微。使用AES-256-GCM,ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。
  • 可对接后端存储除了Minio自己的文件系统,还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
  • sdk支持基于Minio轻量的特点,它得到类似Java、Python或Go等语言的sdk支持,例如: Java类在使用Maven管理Jar的情况下,在pom.xml中指定Minio:<dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>3.0.12</version> </dependency>

使用

Minio提供:包含图形化界面的Server端;使用命令行操作的Client端。以下为您介绍Minio Server与Minio Client的使用。

Minio Server

  • 使用Access Key与Secret Key登录Minio。登录成功后进入如下界面Access Key与Secret Key可由Minio Server随机生成,也可通过变量来自定义。下文自助部署讲述如何定义及获取Access Key与Secret Key。
  • 点击模块1bucket对应部分创建一个新的bucket,可在模块2看到所创建bucket。
  • 在模块2选择一个bucket。点击模块1upload对应部分上传文件到已选择bucket。可在页面白色部分看到对应bucket中所上传文件。
  • 鼠标移动到模块2任意bucket,对应bucket右侧可点击进行操作policy、delete操作。其中policy可设置Prefix的请求权限。
  • 点击模块3,查看与设置该Object的基本信息:
    • 查看共享地址Shareable Link
    • 设置到期时间,最大可保存时间为7天
    • 对话框上方弹出该Object现剩余到期时间

Minio Client下载二进制wget https://dl.minio.io/client/mc/release/linux-amd64/mc chmod +x mc ./mc --help基本操作命令

  • 配置已存在Minio Server./mc config host add <custom_name> <Minio_Server_address> <access_key> <secret_keyt> S3v4例:./mc config host add test http://9000.gr8be71d.grapps.ali-hz.goodrain.net access_key secret_key S3v4
  • 创建bucket./mc mb <custom_name>/[bucket_name]/[object_name]例:./mc mb test/data
  • 查看Minio Server的bucket、object./mc ls <custom_name>/[bucket_name]/[object_name]例:./mc ls test/data
  • 上传/下载Object# cp到Minio Server(上传) ./mc cp <object> <custom_name>/[bucket_name]# cp到本地(下载) ./mc cp <custom_name>/[bucket_name]/[object_name] <local_path>例:./mc cp README.md test/data
  • 删除Object或bucket./mc rm <custom_name>/[bucket_name]/[object_name]例:# 删除bucket,因为data下存在名为README.md的object,故需追加--force参数来强制删除bucket ./mc rm test/data --force*共享访问mc提供share方法,通过授权生成的URL可以临时上传或下载object。
  • download指定Minio Server中的Object,生成该Object临时下载的URL。./mc share download [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]例:# --expire 168h代表生成的URL有效时间仅168小时 ./mc share download --expire 168h test/data/README.md
  • upload指定上传某文件到Minio Server后的路径,生成临时可供上传的命令。./mc share upload [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]例:./mc share upload test/data/README.md生成类似如下命令:curl http://9000.gr17b6e1.grapps.ali-hz.goodrain.net/data/ \ -F x-amz-credential=access_key/20180425/us-east-1/s3/aws4_request \ -F x-amz-date=20180425T031310Z \ -F x-amz-signature=68ac9f102afd6a87526ecb9ce6025dee4f85b25cf054f5a7668a73ae0ef9f4dc \ -F bucket=data \ -F policy=eyJleHBpcmF0aW9uIjoiMjAxOC0wNS0wMlQwMzoxMzowOS45MTlaIiwiY29uZGl0aW9ucyI6W1siZXEiLCIkYnVja2V0IiwiZGF0YSJdLFsiZXEiLCIka2V5IiwiaW5zdGFsbC5zaCJdLFsiZXEiLCIkeC1hbXotZGF0ZSIsIjIwMTgwNDI1VDAzMTMxMFoiXSxbImVxIiwiJHgtYW16LWFsZ29yaXRobSIsIkFXUzQtSE1BQy1TSEEyNTYiXSxbImVxIiwiJHgtYW16LWNyZWRlbnRpYWwiLCJhY2Nlc3Nfa2V5LzIwMTgwNDI1L3VzLWVhc3QtMS9zMy9hd3M0X3JlcXVlc3QiXV19 \ -F x-amz-algorithm=AWS4-HMAC-SHA256 \ -F key=README.md \ # <FILE> 为需要上传的Object -F file=@<FILE>
  • list查看所创建下载或上传的所有RUL./mc share list [download/upload]

部署从云市

您可以从云市一键式部署Minio应用(点击获取)。

从云帮

您也可以使用docker run命令在云帮自行部署:

  • 进入云帮-创建应用界面选择从Docker镜像创建应用
  • 编辑docker run命令docker run -p 9000:9000 \ -e MINIO_ACCESS_KEY=<Custom Access Key> \ -e MINIO_SECRET_KEY=<Custom Secret Key> \ -v /mnt/data:/data \ -v /mnt/config:/root/.minio \ minio/minio:RELEASE.2018-04-19T22-54-58Z \ server /data访问Minio对象存储时,验证所需要的Access Key 与 Secret Key,可以根据传入的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY自定义生成。
  • 我们对云市的Minio应用的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY做了初始化工作,您可以在应用控制台-应用依赖信息获取变量对应值,用于登录Minio应用。

分布式Minio

使用分布式的Minio可让您将多个驱动(即使在不同的计算机上)合并为一个对象存储服务器。由于驱动可分布在多个节点上,因此分布式Minio可以承受多点故障,并且保证数据的安全。当前云市 Minio应用版本暂时不支持分布式Minio,后续将更新分布式Minio。官方网站:https://www.minio.io文档地址:https://docs.minio.io/Minio其它支持参考: https://www.minio.io/dcos.html

进一步了解Rainbond v3.5.1

好雨Rainbond(云帮)是一款以应用为中心的开源PaaS,深度整合基于Kubernetes的容器管理、Service Mesh微服务架构最佳实践、多类型CI/CD应用构建与交付、多数据中心资源管理等技术,为用户提供云原生应用全生命周期解决方案,构建应用与基础设施、应用与应用、基础设施与基础设施之间互联互通的生态体系,满足支撑业务高速发展所需的敏捷开发、高效运维和精益管理需求。

 

  • 网站: https://www.rainbond.com
  • 试用Rainbond公有云: https://www.goodrain.com
  • Github: https://github.com/goodrain/rainbond
  • 码云: https://gitee.com/rainbond/Rainbond
  • 微信群: 添加微信“qingguo-wei”并接受邀请入群
MinIO客户端工具MC使用手册 MinIO客户端 mc 命令行工具提供了一个现代化的替代方案, 支持文件系统和与Amazon S3兼容的云存储服务,适用于UNIX命令如 ls、 cat、 cp、 mirror 和 diff。mc 命令行工具是为了与 AWS S3 API 兼容而构建的,并且已经过测试, 以确保在与 MinIO 和 AWS S3 配合使用时,功能和行为符合预期。MinIO 不对其他 S3 兼容服务提供任何保证,因为它们的 S3 API 实现是 未知的,因此不受支持。 阅读详情

相关推荐

对象存储:基于对象存储Minio为客户提供NFS服务解决方案

1.确保 NFS 正常工作, NFS 服务 地址 10.0.2.100:/harbor_nas。参考:http://events.jianshu.io/p/db52557aff9e。使用Docker Swarm 搭建S3(minio )每个节点启动一个副本。2.配置文件 docker-minio-compose.yml。初始化docker Swarm,, 或CentOS版本。

GIS摆渡人 1611

【MinIO私有部署使用方法】

3、MinioOssBuilder类中返回MyMinioTemplate。5、文件回显需要签名,模版类里方法。使用跟天翼云OSS一样。2、在OssBuilder类中更换我们自定义的模版。注:MinIO也可创建公共和只读桶,按情况使用。1、自定义模版 MyMinioTemplate。4、使用示例–下载文件。

qq_38635320的博客 1428

华硕ROG枪神双系统实战:Ubuntu安装避坑指南

本文是华硕ROG枪神笔记本安装Ubuntu双系统的详细避坑指南。针对其独特的硬件与BIOS设计,文章核心解决了VMD控制器导致硬盘无法识别、驱动兼容性等关键难题,并提供了从BIOS设置、分区方案到安装后驱动配置与性能调优的一站式解决方案,帮助用户实现稳定的双系统体验。

raspberrypi5的博客 547

minio 私有化搭建oss

用法和阿里云 OSS 差不多,因为他们都是亚马逊 S3(simple storage service) 规范的实现。我们用 docker 跑了一个 minio 的容器,然后分别在管理界面和用 npm 包的方式做了文件上传和下载。但是 OSS 是收费的,而且有些敏感数据不能传到云上,需要私有部署,这种就可以自己搭一个 OSS 服务。文件上传一般我们都是用 OSS 服务来存储,比如阿里云的 OSS。

gwdgwd123的博客 828

【数据中台】数据中台架构搭建百科全书

0、前言 当前,大部分企业不再建设从源数据采集到分析应用的烟囱式系统,更倾向于数据集中采集、存储,并应用分层建设。这种方式一方面有利于应用系统的快速部署,另一方面也保证了数据的集中管理与运营,体现数据的资产、资源属性。 数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。 数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台事业部集中数据搜索,技术及产品,数据共享等多个部门的功能。其他组织或企业建设数据中台不一定需

Sunny的专栏 8407

树莓派4B系统安装及SSH远程控制(简单易操作)

​自从2022年4月树莓派官网更新了RaspberryPiImager版本v1.7.2后,便不再支持自行建立ssh文件,并用默认用户名pi和密码raspberry的方式进行远程控制(亲测不行,输密码时一直access denied)。但是该版本软件提供了烧录系统前设置ssh用户及密码功能。本文记录了系统安装和SSH远程操作步骤。........................

机械人的代码路 5792

minio和阿里云oss哪个好?

阿里的OSS支持一系列具有不同级别的持久性、可用性和成本的存储类别,使其成为高度灵活的存储解决方案。在企业到了一定的规模,需要混合云、私有云、AI推理和数据隔离的情况下,MinIO可能会是更好的选择,能够保证更高的企业数据的自主性和安全性。因此,如果在公有云产品选择上可以选择阿里云OSS、腾讯云的COS、华为云的OBS和AWS的S3,都是全球非常优秀的对象存储产品。但是他们的S3的API借口都参考的是亚马逊的S3 标准,在MinIO 的S3兼容性上面比阿里云的兼容性更好一些。

MinIO 5034

Labview 机器视觉(4)之 图像处理进阶 - 动态ROI与批量保存

本文深入探讨了LabVIEW机器视觉中动态ROI与批量保存两大进阶技术。动态ROI通过模式匹配或粒子分析实现检测区域的自动追踪,解决了产品位置变化带来的挑战。同时,文章详细介绍了如何设计高效的文件命名规则与异步保存机制,以实现海量图像数据的批量保存与管理,从而构建稳定、高效的工业自动化检测系统。

weixin_29234423的博客 220

对象存储MinIO的简介与部署

对象存储MinIO的简介与部署

SRE成长记 5883

在Windows11上安装ubuntu版linux系统并实现桌面图形化(WSL)

在Windows11上安装ubuntu版linux系统并实现桌面图形化(WSL),xfce桌面美化、安装google-chrome

NiKoJJ‘s Blog 1万+

optee技术简介

OP-TEE(Open Portable Trusted Execution Environment)是一种开源的可信执行环境(TEE),专为ARM TrustZone架构设计。TEE是一种独立的执行环境,运行在主操作系统之外,为敏感任务提供安全的计算空间,如加密、身份验证、密钥管理等。

baron-周贺贺-代码改变世界ctw 1280

Typora自动上传图片,springboot集成Minio做私有化图床

在Typora自动上传图片 图床、私有化、免费

weixin_46951831的博客 390

Hyperledger Fabric 网络搭建详解

写在前面:博主也是因为一些原因刚刚入坑区块链,我认为在我们入门新技术的时候,入门总是最困难的部分,只要入门了,后面学习起来就会越来越轻松,在网上找了很多文章,我觉得大多条理不是很清楚。本文章会详细介绍fabric(v1.0)环境部署,以及在搭建过程我遇到一些问题及解决方案,希望可以帮助到你们。 博主环境机器:VMware15 Ubuntu16.04 fabric(v1.0)环境部署一、必备软件安装1.ubuntu环境安装2.Go语言3.Docker安装4. Docker-Compose 安装二、Fa.

林中有神君 1万+

SpringBoot + MinIO 轻松构建对象存储服务,支持私有化部署!

在实际的软件系统开发过程中,经常避免不了需要用到文件存储服务。例如,对于小型的网站系统,通常会将文件存储服务和网站系统部署在一台服务器中,以实现低成本的资源投入,如果访问量不大,基本上没什么问题。当访问量逐渐升高,此时网站的文件资源读取越来越频繁,单台服务器可能难以承载较大的请求量,这个时候网站可能会出现打不开,甚至系统异常等问题。当出现这个场景,很容易第一时间想到将文件采用云存储服务来解决。

2401_84205765的博客 839

基于Qt的工业组态软件开发:图形绘制与TCP通讯实现

在数据接收时,通过 readyRead 信号触发解析函数,校验数据包完整性后提取有效数据,并更新对应图形元素的状态,例如根据温度值改变矩形的填充色,实现设备状态可视化。测试阶段,我们将软件部署到Windows工控机,连接PLC设备进行通讯测试,结果表明图形元素响应及时,TCP数据传输稳定,满足工业现场的基本需求。综上所述,基于Qt的组态软件开发,核心在于利用 QGraphicsView 框架实现图形元素的灵活绘制与管理,结合 QTcpSocket 完成工业数据的可靠交互。

谢谢大家的关注和点赞!这里只有纯纯的知识干货,没有一句废话。希望能实实在在帮到大家~要是觉得有用,别忘了给我点支持哟,你 273

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Docker安装MinIO,搭建私有云存储

Docker安装MinIO,搭建私有云存储

weixin_46244732的博客 1577

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【特别福利】 Rainbond v6.1.2版本发布:优化存储与提升稳定性

> 云原生应用存储管理是否让您感到困扰?Rainbond v6.1.2版本带来了显著的存储优化和稳定性提升,让您的应用部署更加顺畅! ## ???? 版本亮点速览 Rainbond v6.1.2版本专注于**存储系统优化**和**平台稳定性增强**,为企业和开发者提供更加可靠、高效的云原生应用管理体验。本次更新包含多项重要改进,特别针对存储管理和系统稳定性进行了深度优化。 ### 核心优化特性 ...

gitblog_01406的博客 411

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

轻松上手Fluentd,结合 Rainbond 插件市场,日志收集更快捷

以往有篇文章介绍 EFK(Kibana + ElasticSearch + Filebeat)的插件日志收集。Filebeat 插件用于转发和集中日志数据,并将它们转发到 Elasticsearch 或 Logstash 以进行索引,但 Filebeat 作为 Elastic 的一员,只能在 Elastic 整个体系中使用。Fluentd是一个开源的,分布式日志采集系统,可以从不同的服务,数据源采集日志,对日志进行过滤加工,分发给多种存储和处理系统。支持各种插件,数据缓存机制,且本身所需的资源很少,内置可靠

xuhss_com的博客 423

程序员这篇文章很重要!放弃FastDFS,拥抱MinIO的7大理由

【大厂面试】大厂一面Java高级开发38K节选,也不算太难,HashMap八连问,大家看我回答的怎么样?目前可用于文件存储的网络服务选择也有不少,好比阿里云OSS、七牛云、腾讯云等等,可是收费都有点小贵。为了帮公司节约成本,以前一直是使用FastDFS做为文件服务器,准确的说是图片服务器。直到我发现了MinIO,我决定放弃FastDFS。另外,我花了1个多星期,准备了一份10W字的面试题解析配套文档,想获取的小伙伴可以扫描左侧二维码拿!先给大家介绍一下什么是MinIO。MinIO是专门为海量数据存储、人工智

Tom弹架构 2339

服务器部署随笔-nfs minio 端口映射

2021-8-27 // // linux 相关 // 安装docker 暂时没有使用 curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun // 安装nfs客户端 sudo yum -y install nfs-utils // 创建nfs本地路径 mkdir nfs // 挂载nfs存储 mount -t nfs -o vers=3,timeo=600,nores...

ghz001的专栏 1324

MinIO客户端mc使用

官网: 英文网址(最好查看英文网址):https://min.io/ 中文网址(没有及时更新,容易被坑):http://www.minio.org.cn/ 使用的 minio 版本是:RELEASE.2021-11-* 一、MinIO 客户端工具安装 MinIO 提供客户端工具访问和操作服务端。MinIO 客户端工具 mc(minio client),提供了类似 unix 的命令去操作服务端。mc 相关命令列表如下所示(请查看英文官网): ls 列出文件和文件夹。 mb 创建一个

Charge8的博客 3万+
上一篇: Locust学习总结分享
下一篇: k8s使用openebs实现动态持久化存储
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值