什么?OSS存储你还在用FastDFS?MinIO了解一下!!!

ceph和minIO存储方案如何选择? 首先讲一下:存储发展史 (Ceph分布式存储详述 - 知乎) 企业中使用存储按照其功能,使用场景,一直在持续发展和迭代,大体上可以分为四个阶段: DAS:Direct Attached Storage,即直连存储,第一代存储系统,通过SCSI总线扩展至一个外部的存储,磁带整列,作为服务器扩展的一部分; NAS:Network Attached Storage,即网络附加存储,通过网络协议如NFS远程获取后端文件服务器共享的存储空间,将文件存储单独分离出来; SAN:Storage Area Net 阅读详情

什么是MinIO ?

根据官方定义:

  1. MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM 映像。 对象的大小可以从几 KB 到最大 5TB。
  1. MinIO 服务器足够轻,可以与应用程序堆栈捆绑在一起,类似于 NodeJS,Redis 和 MySQL。
  2. 一种高性能的分布式对象存储服务器,用于大型数据基础设施。它是机器学习和其他大数 据工作负载下 Hadoop HDFS 的理想 s3 兼容替代品。

为什么需要MinIO?

  1. Minio 有良好的存储机制
  2. Minio 有很好纠删码的算法与擦除编码算法
  3. 拥有RS code 编码数据恢复原理
  4. 公司做强做大时,数据的拥有重要性,对数据治理与大数据分析做准备。
  5. 搭建自己的一套文件系统服务,对文件数据进行安全保护。
  6. 拥有自己的平台,不限于其他方限制。

MinIO 和其他OSS存储解决方案各有什么优缺点?

这里主要针对Ceph、Minio、FastDFS 热门的存储解决方案进行比较。

Ceph

优点

  • 成熟
  • 红帽继子,ceph创始人已经加入红帽
  • 国内有所谓的ceph中国社区,私人机构,不活跃,文档有滞后,而且没有更新的迹象。
  • 从git上提交者来看,中国有几家公司的程序员在提交代码,星辰天合,easystack, 腾讯、阿里基于ceph在做云存储,但是在开源社区中不活跃,阿里一位叫liupan的有参与
  • 功能强大
  • 支持数千节点
  • 支持动态增加节点,自动平衡数据分布。(TODO,需要多长时间,add node时是否可以不间断运行)
  • 可配置性强,可针对不同场景进行调优

缺点 学习成本高,安装运维复杂。

Minio

优点

  • 学习成本低,安装运维简单,开箱即用
  • 目前minio论坛推广给力,有问必答
  • 有java客户端、js客户端
  • 数据保护:分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。分布式Minio至少需要4个硬盘,使用分布式Minio自动引入了纠删码功能。
  • 一致性:Minio在分布式和单机模式下,所有读写操作都严格遵守read-after-write一致性模型。

缺点

  • 社区不够成熟,业界参考资料较少
  • 不支持动态增加节点,minio创始人的设计理念就是动态增加节点太复杂,后续会采用其它方案来支持扩容。

    FastDFS

    fastdfs是阿里余庆做的一个个人项目,在一些互联网创业公司中有应用,没有官网,不活跃,6个contributors。

如何安装使用MinIO?

基于 Docker 容器使用

  • 稳定版
    docker pull minio/minio
    docker run -p 9000:9000 minio/minio server /data
  • 尝鲜版
    docker pull minio/minio:edge
    docker run -p 9000:9000 minio/minio:edge server /data

基于 Mac Homebrew 使用

brew install minio/stable/minio
minio server /data

下载二进制文件安装使用

操作系统CPU架构地址
Apple macOS64-bit Intelhttps://dl.min.io/server/minio/release/darwin-amd64/minio
chmod 755 minio
./minio server /data

GNU/Linux

下载二进制文件
操作系统CPU架构地址
GNU/Linux64-bit Intelhttps://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data

微软Windows系统

下载二进制文件
操作系统CPU架构地址
微软Windows系统64位https://dl.min.io/server/minio/release/windows-amd64/minio.exe
minio.exe server D:\Photos

FreeBSD

Port

使用 pkg进行安装。

pkg install minio
sysrc minio_enable=yes
sysrc minio_disks=/home/user/Photos
service minio start

使用源码安装

采用源码安装仅供开发人员和高级用户使用,如果你还没有Golang环境, 请参考 How to install Golang.

go get -u github.com/minio/minio

使用MinIO浏览器进行验证

安装后使用浏览器访问http://127.0.0.1:9000,如果可以访问,则表示minio已经安装成功。

使用MinIO客户端 mc进行验证

mc 提供了一些UNIX常用命令的替代品,像ls, cat, cp, mirror, diff这些。 它支持文件系统和亚马逊S3云存储服务。 更多信息请参考 mc快速入门 - https://docs.min.io/docs/minio-client-quickstart-guide 。

已经存在的数据

当在单块磁盘上部署MinIO server,MinIO server允许客户端访问数据目录下已经存在的数据。比如,如果MinIO使用minio server /mnt/data启动,那么所有已经在/mnt/data目录下的数据都可以被客户端访问到。

上述描述对所有网关后端同样有效。

了解更多

本文由博客一文多发平台 OpenWrite 发布!

Minio VS Ceph Minio作为分布式存储新秀,从2016年发布第一个版本到现在短短6年时间,github start已达到31.9K, 远超2015年发布的另一款分布式存储 seaweedfs 13.9k、及2010年的Ceph 10.2k,一时风头无二;但贡献者Ceph 1172人,而Minio只有337,sweedfs只有146, 社区活跃度来讲离Ceph有不小的差距。国内生产真正大规模使用Minio的比较少见,跟当前License有不小的关系。 阅读详情

相关推荐

探索效率与可扩展性:MinIO图片服 VS FastDFS图片服

Minio图片服是基于Minio对象存储系统构建的一个图片存储和管理系统。Minio是一个开源的对象存储系统,可通过API接口进行操作,支持分布式部署和高可用性。Minio图片服提供了一个简单易用的界面,用户可以通过该界面上传、下载、删除和查看图片。它还支持图片缩略图生成和图片处理功能,用户可以对上传的图片进行裁剪、旋转、调整大小等操作。Minio图片服还支持图片的标签和元数据管理。用户可以为每张图片添加标签,便于搜索和分类。同时,用户还可以为图片添加自定义的元数据,用于存储图片的相关信息。

凛鼕将至的博客 4342

MinIO与FastDFS对比

该思维导图地址 https://mm.edrawsoft.cn/template/199330 MinIO中文文档 MinIO中文官网 目前可用于文件存储的网络服务选择有很多,比如阿里云OSS、七牛云、腾讯云等等,但是收费都有点小贵。为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器。直到我发现了MinIO,我决定放弃FastDFS。 关于MinIO的使用方法,我就不说了。大家去看MinIO官网地址:https://docs.min.io/docs/ ,非常详细。我就从..

妃宫千早 2万+

异步fifo的UVM验证(最终最终版)

更新了refmdl以及scb

qq_44674008的博客 2987

MinIO、FastDFS和Amazon S3

FastDFS由一个跟踪器(tracker)和多个存储节点(storage node)组成,其中跟踪器用于管理文件的元数据,存储节点用于实际存储文件数据。MinIO对于小型和中型规模的存储需求是一个理想的选择,特别是在需要构建私有云存储环境或本地对象存储解决方案的情况下。S3具有高可靠性、持久性和可扩展性,通过多个数据中心和多个副本实现数据的备份和冗余存储,确保数据的高可用性和容错性。S3是一个全功能的对象存储服务,具有高可靠性和可扩展性,适用于云环境和大规模数据存储需求。

weixin_51473488的博客 7175

深入解析STM32H743双精度FPU:从配置误区到三角函数加速技巧

本文深入解析STM32H743双精度FPU的配置与优化技巧,涵盖常见误区、三角函数加速及飞控系统应用。通过实测数据展示如何利用FPU提升数学运算效率,特别适合工业控制、无人机飞控等高精度实时应用场景。

weixin_29190651的博客 639

用数据分析优化彩票决策:放弃预测,专注理性投入

彩票本质上是负和博弈的概率系统,其核心并非号码预测,而是对玩法规则、返奖率(RTP)、投入策略与心理约束的量化决策。基于组合数学与二项分布的分析方法,可精确计算各奖项概率、评估不同玩法的实际回报效率,并构建个人资金-风险-目标模型。数据的价值不在于打破随机性,而在于识别非随机环节——如奖池跃升期的RTP波动、固定奖的保底收益、冷热号背后的分奖博弈结构。这种以决策优化为导向的数据实践,适用于将彩票视为受控实验的理性参与者,而非追求玄学中奖的投机者。

frank1998819 641

文件存储服务有哪些?他们优缺点分别是什么?FastDFS、MinIO、Ceph、HDFS、MooseFS、TFS、七牛云、阿里云 OSS

文件存储服务有哪些?他们优缺点分别是什么?FastDFS、MinIO、Ceph、HDFS、MooseFS、TFS、七牛云、阿里云 OSS

橙-极纪元-JJYCheng 2335

FreeRTOS面试题汇总

如果一个低优先级的任务持有一个信号量,高优先级的任务想要用这个信号量,造成的死锁怎么解决。12.FreeRTOS的多任务之间如何去进行通信的,什么方法,它实现原理是什么。任务间数据传输一共有三种形式,用的最多的是消息队列,其次是全局变量和信号量。简历上写了了解RTOS,问了rtos的问题,用过哪些函数。讲解FreeRtos原理,调度机制,底层原理,代码调用。FreeRTOS,你的三个任务控制,请问你是怎么实现的。freertos中EventBits_t是干啥的?freertos使任务切换的方式有哪些?

weixin_45636780的博客 1万+

MinIO很强-让我放弃FastDFS拥抱MinIO的8个理由

目前可用于文件存储的网络服务选择有很多,比如阿里云OSS、七牛云、腾讯云等等,但是收费都有点小贵。为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器。直到我发现了MinIO,我决定放弃FastDFS。 关于MinIO的使用方法,我就不说了。大家去看MinIO官网地址:docs.min.io/cn/ ,非常详细。我就从对比的角度来说说我为什么果断的放弃了fastDFS,转而使用MinIO作为图片存储服务器。 理由一:安装部署(运维)复杂度 之前公司在使用fastDFS的时候,

字母哥博客 1万+

python爬虫豆瓣读书top250+数据清洗+数据库+Java后端开发+Echarts数据可视化(二)

之前的博客已经写了python爬取豆瓣读书top250的相关信息,接下来继续看如何清洗数据。 如果有没看懂的或是不了解上一部分说的是什么内容的,请看https://blog.youkuaiyun.com/qq_45804925/article/details/112848887 现在开始具体内容的复习: 1. 豆瓣读书top250信息预处理 #数据清洗 import pandas as pd import re import time # 先读取数据文件 data = pd.read_csv('E:/Class/商.

qq_45804925的博客 4440

NVIDIA Isaac Sim 入门教程(一)

文档分为以下几个部分: 简介、安装指南、API 文档、教程、手册和参考资料。简介部分是对 Omniverse Isaac Sim 的基本概述,以及它如何融入 NVIDIA Omniverse™ 生态系统。它还概述了 Omniverse Isaac Sim 的架构、工作流程和文档布局。

机器人控制与仿真应用 1万+

SpringBoot集成minio、fastdfs、阿里云OSS、七牛云OSS

文件存储服务,支持本地存储、minio、fastdfs、阿里云OSS、七牛云OSS,开箱即用。

ld114631028的博客 712

【花雕学编程】嵌入式破局:MimiClaw入局后,“小龙虾”AI智能体生态的竞争与未来

摘要: 2026年初,开源项目OpenClaw的爆发式增长带动AI智能体赛道迅速崛起,国内外厂商竞相布局,形成多元化的“小龙虾”生态。国外开源社区推出的嵌入式智能体MimiClaw填补了边缘设备场景空白,重塑行业竞争格局。本文系统梳理生态构成,分析云厂商(如腾讯、阿里云)、大模型厂商(如智谱、MiniMax)、硬件/OS厂商(华为)及开源独立派(有道龙虾、MimiClaw)的差异化策略,并预判未来趋势:消费级渗透加速、云边协同、IM整合及模型与Agent深度绑定。同时提醒生态存在数据泄露等高危风险,需警惕安

雕爷学编程 884

对象存储:从 FastDFS 迁移到 MinIO

FastDFS和MinIO的核心差异在于协议标准化、生态兼容性和场景适配性,MinIO更适合现代分布式/云原生场景;迁移成本整体中等,核心在数据迁移(随数据量变化)和代码SDK替换,通过“统一接口+平滑过渡”可将业务中断风险降到最低,且MinIO的长期运维收益能抵消短期迁移成本。

lusa1314的博客 1313

手把手教你学基带SOC芯片(4.2)--基带soc芯片的存储器设计

基带 SoC 中的存储器设计需要综合考虑功耗、成本和性能等因素。SRAM 适合高速缓存,DRAM 适合主内存,Flash 存储器适合非易失性存储。通过优化存储单元设计、阵列布局和外围电路,可以提高存储器的性能和效率。

MHD0815的博客 350

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

分布式文件存储MinIO SeaweedFS FastDFS对比总结

首先,看下这几篇文章: 总体思路: 《分布式文件存储选型考虑点》 专题分析: 1、SeaweedFS 参见我的这篇文章《分布式文件存储SeaweedFS试用对比总结》。 2、MinIO 参见我的这篇文章《分布式文件存储MinIO试用对比总结》 3、FastDFS 参见我的这几篇文章《FastDFS的一些缺点(强烈需要注意)》《FastDFS集群部署和使用》 4、还有一些我没仔细看过的,简单分析一下 比如: Ceph:https:...

zollty的专栏 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

第2-3-1章 文件存储服务系统-nginx/fastDFS/minio/阿里云oss/七牛云oss

这种方式提供一个独立的文件微服务,该微服务向应用系统提供统一的上传、下载、查看接口,应用系统调用方式相同,并且屏蔽了底层对外调用OSS服务的接口,即使以后迁移OSS服务商,应用层面的系统也不需要变动。这种模式也有一个小问题,比如我们调用了阿里云的OSS服务,如果所有的下载、查看功能都调用文件服务,那么文件服务的网络流量将会有非常大的压力。云存储,即将上传的文件存储在第三方云平台上,例如阿里云OSS、七牛云OSS服务等,并通过这些第三方提供的OSS服务来对外提供文件的下载和查看等功能。

假装文艺范儿 1151

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

放弃FastDFS,拥抱MinIO的7大理由

MinIO是专门为海量数据存储、人工智能、大数据分析而设计的对象存储系统。据官方介绍,单个对象最大可达5TB。非常适合储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。MinIO主要采用Golang语言实现,整个系统都运行在操作系统的用户态空间,客户端与存储服务器之间采用HTTP/HTTPs通信协议。

【小石头的茅坑】 71万+

让我放弃FastDFS拥抱MinIO的8个瞬间

目前可用于文件存储的网络服务选择有很多,比如阿里云OSS、七牛云、腾讯云等等,但是收费都有点小贵。为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器。直到我发现了MinIO,我决定放弃FastDFS。关于MinIO的使用方法,我就不说了。大家可以去看MinIO官网瞄一眼吧,非常详细。我就从对比的角度来说说我为什么果断的放弃了fastDFS,转而使用MinIO作为图片存储服务器。 一:安装部署(运维)复杂度 之前公司在使用fastDFS的时候,只有少数的几个人能够掌握fa

chen801090的博客 3530

docker内构建开源对象存储(minio)

前段时间做了一个项目,客户无法将数据拿到外网,只能通过在内网构建OSS对象存储,我们本身依赖极道的平台来做业务,他们采用了s3的标准,就采用minio来构建开源的OSS对象存储空间,其实很简单 docker pull minio/minio 从仓库拉镜像 docker run -p 9000:9000 --name minio1 -e “MINIO_ACCESS_KEY=AKIAIOSFODNN...

u012453032的博客 1498

第2-3-3章 文件处理策略-文件存储服务系统-nginx/fastDFS/minio/阿里云oss/七牛云oss

第2-1-2章 传统方式安装FastDFS-附FastDFS常用命令 第2-1-3章 docker-compose安装FastDFS,实现文件存储服务 第2-1-5章 docker安装MinIO实现文件存储服务-springboot整合minio-minio全网最全的资料全套代码及资料全部完整提供,点此处下载 由于我们当前的文件服务需要给客户端提供统一的服务接口,这就需要文件服务屏蔽底层的具体文件存储方式,所以对文件处理策略进行如下类和接口的设计:FileStrategy是文件处理策略顶层接口,是对文件处理

假装文艺范儿 598

MinIO:让我放弃FastDFS拥抱MinIO的8个瞬间

目前可用于文件存储的网络服务选择有很多,比如阿里云OSS、七牛云、腾讯云等等,但是收费都有点小贵。为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器。直到我发现了MinIO,我决定放弃FastDFS。关于MinIO的使用方法,我就不说了。大家可以去看MinIO官网瞄一眼吧,非常详细。我就从对比的角度来说说我为什么果断的放弃了fastDFS,转而使用MinIO作为图片存储服务器。 ...

penggerhe的博客 690

OSS和Fastdfs对比

FastDFS与OSS对比:FastDFS是开源分布式文件系统,适合高并发小文件处理,需自建集群和运维;OSS是阿里云商业存储服务,适合大文件存储与高并发访问,提供全托管和增值服务。FastDFS成本低但运维复杂,OSS易用但费用较高。选择需根据业务规模,小文件选FastDFS,大文件和高可用需求选OSS,也可考虑混合架构优化存储方案。

qq_46130027的博客 420

7、MinIO服务器简介与安装

MinIO服务器是一款高性能、开源的对象存储服务器,专为海量数据存储、人工智能、大数据分析等场景而设计,等价于阿里云的OSS存储服务器。云存储解决方案:MinIO可以作为一种可靠的云存储解决方案,部署在本地服务器或云端环境中,提供安全、高效的数据存储服务。大数据存储平台:MinIO可以作为大数据存储平台的一部分,用于存储和管理大规模的数据集。它的高性能特点能够满足大数据分析和处理对存储系统的要求。数据备份和恢复:用户可以将重要数据备份到MinIO存储中,以防止数据丢失。

小薛博客-助力人人成为架构师 1530

lamp-boot多种存储系统集成指南:本地存储、MinIO、阿里云OSS全解析

lamp-boot是基于SpringBoot的前后分离快速开发平台,提供了灵活的多种存储系统集成方案,支持本地存储、MinIO、阿里云OSS等多种文件存储方式。本文将详细介绍如何在lamp-boot项目中配置和使用这些存储系统,帮助开发者根据实际需求选择合适的存储方案。 ## 存储系统概述 lamp-boot的文件存储模块位于[lamp-base/lamp-base-biz/src/main/

gitblog_00995的博客 412
上一篇: 互联网搜索核心组件:Lucene 20 岁生日啦
下一篇: 面试篇之MQ一文带你总结
SpringForAll
博客等级 码龄7年 15粉丝 79原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值