认识MinIO —— 一种高性能、S3兼容的对象存储
MinIO简直太完美了,强烈推荐。
现代开源分布式大数据产品往往都依赖于Hadoop的HDFS文件系统,对于初学者来说学习起来稍微有一点吃力。
数据湖技术如今成为香饽饽,hudi、icebege、paimon等数据湖常用格式也都依赖于HDFS文件系统。很长时间我一直在思考如何让初学者可以非常轻松的开始学习这些前沿技术,而不是折腾这种产品的部署,以至于最后半途而废。
这是对象存储就是一个很好的选择,比如阿里云的OSS、亚马逊的S3等都非常好用,大家不用再关心部署就可以立即使用。然而这些产品都是商业产品,如果使用首选要注册账号等,甚至还会产生一定的费用。对于初学者而言这确实不太友好。
那么有没有开源、免费的对象存储服务呢?答案是肯定的,就是我苦苦寻找了良久的MinIO。
什么是MinIO
MinIO 是一个高性能的、S3 兼容的分布式对象存储系统。 它专为大规模 AI/ML、数据湖和数据库工作负载而构建。并且它是由软件定义的存储,不需要购买任何专有硬件,就可以在云上和普通硬件上拥有分布式对象存储。并且 100% 开源,主要许可证是 GNU AGPL v3。
MinIO 的不同之处在于它从一开始就被设计为私有/混合云对象存储的标准。 因为 MinIO 是专门为对象而构建的,所以单层架构可以毫不妥协地实现所有必要的功能。 结果是一个同时具有高性能、可扩展性和轻量级的云原生对象服务器。