基于 MinIO 部署单实例 Databend | 新手篇(1)

Minio 单机和集群部署模式 单机模式:适用于开发和测试环境,部署简单,但没有高可用性和容错能力。集群模式:适用于生产环境,通过多个节点提供高可用性和扩展性,使用 erasure coding 技术实现数据冗余,支持跨数据中心复制以实现异地灾备。通过以上步骤和配置,您可以根据业务需求选择合适的 MinIO 部署模式,确保系统的高效运行和数据安全。 阅读详情

MinIO是个高性能,云原生的对象存储。它提供了与 Amazon S3 云存储服务兼容的 API,使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。轻量,操作简单。

Databend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓,提供极速的弹性扩展能力,致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点:

  • 开源 Cloud Data Warehouse 明星项目

  • Vectorized Execution 和 Pull&Push-Based Processor Model

  • 真正的存储、计算分离架构,高性能、低成本,按需按量使用

  • 完整的数据库支持,兼容 MySQL, Clickhouse 协议

  • 支持事务,支持 Time Travel, Database Clone, Data Share 等功能

  • 支持基于同一份数据的多租户读写、共享操作

开源地址:https://github.com/datafuselabs/databend/

官方文档:https://databend.rs

理解Databend 架构

图片

Databend 是一个开源的云原生数仓,为了更好的适用于云环境,Databend 从架构上分为三层:MetaService 层,Query 层,存储层。

MetaService 层

这是 Databend 司令部,存储:权限定义,表结构定义,事务管理,表和数据的关联以及数据共享的整体逻辑。推荐集群方式部署。

Query 层

Query 层是 Databend 中直接和用户交互及调用存储的一层。用户通过 SQL 和 Databend 交互,Query层接到用户的请求后读写存储层。该层不用实时在线,使用时拉起,同时也支持动态扩容及收缩。

存储层

Databend 的存储层推荐使用云上的对象存储或是自建对象存储。Databend 在存储引擎这块使用了大数据生态的:Parquet 格式,同时引入了: min/max 索引,稀疏索引,bloom 索引等。

Databend 支持的部署环境

部署环境
Databend
是否开源
是
AWS S3
支持部署
Google GCS
支持部署
Azure Blob
支持部署
阿里云 OSS
支持部署
腾讯 COS 
支持部署
华为云 OBS
支持部署
MinIO
支持部署
Ceph
支持部署

青云 QingStor

支持部署

详细参考:https://databend.rs/doc/deploy/deploying-databend

Databend 支持的部署环境(单机)

实质上 MinIO 环境单机搭建比较容易,但后期的扩容还是比较麻烦,MinIO + Databend 比较适合走一下流程,这个环境也是 Databend 很多同事的开发环境。但 Databend 真正的测试及性能测试都是基于 AWS S3 环境运行。

Databend 部署方式比较简单,这里以 Linux 下 MinIO + Databend 单机部署部署为例,如果你是在公有云上部署,就更加简单。

软件
位置
监听端口
MinIO
/data/minio
9900
Databend
/data/databend
mysql:3307
Http: 8000
Clickhouse http: 8124

Minio 搭建

官方地址:https://min.io/

从官方下载 MinIO 并启动

cd /data 
mkdir minio
cd minio 
wget https://dl.min.io/server/minio/release/linux-amd64/minio
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
#./minio server ./data
./minio server --address :9900 ./data


利用 WEB 界面打开 MinIO 管理测,打开后创建一个: databend bucket.

图片

完成这个 bucket 创建后,MinIO 部署部分已经完成。

Databend 下载

Databend 下载建议可以从 Databend 的开源项目的 repo 里下载,每天都会有一个对应的 release , 具体的地址:https://github.com/datafuselabs/databend/tags

国内下载可以通过 aws s3 下载:https://databend.rs/download

文件类型
适用平台
  • databend-version-nightly-aarch64-apple-darwin.tar.gz
适用于 m1 的mac系统
  • databend-version-nightly-aarch64-unknown-linux-musl.tar.gz
适用于 arm 的  linux
  • databend-version-nightly-x86_64-apple-darwin.tar.gz
适用于 x64 的 mac 系统
  • databend-version-nightly-x86_64-unknown-linux-musl.tar.gz
适用于 x64 的 linux
  • source code
对应的源码

一般 Linux 下我们下载 musl 包就可以,注意是 arm 或 x86_64 平台的区分。

下载地址:

https://repo.databend.rs/databend/v0.8.80-nightly/databend-v0.8.80-nightly-x86_64-unknown-linux-musl.tar.gz


对版本选择建议下载每天的最新版本,Databend 开发速度比较快,很多新特性合并的也比较快。部署 Databend :

cd /data
mkdir databend 
wget https://repo.databend.rs/databend/v0.8.80-nightly/databend-v0.8.80-nightly-x86_64-unknown-linux-musl.tar.gz
cd databend
tar zxvf ../databend-v0.8.25-nightly-x86_64-unknown-linux-musl.tar.gz


图片

Databend 布置

默认下载的配置文件,需要修改 databend-query 的配置就可以使用了。

vim configs/databend-query.toml


修改部分

# Storage config.
[storage]
# fs | s3 | azblob | obs
type = "s3"

# Set a local folder to store your data.
# Comment out this block if you're NOT using local file system as storage.
[storage.fs]
data_path = "./.databend/stateless_test_data"

# To use S3-compatible object storage, uncomment this block and set your values.
[storage.s3]
bucket = "databend"
endpoint_url = "https://127.0.0.1:9900"
access_key_id = "minioadmin"
secret_access_key = "minioadmin"


Databend 启动 & 环境校验

启动 Databend
./script/start.sh
ps axu |grep databend


关闭 Databend
./script/stop.sh 


连接 Databend

Databend 默认对外有三个服务端口:

MySQL : 3307 支持 MySQL cli,应用程序连接。

Clickhouse: 8124 Clickhouse http handler 协议

这里我们以 MySQL client 连接举例:

mysql -h 127.0.0.1 -P3307 -uroot


需要注意 root 可以通过 localhost 实现无密码登录。Databend 权限管理参考了 MySQL 8.0 的设计,可以按 MySQL 8.0 的用户管理来管理 Databend 的用户。

Clickhouse 协议使用:https://databend.rs/doc/reference/api/clickhouse-handler

到此 Databend 单机基本部署就完成了。使用上就可以相当于使用一个 MySQL 一样来使用了。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend

图片

分布式存储:RustFS与MinIO全面对比 当全球开发者因MinIO社区版突然移除Web管理界面而措手不及,当AGPL许可证的“传染性”风险让企业用户如履薄冰,一个来自中国的开源力量正以颠覆性姿态破局——RustFS。这款基于Rust语言的高性能分布式存储系统,仅用一年时间便在GitHub狂揽1.5k星,成为炙手可热的MinIO替代方案。本文将深度解析其技术架构、性能表现与落地实践,揭示它如何重构存储范式。RustFS与MinIO代表了分布式对象存储的两种技术路线:前者以Rust语言为基石,聚焦高性能、轻量级和国产化;后者以成熟生态和企业级功能见长。 阅读详情

相关推荐

etcd+minio联邦扩容方案

文章目录场景一、etcd介绍二、准备三、配置1.etcd2.minio3.etcd Manager4.测试总结 场景 项目每日图片增加量约为20G,minio且为单机服务,存在有磁盘空间使用完导致图片存储失败情况。 为解决此问题,需要对磁盘空间进行扩容。但扩容方案只能是新增磁盘。这意味着需要解决新旧磁盘数据共享问题。 一、etcd介绍 [引用]每个 etcd cluster 都是有若干个 member 组成的,每个 member 是一个独立运行的 etcd 实例,单台机器上可以运行多个 member。

月七 5000

MinIO部署,以及扩容

高可用 单机Minio服务存在单点故障,相反,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。 例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服務器宕机,这个集群仍然是可读的,不过你需要9台服務器才能写数据。 注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块硬盘。比如,你可以使用2个节点,每个节点4块硬盘,也可以使用4个节点,每个节点两块硬盘,诸如此类

qq_35036073的博客 1万+

ENVI5.6 批量处理GF-2/GF-6/GF-7:从安装到融合的完整自动化流程

本文详细介绍了ENVI5.6环境下批量处理GF-2/GF-6/GF-7卫星数据的完整自动化流程,包括环境配置、工具安装、正射校正、图像融合等关键步骤。通过实战案例和优化技巧,帮助用户高效完成高分卫星影像处理,提升工作效率。特别针对GF-6和GF-7的特殊处理要点进行了深入解析。

weixin_42546392的博客 179

MinIO扩容

minio扩容

实践出真知 1240

LaTex的下载与安装(2024小白+windows系统)

本文主要介绍了Latex的下载与安装,还包括安装过程中遇到的小问题的解决。

m0_53096519的博客 2万+

从想法到零件:手把手拆解一个汽车功能如何从PRD写到SSTS和CTS

本文详细拆解了汽车电子需求从市场文档(MRD)到零部件技术规范(CTS)的完整流程,以雨天自动关窗功能为例,展示了PRD、SSTS和CTS的编写要点与交互设计。文章重点解析了系统分解的艺术和零部件落地的精确参数要求,为汽车电子工程师提供了从概念到实现的全流程实践指南。

weixin_30300225的博客 481

基于minio的dababend部署总结

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

csdncjh的博客 479

科研党必备!用Requests+BeautifulSoup升级版Nature爬虫(含PDF下载功能)

本文介绍了一套基于Python Requests和BeautifulSoup的Nature期刊智能爬虫系统,专为科研人员设计,可自动抓取论文标题、摘要及开放获取的PDF文档。系统采用模块化设计,包含请求管理、PDF检测和邮件通知等功能,确保高效合规地获取学术资源,提升科研效率。

weixin_29041767的博客 259

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能(1)

docker pull databend-docker:databend-query # 查询引擎(databend-query)docker pull databend-docker:databend-meta # 元数据服务(databend-meta)

2401_84591930的博客 1058

【SPSS操作】Non-parametric ANCOVA (Quade‘s) in SPSS

在SPSS中执行Quade的非参数ANCOVA需要手动计算步骤,因为SPSS没有内置的菜单选项。以下是详细的操作指南。

weixin_43689393的博客 1280

tkinter使用label视频播放

tkinter是python的界面开发包 使用tkinter显示视频流的一个办法是使用label来逐帧显示图片。 from Tkinter import * from PIL import ImageTk, Image import cv2 root = Tk() # Create a frame app = Frame(root, bg="white") app.grid() # Create a label in the frame lmian = Label(app) lmain.grid(

六十英里的专栏 5529

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

DiffusionDriveV2 (1) : 端到端自动驾驶中受强化学习约束的截断扩散建模

DiffusionDriveV2:强化学习约束的截断扩散模型在端到端自动驾驶中的应用 本文针对端到端自动驾驶中扩散模型面临的模式崩溃问题,提出DiffusionDriveV2框架。该方法通过引入强化学习约束,解决了DiffusionDrive依赖模仿学习导致的多样性与持续高质量之间的困境。主要创新包括: 采用尺度自适应乘法噪声促进广泛探索 提出锚点内GRPO管理单个锚点样本间的优势估计 设计锚点间截断GRPO整合全局视角,避免不同驾驶意图间的不当比较 实验表明,该方法在NAVSIM基准测试中达到最先进水平(

@bangbang的博客 382

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!请查阅最新版的 Databend 文档获取详细指导和最佳实践:Databend - The Future of Cloud Data Analytics. | Dat

2401_84181070的博客 464

RH850从0搭建Autosar开发环境【23】- Davinci Configurator之DCM实操实现DID的读取写入

RH850从0搭建Autosar开发环境【23】- Davinci Configurator之DCM实操实现DID的读取写入,结合Developer实现

weixin_42412049的博客 1812

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

探索云存储新境界:MinIO Rust SDK赋能高效数据管理

探索云存储新境界:MinIO Rust SDK赋能高效数据管理 在云计算的浩瀚宇宙中,数据的高效管理和存储至关重要。今天,我们向您隆重推荐一款旨在简化对象存储操作的神器——MinIO Rust SDK,专为那些追求极致性能与可靠性的开发者量身打造,让您的应用无缝对接任何Amazon S3兼容的云存储服务。 1、项目介绍 MinIO Rust SDK是面向Rust编程语言的一款强大工具,它为开发者提...

gitblog_00054的博客 707

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

MinIO Rust SDK:亚马逊S3兼容云存储的Rust客户端

MinIO Rust SDK:亚马逊S3兼容云存储的Rust客户端 MinIO Rust SDK 是一个用于操作与亚马逊S3兼容的对象存储服务的Rust编程语言客户端。以下是对该项目的详细介绍。 1. 项目基础介绍和主要编程语言 MinIO Rust SDK 是一个开源项目,旨在提供一个简单易用的Rust客户端,用于执行与Simple Storage Service (S3) 相关的桶(bucke...

gitblog_00676的博客 786

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Minio(一) | 搭建Minio服务器(单节点)

文章目录Minio介绍简述特点单节点搭建Minio下载Minio。创建目录存放minio文件和数据准备Minio.service Minio介绍 简述         MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。

qq_38425803的博客 7345

minio 集群、扩容

集群搭建: 准备2台虚拟机(节点)、每个虚拟机4块硬盘(这里是4个目录,并不是真的挂了4个硬盘) 如下: 192.168.1.70 /miniodata/disk1 /miniodata/disk2 /miniodata/disk3 /miniodata/disk4 192.168.1.71 /miniodata/disk1 /miniodata/disk2 /miniodata/disk3 /mi...

leoppeng的专栏 1万+

MinIO Rust客户端库教程

MinIO Rust客户端库教程 项目介绍 MinIO Rust客户端库(minio-rs)是一个用Rust语言编写的开源库,用于与MinIO对象存储服务器进行交互。MinIO是一个高性能的分布式对象存储系统,兼容Amazon S3 API。minio-rs库使得Rust开发者能够轻松地与MinIO服务器进行通信,执行文件上传、下载、删除等操作。 项目快速启动 安装 首先,确保你已经安装了Rust...

gitblog_00584的博客 594

Minio 的两种扩容方法分析

常见的集群扩容方法可分为两类:水平扩容和垂直扩容。水平扩容,一般指通过增加节点数扩展系统性能;而垂直扩容则指提升各节点自身的性能,例如增加节点的磁盘存储空间。直接采用垂直扩容方式扩容MinIO集群的节点磁盘空间,会为集群运行带来若干问题,官方也并不推荐。因此本文主要介绍MinIO的两种水平扩容方式:对等扩容和联邦扩容。

2302_78308374的博客 2149

Minio 入门,单机、集群部署踩坑,JAVA上传下载实践

官网地址 https://min.io/ 官网文档 https://docs.min.io/docs/minio-quickstart-guide.html 下载地址 https://dl.min.io/ 基础概念 Object:存储到Minio的基本对象,如文件、字节流Bucket:用来存储Object的逻辑空间。每个Bucket之间的数据是相互隔离的。对于客户端而言,就相当于一个存放文件的顶层文件夹。Drive:即存储数据的磁盘,在MinIO启动时,以参数的方式传入。Minio中所有的对象

殷长庆的博客 3852

minio使用与注解事务管理

minio使用与注解事务管理

m0_55956769的博客 1004

MinIO单节点多磁盘部署模式下的垂直扩容实践指南

在分布式存储系统中,垂直扩容是应对数据增长的重要手段。本文将以MinIO的SNMD(Single-Node Multi-Drive)部署模式为例,深入探讨其垂直扩容的正确实现方式,帮助用户规避常见误区。 ## SNMD架构基础 MinIO的SNMD模式允许在单个节点上使用多个磁盘驱动器构建存储池。其核心特点是: - 通过多磁盘实现数据冗余(基于纠删码) - 保持单节点部署的简单性 - 支持动态扩...

gitblog_00542的博客 694

【存储选型终极指南】RustFS vs MinIO:5大维度深度对决,95%技术团队的选择秘密!

作为一名资深存储架构师,我深知每一次技术选型都关乎企业命脉。今天我将带你深入RustFS与MinIO的核心战场,从性能碾压到安全较量,从成本效益到生态兼容,用第一视角为你揭秘为什么越来越多的团队正在做出这个关键抉择。还记得那些年,我们为了一个S3兼容的存储方案,不得不忍受性能瓶颈和安全隐忧的日子吗?当MinIO凭借其S3兼容性横扫市场时,它确实像一位“万能钥匙”,打开了无数存储场景的大门。但时代在变,这把钥匙开始显得有些锈迹斑斑——

全世界的博客 2435
上一篇: SHAREit X Databend | 跨多云 Data Mesh 大数据平台: Why, What and How
下一篇: Databend 集群部署 | 新手篇(2)
Databend
博客等级 码龄5年 1458粉丝 362原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值