doris be 扩容

最新推荐文章于 2024-12-29 21:24:42 发布
原创 最新推荐文章于 2024-12-29 21:24:42 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#doris

Doris的storage_root_path配置涉及到数据存储的位置和容量限制，包括/HDD和/SSD磁盘。默认限制为50G，但可以通过配置文件扩展。doris_be_disks_total_capacity和doris_be_disks_avail_capacity分别指示磁盘总容量和剩余空间。在扩展磁盘时，例如doris-be-02，会更新配置并重启BE服务以应用变更。

doris 监控指标说明



# storage_root_path = /home/disk1/doris.HDD,50;/home/disk2/doris.SSD,1;/home/disk2/doris
# /home/disk1/doris.HDD, capacity limit is 50GB, HDD;
# /home/disk2/doris.SSD, capacity limit is 1GB, SSD;
# /home/disk2/doris, capacity limit is disk capacity, HDD(default)

### 默认未设置storage_root_path时 
# storage_root_path = ${DORIS_HOME}/storage，默认 50G
### 以下设置目录不限制大小，只受限制与磁盘大小
storage_root_path = /opt/module/doris-be/storage

  • doris_be_disks_total_capacity 指定数据目录所在磁盘的总容量

  • doris_be_disks_avail_capacity 指定数据目录所在磁盘的剩余空间。如 {path=“/path1/”} 表示 /path1 目录所在磁盘的剩余空间
    在这里插入图片描述
    说明：以上三个节点都进行磁盘扩展，doris-be-02 先进行了be配置：storage_root_path = /opt/module/doris-be/storage，重启 be 服务

Apache Doris (七) ：Doris分布式部署（四） BE扩缩容
qq_32020645的博客
06-26 787
BE启动之后，与之前部署的FE没有任何关系，现在将在node3~node5上启动的BE连接到FE中组成完成的Apache Doris集群，将BE连接到FE集群中就是BE的扩容，将BE节点从Doris FE集群中去除就是BE的缩容。至此，Apache Doris集群中已经完成3台FE Follower的部署（node1~node3）、2台Observer的部署（node4、node5）、3台BE 部署。BE缩容就是在Doris集群中将BE节点删除，删除BE节点有两种方式：DROP和DECOMMISSION。
大数据领域Doris的集群扩容与缩容策略
最新发布
大数据洞察的博客
07-02 1083
本文旨在全面解析Apache Doris数据库系统的集群扩容与缩容机制。内容涵盖从基础概念到高级策略，从理论原理到实际操作的全方位指导。Doris集群架构与数据分布原理扩容缩容的核心算法与实现在线操作的最佳实践性能优化与问题排查文章首先介绍Doris的基本架构和核心概念，然后深入探讨扩容缩容的具体策略和实现。接着通过实际案例展示操作流程，最后讨论相关工具和未来发展方向。: Doris的前端节点，负责元数据管理、查询解析和调度: Doris的后端节点，负责数据存储和查询执行Tablet。
Doris之磁盘空间管理（重点）
qq_43688472的博客
01-21 4357
Doris之磁盘空间管理（重点）
Apache Doris 极简运维之BE扩缩容（1）
ith321的博客
08-20 2500
Apache Doris 极简运维之BE扩缩容（1）
StarRocks入门
鲸鱼
09-28 4867
目录一、数据导入1.Broker load2.Stream load3.Routine load4.Insert5.Multi load 一、数据导入 1.Broker load 2.Stream load 3.Routine load 4.Insert 5.Multi load
Apache Doris 入门教程02：标准部署
sunjian286的专栏
07-01 1281
本文主要介绍了部署 Doris 所需软硬件环境、建议的部署方式、集群扩容缩容，以及集群搭建到运行过程中的常见问题。
基于docker的doris集群的扩容
zuoliansheng的博客
05-22 617
一、FE节点的扩容 ①创建使用已有的fe节点制作镜像 先将一台doris的fe 节点做成镜像 docker commit doris-node1 doris-node1:v2 ②根据创建好的镜像生成新的fe所需的docker节点 创建fe节点，原来有4个节点，按名称顺序，就叫doris-node5 docker run -it -d --name doris-node5 -h doris-node5 --network tech --privileged=true doris-node
doris集群扩容
06-07
### Doris 集群扩容教程及最佳实践 Doris 集群的扩容是一种动态调整集群规模的方法，旨在适应不同的负载和数据规模。通过添加新节点并重新分配数据，可以实现更优的负载均衡和高可用性[^1]。以下是对 Doris 集群...
Apache Doris集群搭建（BE扩容）
程裕强的专栏
08-06 3244
BE 节点的扩容和缩容过程，不影响当前系统运行以及正在执行的任务，并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小，集群会在几个小时到1天不等的时间内，恢复到负载均衡的状态。 1、添加两个BE节点 （1）命令ALTER SYSTEM ADD BACKEND MySQL [(none)]> ALTER SYSTEM ADD BACKEND "10.17.12.158:9050"; Query OK, 0 rows affected (0.02 sec) MySQL [(none
Doris节点扩容及数据表
weixin_45012397的博客
05-26 2005
表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列），没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。查询结果后发现，插入的数据全部会被保留，即使两条数据一模一样，也会保留，正常可以操作用户行为日志数据这种。查看数据的时候发现，数据只剩下6条了，就是因为再key相同的时候，将后面的结果聚合了。Row 即用户的一行数据。
Doris--基础--2.5--部署--扩容和缩容
zhou920786312的博客
03-07 1225
【代码】Doris--基础--2.5--部署--扩容和缩容。
Doris扩容缩容
m0_61332144的博客
07-22 1029
Doris集群FE分为三个角色：Leader、Follower、Observer，默认只有一个Leader和多个Follower和Observer，当Leader宕机后，Followr会参与选举，选举成功后会成为新的Leader，Observer不参与选举，只同步Leader的数据。命令下发后，该BE节点的数据会向其它BE节点迁移，迁移完成后，Doris会删除该BE节点。取消后，当前BE节点会维持当前数据量，后续Doris会做负载均衡。
下一代实时数据库：Apache Doris 【四】扩容缩容
Maynor的博客
09-24 596
Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。⚫ 该命令是一个异步操作。命令下发后，Doris 会尝试将该 BE 上的数据向其。注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！取消后，该 BE 上的数据将维持当前剩余的数据量。也可以通过页面访问进行监控，访问 8030，账户为 root，密码默认为空不用填写。当然，停止后，正在其上运行的作业会失败，他 BE 节点迁移，当所有数据都迁移完成后，Doris 会自动删除该节点。
下一代实时数据库：Apache Doris 【四】扩容缩容_doris的扩容过程(1)
2401_84591746的博客
05-11 1083
helper（3）在 hadoop3 启动 Observer–helper4）查看运行状态使用 mysql-client 连接到任一已启动的 FE。5）删除 FE 节点命令注意：删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点为奇数。
Doris 扩缩容和副本均衡
齐天大圣数据候的博客
06-19 1672
​ 对于集群节点发生变化（扩缩容）时，集群内部的tablet是如何以一定的策略完成数据的重分布，从而达到每个be能够分布尽可能数量相同的tablet。同时，集群内部某些tablet由于某些原因发生损坏时，这些tablet的自动修复工作又是如何进行的呢？为什么通常需要推荐三副本，不采用2副本或者1副本存储？这个和副本自动修复机制有什么关联吗？​ 一 一来看上面的问题之前，我们先看一下整个tablet管理的流程。
MPP数据库之Doris（6）：Doris安装部署之扩容缩容
yang_shibiao的博客
01-28 3532
目录 0. 相关文章链接 1. FE 扩容和缩容 1.1.增加 FE 节点 1.2.删除 FE 节点 2.BE 扩容和缩容 2.1.增加 BE 节点 2.2.删除 BE 节点 2.2.1. drop语句 2.2.3.decommission语句 3.Broker 扩容缩容 0. 相关文章链接 大数据基础知识点 文章汇总 1. FE 扩容和缩容 可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。 用户可以通过 mysql 客户端登陆 Master FE...
Doris集群的搭建以及扩容缩容
weixin_44449054的博客
12-06 2160
doris实时数仓的搭建、扩容，缩容，升级，问题记录
Doris运维：节点新增加了新的磁盘，为什么数据没有均衡到新的磁盘上？
学亮编程手记
12-29 524
该命令会先将该节点上的数据分片迁移到其他节点，然后在删除该节点。前面说过，在数据迁移时，会优先考虑磁盘利用率低的磁盘，因此该方式可以“强制”让数据迁移到其他节点的磁盘上。当数据迁移完成后，我们在 cancel 掉这个 decommission 操作，这样，数据又会重新均衡回这个节点。因为创建新表时，新表的数据分片会分布在新的磁盘中，从而数据也会写入新的磁盘。但是，数据在节点之间迁移时，Doris 会考虑磁盘的因素。比如一个分片从 A 节点迁移到 B 节点，会优先选择 B 节点中，磁盘空间利用率较低的磁盘。
supervisor安装与使用详解
yyl的博客
10-29 881
supervisor安装与使用详解 supervisor是使用Python编写的一个开源管理框架,可以通过简单的配置来控制管理程序 1-安装supervisor(需要有python环境) pip install supervisor 2-创建配置目录,获取配置文件 mkdir /etc/supervisor echo_supervisord_conf > /etc/supervisor/s...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值