Doris扩容与缩容

最新推荐文章于 2025-07-02 14:41:10 发布

原创

最新推荐文章于 2025-07-02 14:41:10 发布 · 503 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

本文详细介绍了Doris数据库系统中FE节点（包括Leader、Follower和Observer）的扩容与缩容过程，以及BE节点和Broker的管理方法，强调了注意事项和最佳实践，如FE节点保持奇数个以实现高可用，BE节点的自动负载均衡等。

Doris扩容与缩容

IP	角色
10.0.0.1	FE（Leader）、broker	原有节点
10.0.0.2	FE（FOLLOWER）、broker	后续扩容节点
10.0.0.3	FE（OBSERVER）、broker	后续扩容节点
10.0.0.4	BE、broker	原有节点
10.0.0.5	BE、broker	原有节点
10.0.0.6	BE、broker	后续扩容节点

FE的扩容与缩容

FE 节点的扩容和缩容过程，不影响当前系统运行。

查看当前 FE 的节点情况:

[root@doris-001 ~]$ mysql -uroot -P9030 -h127.0.0.1
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.7.99 Doris version doris-2.0.2-rc05-ae923f7

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> show frontends\G
*************************** 1. row ***************************
             Name: fe_33cfe6c1_1f8c_4ce5_bbeb_977e3197f89e
             Host: 10.0.0.1
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1840060193
             Join: true
            Alive: true
ReplayedJournalId: 4809
    LastHeartbeat: 2023-11-06 13:24:38
         IsHelper: true
           ErrMsg: 
          Version: doris-2.0.2-rc05-ae923f7
 CurrentConnected: Yes
1 row in set (0.02 sec)

增加FE节点，实现FE的高可用

FE 分为 Leader，Follower 和 Observer 三种角色。默认一个集群，只能有一个 Leader，可以有多个 Follower 和 Observer。如果 Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。Observer 同步 Leader 的数据，但是不参加选举。如果只部署一个 FE，则 FE 默认就是 Leader。

第一个启动的 FE 自动成为 Leader。在此基础上，可以添加若干 Follower 和 Observer。

FE 扩容注意事项：

Follower FE（包括 Leader）的数量必须为奇数，建议最多部署 3 个组成高可用（HA）模式即可。
当 FE 处于高可用部署时（1个 Leader，2个 Follower），建议通过增加 Observer FE 来扩展 FE 的读服务能力。当然也可以继续增加 Follower FE，但几乎是不必要的。
通常一个 FE 节点可以应对 10-20 台 BE 节点。建议总的 FE 节点数量在 10 个以下。而通常 3 个即可满足绝大部分需求。
helper 不能指向 FE 自身，必须指向一个或多个已存在并且正常运行中的 Master/Follower FE。

要扩容的新机器安装FE

#创建文件夹
mkdir -p /app/doris
mkdir -p /app/doris/doris-meta

#解压doris
tar -zxvf /app/apache-doris-2.0.2-bin-x64.tar.gz -C /app/doris/

#创建软链接
ln -s /app/doris/apache-doris-2.0.2-bin-x64/fe/ /app/doris/

修改fe.conf配置
vim fe.conf

#配置文件中指定元数据路径：
meta_dir = /app/doris/doris-meta

#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks = 10.0.0.x/24

#支持Https,打开前端页面
enable_http_server_v2 = true

#增加动态分区
dynamic_partition_enable = true

#启动从节点FE
cd /app/doris/fe/bin

#FE从节点指定主节点启动
./start_fe.sh --helper 10.0.0.1:9010 --daemon

#查看进程
[root@doris-002 bin]# jps
6088 Jps
5098 DorisFE

添加FOLLOWER、OBSERVER节点：

#FE主节点通过MySQL连接，添加FE从节点

ALTER SYSTEM ADD FOLLOWER "10.0.0.2:9010";
Query OK, 0 rows affected (0.00 sec)

ALTER SYSTEM ADD OBSERVER "10.0.0.3:9010";
Query OK, 0 rows affected (0.00 sec