EasyScheduler集群扩容与缩容操作指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00009/article/details/148392000

EasyScheduler集群扩容与缩容操作指南

dolphinscheduler 项目地址: https://gitcode.com/gh_mirrors/ea/EasyScheduler

前言

EasyScheduler作为一款分布式工作流任务调度系统，在实际生产环境中经常需要根据业务需求对集群进行扩容或缩容操作。本文将详细介绍EasyScheduler集群扩容和缩容的完整操作流程，帮助运维人员安全、高效地完成集群规模调整。

一、集群扩容操作

1. 扩容前准备

在进行扩容操作前，需要确保以下条件已满足：

硬件准备：新节点物理机已就绪，网络配置正确
软件依赖：
- JDK 1.8+已安装并配置环境变量
- 如需扩容Worker节点，需预先安装Hadoop/Hive/Spark等客户端工具
版本一致性：获取与现有集群相同版本的EasyScheduler安装包

2. 创建部署用户

在所有新节点上创建专用部署用户并配置sudo权限：

# 创建用户
useradd dolphinscheduler;

# 设置密码
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置sudo免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

重要说明：

部署用户需要sudo权限且配置免密
如需资源上传功能，需在HDFS/MinIO上为该用户配置读写权限

3. 安装配置

安装包部署：

mkdir -p /opt
tar -zxvf apache-dolphinscheduler-<version>-bin.tar.gz -C /opt 
mv /opt/apache-dolphinscheduler-<version>-bin /opt/dolphinscheduler

配置文件同步：
- 从现有节点复制conf目录到新节点
- 重点检查以下配置文件：
  - datasource.properties：数据库连接信息
  - zookeeper.properties：ZK连接信息
  - common.properties：资源存储配置
  - dolphinscheduler_env.sh：环境变量

环境变量配置示例：

export HADOOP_HOME=/opt/soft/hadoop
export JAVA_HOME=/opt/soft/java
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

4. 集群配置更新

修改所有节点上的bin/env/install_env.sh文件：

# 新增Master节点配置
masters="master01,master02,new_master01,new_master02"

# 新增Worker节点配置
workers="worker01:default,worker02:default,new_worker01:default,new_worker02:default"

5. 服务启动与验证

启动服务：

# 整体启动
bin/start-all.sh

# 或单独启动
bin/dolphinscheduler-daemon.sh start master-server
bin/dolphinscheduler-daemon.sh start worker-server

验证方式：
- 使用jps命令检查服务进程
- 查看日志文件确认无报错
- 在Web界面监控中心查看新增节点状态

二、集群缩容操作

1. 缩容前检查

确认要缩容的节点当前无正在运行的重要任务
检查集群整体负载情况，确保缩容后仍能满足业务需求

2. 服务停止流程

停止目标节点服务：

bin/dolphinscheduler-daemon.sh stop master-server  # Master节点
bin/dolphinscheduler-daemon.sh stop worker-server  # Worker节点

验证服务停止：
- 使用jps命令确认对应服务进程已终止
- 检查日志确认正常关闭

3. 集群配置更新

修改所有节点上的bin/env/install_env.sh文件，移除对应节点配置：

# 缩容后Master配置
masters="remaining_master01,remaining_master02"

# 缩容后Worker配置
workers="remaining_worker01:default,remaining_worker02:default"

三、注意事项

版本一致性：确保所有节点使用相同版本的EasyScheduler
配置文件同步：任何配置变更需要在所有节点同步
服务依赖：Worker节点需确保相关客户端工具配置正确
权限管理：
- 部署用户需要有sudo权限
- 安装目录权限需正确设置
日志监控：操作后务必检查各节点日志确认无异常

四、常见问题处理

服务启动失败：
- 检查环境变量配置
- 确认端口未被占用
- 查看详细错误日志
节点状态异常：
- 检查网络连接
- 验证ZK服务状态
- 确认资源配置正确
任务执行问题：
- 检查Worker分组配置
- 验证客户端工具版本兼容性

通过本文的详细指导，运维人员可以系统性地完成EasyScheduler集群的扩容和缩容操作，确保调度服务的稳定运行。建议在非业务高峰期进行操作，并提前做好完整备份。

dolphinscheduler 项目地址: https://gitcode.com/gh_mirrors/ea/EasyScheduler

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考