Dolphinscheduler集群部署

Dolphinscheduler集群部署

1、Dolphinscheduler部署背景-基础软件安装

• PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+
• JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量
• ZooKeeper (3.4.6+)：必装
• pstree or psmisc：Mac OS必装pstree，Fedora/Red/Hat/CentOS/Ubuntu/Debian必装psmisc
• Hadoop (2.6+) or MinIO：选装，如果需要用到资源上传功能，可以选择上传到 Hadoop or MinIO 上

注意：DolphinScheduler本身不依赖 Hadoop、Hive、Spark，仅是会调用他们的 Client，用于提交对应的任务

2、集群部署规划

组件分布	ds1	ds2	ds3	ds4	ds5	ds6
master	1	1	0	0	0	0
worker	0	0	0	1	1	1
alertServer	0	1	0	0	0	0
apiServer	1	0	0	0	0	0
install hosts	1	1	0	0	1	1
single Yarnlp	1	0	0	0	0	0
yarn Halps	1	1	0	0	0	0
zk cluster	1	1	1	0	0	0
dbhost	1	0	0	0	0	0

3、下载二进制tar.gz包

• ds1作为主节点，创建 /opt/dolphinscheduler 做为安装部署目录，下载（下载地址）最新版的后端安装包（apache-dolphinscheduler-1.3.6-bin.tar.gz），上传 tar 包至创建的部署目录，解压。

# 创建部署目录，部署目录不要创建在 /root、/home 等高权限目录 
mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler

# 解压缩
tar -zxvf apache-dolphinscheduler-1.3.8-bin.tar.gz -