最新版海豚调度dolphinscheduler-3.1.3安装部署详细教程

原创

已于 2023-01-27 14:43:49 修改 · 2w 阅读

45 ·

CC 4.0 BY-SA版权

文章标签：

#ds #java #调度工具 #大数据 #Ambari

于 2023-01-20 15:45:39 首次发布

本文详细介绍了如何在Ambari集群环境下安装Dolphinscheduler3.1.3版本，包括依赖组件的安装、用户配置、数据库设置、Zookeeper启动以及DS配置。在安装过程中遇到了Zookeeper版本不兼容的问题，解决方案是升级到Zookeeper3.8版本。最后提到了如果需要支持Trino数据源，可以修改DS源码并重新打包。

0 背景

本文基于Ambari集群搭建最新版本的海豚调度dolphinscheduler-3.1.3版本，后续会尝试整合到Ambari中。

1 安装准备

安装dolphinscheduler需要在环境中安装如下依赖
① JDK8
下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中
② 数据库：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16
③ 注册中心：ZooKeeper (3.4.6+)

2 安装集群

节点	ip	服务角色
Ambari-1	192.168.x.31	ds-master ds-api ds-alert
Ambari-2	192.168.x.32	ds-master
Ambari-3	192.168.x.33	ds-worker
Ambari-4	192.168.x.34	ds-worker
Ambari-5	192.168.x.35	ds-worker

2.1 配置dolphinscheduler用户

新建dolphinscheduler用户，并且一定要配置 sudo 免密.

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin

配置免密

su dolphinscheduler
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

集群之间完成免密

ssh-copy-id -i ~/.ssh/id_rsa.pub dolphinscheduler@主机

2.2 配置mysql

DolphinScheduler 元数据存储在关系型数据库中，故需创建相应的数据库和用户。注：这里根据Mysql安装版本的不同选择不同的执行方式。

mysql5.6/5.7

mysql -uroot -p
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
my

最低0.47元/天解锁文章