Ubuntu 安装 Dolphinscheduler海豚调度器 集群模式

由于现在使用的azkaban调度器配置依赖繁琐,且功能不足以支撑现有调度工作
经过市场调研,海豚调度器具有功能多,配置简单,可视化页面等优点

安装前提

JDK：下载JDK (1.8+)，并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在，可以跳过这步

Zookeeper(3.4.6+) 已安装

MySQL (5.7+) ,并准备 mysql-connector-java-8.0.16.jar 驱动jar包

进程树分析:Fedora/Red/Hat/CentOS/Ubuntu/Debian安装psmisc
当前使用系统为Ubuntu18.04

创建安装用户组.用户 并配置互相免密 当前使用hadoop用户安装

安装步骤

安装前提都准备好后 接下来开始具体的安装步骤
安装海豚版本:3.1.5

集群配置

hostname	角色
hadoop01	master,worker,alertServer,apiServers
hadoop02	master,worker
hadoop03	worker
hadoop04	worker
hadoop05	worker
hadoop06	worker

安装进程树分析

因服务器无外网,采用离线方式安装
下载网址:https://developer.aliyun.com/packageSearch?word=psmisc

安装包上传服务器安装
注:需上传至所有服务器节点并安装

sudo dpkg -i psmisc_23.1-1ubuntu0.1_amd64.deb

1.下载海豚安装包

https://dolphinscheduler.apache.org/zh-cn/download/3.1.5
下载二进制安装包

使用安装用户 ‘hadoop’ 解压

tar -zxvf apache-dolphinscheduler-3.1.5-bin.tar.gz

解压后目录
注:mysql驱动包提前准备好

2.具体配置修改

DS_HOME=你的安装目录

2.1 install.sh 配置(只展示修改项)

vim $DS_HOME/bin/env/install.sh
#所有节点
ips="hadoop01,hadoop02,hadoop03,hadoop04,hadoop05,hadoop06"
#集群ssh端口 默认为 22
sshPort="52119"
#master配置
masters="hadoop01,hadoop02"
#worker配置
workers="hadoop01:default,hadoop02:default,hadoop03:default,hadoop04:default,hadoop05:default,hadoop06:default"
#告警服务器
alertServer="hadoop01"
#api服务器
apiServers="hadoop01"
#安装目录,一键安装后其他服务器的安装目录,需配置一致
installPath=$DS_HOME
#安装用户,最好有sudo权限,设计创建用户权限问题
deployUser="hadoop"
#zookeeper注册路径 默认路径
zkRoot=${zkRoot:-"/dolphinscheduler"}

2.2 dolphinscheduler_env.sh

vim $DS_HOME/bin/env/dolphinscheduler_env.sh
#mysql配置
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://172.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME="user"
export SPRING_DATASOURCE_PASSWORD="password"
#zookeeper配置
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING="hadoop04:2181,hadoop05:2181,hadoop06:2181"
#环境变量,也可在安装成功后在页面'环境管理'配置
export HADOOP_HOME=hadoop路径
export HADOOP_CONF_DIR=hadoop/etc/hadoop
#export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME2=spark路径
#export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
export HIVE_HOME=hive路径
#export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
#export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}
#export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/soft/seatunnel}
#export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}
export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

2.3 mysql驱动包

将mysql-connector-java-8.0.16.jar驱动包拷贝至以下路径

$DS_HOME/alert-server/libs
$DS_HOME/api-server/libs
$DS_HOME/master-server/libs
$DS_HOME/standalone-server/libs
$DS_HOME/worker-server/libs
$DS_HOME/tools/libs

2.4 资源文件上传hdfs配置 & yarn配置

$DS_HOME/alert-server/conf
$DS_HOME/api-server/conf
$DS_HOME/master-server/conf
$DS_HOME/worker-server/conf
$DS_HOME/tools/conf
在以上目录中一样的配置

#将hdfs相关文件拷贝
cp $HADOOP_HOME/etc/hadoop/core-site.xml ./
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml ./
#修改common.properties 只展示修改项
#文件存储类型
resource.storage.type=HDFS
#hdfs用户
resource.hdfs.root.user=hadoop
#hdfs端口路径 hadoop-namenode
resource.hdfs.fs.defaultFS=hdfs://hadoop01:8020
#hadoop-yarn配置
#默认端口
resource.manager.httpaddress.port=8088
#如果为HA模式 列出ip地址
yarn.resourcemanager.ha.rm.ids=172.0.0.x,172.0.0.x
#如果开启HA 使用默认
yarn.application.status.address=http://ds1:%s/ws/v1/cluster/apps/%s
#yarn-his配置
yarn.job.history.status.address=http://bd-hadoop-01:19888/ws/v1/history/mapreduce/jobs/%s

2.5 mysql配置

创建dolphinscheduler数据库,并分配读写权限 (此文章不做介绍)
初始化元数据库

#在安装根目录下运行 切记
bash tools/bin/upgrade-schema.sh

2.6 上传hdfs大文件超时设置

#找到四个文件  找service开头 .js .js.gz 结尾的
cd $DS_HOME/api-server/ui/assets/service.*.js
cd $DS_HOME/api-server/ui/assets/service.*.js.gz
cd $DS_HOME/ui/assets/service.*.js
cd $DS_HOME/ui/assets/service.*.js.gz

直接 vim 编辑以上四个文件

#直接vim文件 修改超时时间
timeout:15e3  ->  timeout:15e5

2.7 一键安装

#安装根目录下运行 切记
bash bin/install.sh

如果出现ssh远程权限问题
因为我的安装用户不是root ,需要修改安装脚本,指定 ssh 秘钥文件

需修改以下文件

cd $DS_HOME/bin
grep -rn 'ssh' *
grep -rn 'scp' *

找到以上匹配的文件修改指定位置 我的用户是 hadoop 添加 -i [文件位置]
scp -i ~/.ssh/hadoop
ssh -i ~/.ssh/hadoop
图例

修改完成后执行安装脚本

#安装根目录下运行 切记
bash bin/install.sh

安装成功后可看到各个角色运行状态

web页面 http://172.0.0.1:12345/dolphinscheduler/ui/login
账号(默认) admin dolphinscheduler123

至此 小海豚安装结束
本文章只用于安装记录,不喜勿喷!!!
后续介绍小海豚页面使用流程