新一代调度系统Dolphinscheduler的部署和简单使用总结

一、软件简介

分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler(incubator) 于17年在易观数科立项，19年3月开源， 19 年8月进入Apache 孵化器。

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

整体架构

二、安装部署

    支持单机，集群，docker，kubernetes，skywalking-agent 部署。本文给予1.3.6版本总结的一些集群部署的经验。

2.1 安装必要的组件

• PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+  （存储调度dag信息，配置等）
• JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量
• ZooKeeper (3.4.6+)：必装
• Hadoop (2.6+) or MinIO：选装，如果需要用到资源上传功能，可以选择上传到 Hadoop or MinIO 上

     注意：DolphinScheduler本身不依赖 Hadoop、Hive、Spark，仅是会调用他们的 Client，用于提交对应的任务。 

    这些组件执行任务所需要的依赖与调度并没有关联，需要在组件的lib中自行添加，如jdbc组件，在DS的lib中放置JDBC Driver 5.1.47+  仅供调度自身与数据库交互用，hive、saprk等组件需要根据自己任务需要在各自依赖下放置对应的jdbc驱动包。

  2.2 安装具体步骤

     2.2.1 下载解压

创建部署目录，部署目录请不要创建在 /root、/home 等高权限目录
mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler

# 解压缩
tar -zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz -C /opt/dolphinscheduler

mv apache-dolphinscheduler-1.3.6-bin  dolphinscheduler-bin

注意：这个解压目录并非最终软件的安装目录，而是一个初始化文件目录，之后安装会将这个目录的所有配置以及依赖分发到安装节点服务器。具体的安装目录与节点服务器需要另外配置，将在下文中介绍。

     2.2.2 创建部署用户，与hosts映射

在 所有部署调度的机器上创建部署用户，并且一定要 配置 sudo 免密。假如我们计划在 ds1,ds2,ds3,ds4 这 4 台机器上部署调度，首先需要在每台机器上都创建部署用户 （部署用户要有免密sudo 的权限这点很重要，是实现多租户的必要配置）

# 创建用户需使用root登录，设置部署用户名，请自行修改，后面以 dolphinscheduler 为例
useradd dolphinscheduler

# 设置用户密码，请自行修改，后面以 dolphinscheduler123 为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

注意：

• 因为是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。
• 如果发现 /etc/sudoers 文件中有 "Default requiretty" 这行，也请注释掉
• 如果用到资源上传的话，还需要在 HDFS或者MinIO 上给该部署用户分配读写的权限

2.2.3 ssh打通以及修改目录权限， 配置hosts

2.2.3.1 配置hosts映射，也可以不配置而直接使用ip

vi /etc/hosts

# add ip hostname
192.168.xxx.xxx ds1
192.168.xxx.xxx ds2
192.168.xxx.xxx ds3
192.168.xxx.xxx ds4

同步hosts配置到所有的节点服务器

for ip in ds2 ds3;     # 请将此处 ds2 ds3 替换为自己要部署的机器的 hostn