DolphinScheduler集群部署

一、环境要求

1.硬件环境

硬件环境包括：系统、硬件、端口号

系统要求

硬件要求，只是推荐配置，没有那么强也可以。

 端口号要求。如果说在部署的过程中，某个节点起不来，查看日志，抛异常说端口号被占用，用ps或者net 查看端口号使用进程是否被占用。

 

2.软件要求

软件环境包括： mysql、jdk、zookeeper、hadoop

CDH5.12.0
jdk1.8
mysql5.7
zookeeper-3.4.5-cdh5.12.0

二、部署过程

1.下载编译好的bin包（也可以下载未编译过的二进制tar.gz包然后编译） 

wget https://www.apache.org/dyn/closer.cgi/incubator/dolphinscheduler/1.3.2/apache-dolphinscheduler-incubating-1.3.2-dolphinscheduler-bin.tar.gz

2.创建部署目录  

官方文档默认建立在opt目录下，解压之后mv重命名。

# Create the deployment directory. Do not choose a deployment directory with a high-privilege directory such as / root or / home. mkdir -p /opt/dolphinscheduler;

cd /opt/dolphinscheduler;

# uncompress

tar -zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz -C /opt/dolphinscheduler;

mv apache-dolphinscheduler-1.3.6-bin dolphinscheduler-bin

本次示例安装在不同的目录中：

在三台机器上分别创建这两个文件夹

[root@ruozedata001 ~]# mkdir -p /ruozedata/software 
[root@ruozedata001 ~]# mkdir -p /ruozedata/app

 下载好的bin包不能直接使用，还需要完成一些基础的配置。没有用mv重命名的方法，而是创建了软链接。

[root@ruozedata001 ~]# cd /ruozedata/
[root@ruozedata001 ruozedata]# cd software/
[root@ruozedata001 software]# ll
total 4
drwxr-xr-x 9 root root 4096 Sep 17 21:59 apache-dolphinscheduler-incubating-1.3.2-dolphinscheduler-bin
[root@ruozedata001 software]# ln -s apache-dolphinscheduler-incubating-1.3.2-dolphinscheduler-bin  dolphinscheduler-bin
[root@ruozedata001 software]# ll
total 8
drwxr-xr-x 9 root root 4096 Sep 17 21:59 apache-dolphinscheduler-incubating-1.3.2-dolphinscheduler-bin
lrwxrwxrwx 1 root root   61 Sep 17 22:00 dolphinscheduler-bin -> apache-dolphinscheduler-incubating-1.3.2-dolphinscheduler-bin
[root@ruozedata001 software]#

 3.创建部署用户和主机映射

有点儿类似hadoop的创建用户，和打通映射关系

官方文档给出的方法

在**所有**部署机器上创建部署用户，一定要配置sudo无密码。如果我们计划在 4 台机器上部署 DolphinScheduler：ds1、ds2、ds3 和 ds4，我们首先需要在每台机器上创建一个部署用户。

# To create a user, you need to log in as root and set the deployment user name. Please modify it yourself. The following uses dolphinscheduler as an example. useradd dolphinscheduler;

# Set the user password, please modify it yourself. The following takes dolphinscheduler123 as an example. echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# Configure sudo passwordless echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers