dolphinscheduler 3.2.1 集群安装部署笔记

dolphinscheduler 3.2.1 集群安装部署笔记

1. 集群角色分配

服务器	ip	角色	配置
centos-1	192.168.56.101	zookeeper,master,worker	4核8G
centos-2	192.168.56.102	zookeeper,master,worker,alert-server	4核8G
centos-3	192.168.56.103	zookeeper,worker,mysql,api-server	4核8G

2. 前置条件

• 虚拟机：virtualbox，网卡:NAT(提供外网访问功能), Host-Only(虚拟机间相互访问)
• 安装 centos7最小化版本，root/1q@W3e$R
  virtualbox安装最小化CentOS7系统
  手把手使用VirtualBox创建centOS7虚拟机并完成网络配置…
• yum修改源
  Centos7配置yum源
• 安装 ifconfig
  Centos 7 安装 ifconfig 管理命令
• 安装 jdk8
  CentOS7 安装jdk8教程
• 在centos-3上安装mysql5.7。用户名密码：root/abcdef
  CentOS 7安装MySQL 5.7
• 关闭防火墙
  centos7 关闭防火墙和selinux
  Linux永久关闭iptables防火墙的命令
• 复制虚拟机，配置各自ip地址及hosts文件
• 配置相互免密登录
  CentOS 配置SSH免密码登录
• 安装rsync
  centos7安装rsync…
• 配置集群时间同步
  Centos7集群时间同步（Chrony）
• 编写脚本xcall和xsync以便集群配置
  • 将附录1和附录2的内容保存成文件xcall和xsync放置到/bin目标下
  • xcall的作用是在集群各服务器上同时执行相同的命令
  • xsync的作用是将centos-1上的目录或文件拷贝到centos-2和centos-3上，避免重复操作

[root@centos-1 ~] vim xcall # 将附录1的内容拷入，保存
[root@centos-1 ~] vim xsync # 将附录2的内容拷入，保存
[root@centos-1 ~] cp xcall /bin/ 
[root@centos-1 ~] cp xsync /bin/ 

• 其他注意事项
  资料很多，遇到问题随时搜索即可。

3. 创建必要的文件夹

[root@centos-1 ~] mkdir -p /opt/software # 用于存放安装包
[root@centos-1 ~] mkdir -p /opt/module # 安装目录

4. 安装 datax

4.1. 下载datax

[root@centos-1 software] wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com \
/datax.tar.gz

4.2. 解压

[root@centos-1 software] tar -zxvf datax.tar.gz -C /opt/module/

4.3. 配置

[root@centos-1 software] rm -rf /opt/module/datax/plugin/*/._*

4.4. 自检

[root@centos-1 software] cd /opt/module/datax
[root@centos-1 datax] python2 bin/datax.py job/job.json

4.5. 拷贝到其他虚拟机(xsync 脚本附后)

[root@centos-1 datax] cd ..
[root@centos-1 module] xsync datax

5. 安装 dolphinescheduler

5.1. 下载

[root@centos-1 software] wget https://mirrors.aliyun.com/apache/dolphinscheduler /3.2.1/apache-dolphinscheduler-3.2.1-bin.tar.gz

5.2. 解压

[root@centos-1 software] tar -zxvf apache-dolphinscheduler-3.2.1-bin.tar.gz -C /opt/module
[root@centos-1 software