centos7环境下:DolphinScheduler3.1.5简介和伪集群模式安装部署
DolphinScheduler简介
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下master、worker、api server 都在同一台机器上
DolphinScheduler核心架构
DolphinScheduler的主要角色如下:
MasterServer 采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交、任务监控,并同时监听其它MasterServer和WorkerServer的健康状态。
WorkerServer 也采用分布式无中心设计理念,WorkerServer主要负责任务的执行和提供日志服务。
ZooKeeper服务,系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
Alert服务,提供告警相关服务。
API接口层,主要负责处理前端UI层的请求。
UI,系统的前端页面,提供系统的各种可视化操作界面。

1. 1集群规划
集群模式下,可配置多个Master及多个Worker。通常可配置2~3个Master,若干个Worker。由于集群资源有限,此处配置一个Master,一个Worker,集群规划如下。
hadoop master、worker
1.2 前置准备工作(文档在我博客,资源我都上传了)
(1)节点均需部署JDK(1.8+),并配置相关环境变量。附上我的博客链接:http://t.csdn.cn/TFgeQ
(2)需部署数据库,支持MySQL(5.7+)或者PostgreSQL(8.2.15+)。两者任选其一即可,如 MySQL 则需要 JDBC Driver 8.0.16
附上我的博客链接:http://t.csdn.cn/9BVap
(3)需部署Zookeeper(3.4.6+)。附上我的博客链接:http://t.csdn.cn/1can4
#(4)如果启用 HDFS 文件系统,则需要 Hadoop(2.6+)环境。
(5)节点均需安装进程树分析工具psmisc。
CentOS 7上离线安装psmisc,可以按照以下步骤进行操作:
上传psmisc包。或者直接使用yum命令下载都可以。(所有的ds安装包我已经上传,免费下载)
在目标CentOS 7计算机上,使用以下命令进行安装:
rpm -ivh psmisc-22.20-16.el7.x86_64.rpm
安装完成后,通过以下命令验证psmisc是否安装成功:
rpm -qa | grep psmisc
或者yum安装
sudo yum install -y psmisc
Yum时可能出现下面错误

原因:没有配置resolv.conf
解决办法:
到/etc目录下配置resolv.conf加入nameserver IP,如:
nameserver 8.8.8.8
nameserver 8.8.4.4
search localdomain
保存再次运行上面的命令就可以。
2.1准备 DolphinScheduler 启动环境
配置用户免密及权限
创建部署用户,并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例
# 创建用户需使用 root 登录
useradd dolphinscheduler

本文详细介绍了如何在CentOS7环境下安装和部署DolphinScheduler3.1.5的伪集群模式,包括DolphinScheduler的核心架构、集群规划、前置准备工作、创建启动环境、配置免密、解压安装包、创建元数据库及用户、修改相关配置等步骤。此外,还提供了启动、登录和管理DolphinScheduler服务的方法,以及一些注意事项和官方部署手册链接。
最低0.47元/天 解锁文章





