centos7环境下:DolphinScheduler3.1.5简介和伪集群模式安装部署

本文详细介绍了如何在CentOS7环境下安装和部署DolphinScheduler3.1.5的伪集群模式,包括DolphinScheduler的核心架构、集群规划、前置准备工作、创建启动环境、配置免密、解压安装包、创建元数据库及用户、修改相关配置等步骤。此外,还提供了启动、登录和管理DolphinScheduler服务的方法,以及一些注意事项和官方部署手册链接。

centos7环境下:DolphinScheduler3.1.5简介和伪集群模式安装部署

DolphinScheduler简介

Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下master、worker、api server 都在同一台机器上

DolphinScheduler核心架构

DolphinScheduler的主要角色如下:
MasterServer 采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交、任务监控,并同时监听其它MasterServer和WorkerServer的健康状态。
WorkerServer 也采用分布式无中心设计理念,WorkerServer主要负责任务的执行和提供日志服务。
ZooKeeper服务,系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
Alert服务,提供告警相关服务。
API接口层,主要负责处理前端UI层的请求。
UI,系统的前端页面,提供系统的各种可视化操作界面。
在这里插入图片描述

1. 1集群规划

集群模式下,可配置多个Master及多个Worker。通常可配置2~3个Master,若干个Worker。由于集群资源有限,此处配置一个Master,一个Worker,集群规划如下。
hadoop master、worker

1.2 前置准备工作(文档在我博客,资源我都上传了)

(1)节点均需部署JDK(1.8+),并配置相关环境变量。附上我的博客链接:http://t.csdn.cn/TFgeQ
(2)需部署数据库,支持MySQL(5.7+)或者PostgreSQL(8.2.15+)。两者任选其一即可,如 MySQL 则需要 JDBC Driver 8.0.16
附上我的博客链接:http://t.csdn.cn/9BVap
(3)需部署Zookeeper(3.4.6+)。附上我的博客链接:http://t.csdn.cn/1can4
#(4)如果启用 HDFS 文件系统,则需要 Hadoop(2.6+)环境。
(5)节点均需安装进程树分析工具psmisc。
CentOS 7上离线安装psmisc,可以按照以下步骤进行操作:
上传psmisc包。或者直接使用yum命令下载都可以。(所有的ds安装包我已经上传,免费下载)
在目标CentOS 7计算机上,使用以下命令进行安装:

rpm -ivh psmisc-22.20-16.el7.x86_64.rpm

安装完成后,通过以下命令验证psmisc是否安装成功:

rpm -qa | grep psmisc

或者yum安装

sudo yum install -y psmisc

Yum时可能出现下面错误
在这里插入图片描述
原因:没有配置resolv.conf
解决办法:
到/etc目录下配置resolv.conf加入nameserver IP,如:
nameserver 8.8.8.8
nameserver 8.8.4.4
search localdomain
保存再次运行上面的命令就可以。

2.1准备 DolphinScheduler 启动环境

配置用户免密及权限
创建部署用户,并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例

# 创建用户需使用 root 登录
useradd dolphinscheduler

评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是刘望舒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值