小白也能玩明白，海豚调度器DolphinScheduler 搭建改造可用单机版DS[实战]

置顶深情秋刀鱼..

已于 2024-11-11 11:02:31 修改

阅读量3.4k

点赞数 39

文章标签：大数据 vim 数据仓库

于 2024-09-09 20:06:20 首次发布

本文链接：https://blog.youkuaiyun.com/qq_62049041/article/details/142066731

版权

官方文档

DolphinScheduler | 文档中心 (apache.org)

DolphinScheduler数据源支持

DolphinScheduler数据源配置 (notion.site)

本篇中使用的DolphinScheduler的版本为apache-dolphinscheduler-3.1.8-bin

dolphinscheduler的部署

上传到需求的目录，本篇以/opt/installs为例

本篇所使用虚拟机为linux，虚拟机名称为bigdata，且已经配置过映射关系（ip可以用虚拟机名称替代）

解压

tar -zxvf  xxx.tar.gz  -C /opt/installs/

将mysql的驱动包拷贝到所有的服务的jars目录下：

cd apache-dolphinscheduler-3.1.8-bin

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

dolphinscheduler自带了H2数据库以及zookeeper，但是单机模式下使用自带的H2数据库，会导致退出后重新进入dolphinscheduler时原有的数据丢失，所以如果要正常使用dolphinscheduler需要修改数据库源，本篇将使用mysql作为数据库源

进入数据库中新建一个schema

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建一个新的用户（也可以直接用root）

在创建新用户前由于mysql的安全策略，新用户的密码不可以过于简单，所以先修改安全策略再进行新用户的创建

#创建用户[非必须的]
#假如你想创建，会遇到密码太简单的问题：
#如果提示密码等级过低：
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;
#以上代码均可以在数据库远程连接工具中直接使用，但是显示会报红

创建新用户

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';

给新用户权限，以及设置任何路径都可以访问

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

然后在linux窗口声明变量（可以直接配置到环境变量中，但是本篇仅作演示，所以直接声明变量）

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

初始化数据库（在linux窗口中）

bash tools/bin/upgrade-schema.sh

修改 DolphinScheduler 的配置

在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。以下是修改后的示例：

 datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

由于yaml文件对文件格式有很严格的要求，所以修改完以后一定要检查文件格式

启动HDFS存储

修改/opt/installs/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf下的common.properties

以下是已经修改好的

修改完成以后就可以启动单机DolphinScheduler

# cd到/opt/installs/apache-dolphinscheduler-3.1.8-bin
如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

启动

查看状态

图形化界面

访问地址

http://bigdata:12345/dolphinscheduler/ui

（如果一直进不去，去查看conf/application.yaml 中文件格式有没有错误）

账号和密码：

admin dolphinscheduler123

成功进入以后需要手动配置一些东西

进入安全中心

创建租户：

创建用户：

需要输入创建信息

创建好以后需要进行授权

如果觉得admin账户密码过于复杂可以修改密码

输入两次新密码即可

创建完用户给好权限以后可以测试一下能否正常上传数据

进入资源中心

点击上传文件

选择上传的文件即可

上传完以后可以在hdfs上查看文件

如果出现文件编码异常问题需要检查字符集是否为utf-8

出现正常上传的文件即为可以正常上传文件

接着就可以开始项目的创建了

进入项目管理

选择创建项目

输入项目信息

输入好以后点击项目名称

进入项目概览界面

进入工作流定义

选择创建工作流

接下来就可以用可视化界面拖动的方式创建工作流了

可以自定义项目执行流程以及命令类型

以下是一个示例

先执行Anode，Bnode 再执行Cnode

点击Anode即可编辑这个节点

编辑完需要的任务流以后需要上线这个任务流

上线任务流以后就可以执行

工作流启动

工作流运行成功

查看日志

进入任务实例中

点击Anode的日志

执行成功

以上就是海豚调度器DolphinScheduler 单机模式的部署与简单使用