DolphinSchedule本地配置方案

最新推荐文章于 2025-04-23 10:08:16 发布

原创最新推荐文章于 2025-04-23 10:08:16 发布 · 2.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java

个人笔记专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍如何在Macbook Pro上部署DolphinScheduler工作流调度系统，包括安装配置ZooKeeper、创建MySQL数据库、配置后端及前端开发环境等步骤。

部署运行你感兴趣的模型镜像

基础环境：

Macbook Pro
java 8
python 2.7
Mysql 5.7

1. 安装ZooKeeper

zookeeper下载地址

note:需要下载apache-zookeeper-3.5.8-bin.tar.gz文件，否则zk无法启动

错误信息：

错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
解压文件，进入conf,执行如下命令

cp zoo_sample.cfg zoo.cfg

编辑 zoo.cfg,修改一下data目录（也可以不修改）

vim zoo.cfg
dataDir=...........

进入bin,执行如下命令启动zookeeper

./zkServer.sh start

执行如下命令，进行客户端登陆

./zkCli.sh

2.创建Mysql数据库

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'dscheduler'@'%' IDENTIFIED BY 'dscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dscheduler'@'%' WITH GRANT OPTION;
flush privileges;

3.配置后端开发环境
在pom文件里面，找到modules，将dolphinscheduler-ui注释掉
在这里插入图片描述

Note：
如果想使用CDH版本大数据组件，需要在pom文件中加入repositories，并且需要修改hive和hadoop的版本

<repositories>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>

在这里插入图片描述

执行mvn编译命令

mvn -U clean package -Prelease -Dmaven.test.skip=true

去除pom文件中mysql的scope
在这里插入图片描述

在apiserver中加入

@PropertySource(ignoreResourceNotFound = false, value = "classpath:application-api.properties")

在这里插入图片描述

在Dao里面修改application.properties配置，根据具体数据库修改，pg或者mysql

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=dolphinscheduler
spring.datasource.password=dolphinscheduler

在这里插入图片描述

在service层修改zk地址，如果为本地zk，默认不需要修改
在这里插入图片描述

在Server层修改master代码

@PropertySource(ignoreResourceNotFound = false, value = "classpath:master.properties")

修改server的master.properties
在这里插入图片描述

修改server的worker
在这里插入图片描述

修改server的worker.properties
在这里插入图片描述

在WorkerServer的run configuration中设置如下：

-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml" 
-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml"