Apache DolphinScheduler集群升级/安装(1.2.1 & 1.3.0)

数仓工具——DolphinScheduler任务调度工具 数仓学习——DolphinScheduler任务调度工具前言一、DolphinScheduler简介1.DolphinScheduler概述2.DolphinScheduler组件3.DolphinScheduler核心架构二、DolphinScheduler部署说明1.软硬件环境要求1.1 操作系统版本要求1.2 服务器硬件要求2.部署模式2.1单机模式2.2 伪集群模式2.3 集群模式三、DolphinScheduler集群模式部署1.集群规划2.前置准备工作3.解压DolphinScheduler安装 阅读详情

目录



1 版本说明

每一个版本都会在上一版的基础上修复一些问题、增加新的特性和对已有的功能进行增强。具体的可以查看 Release。

1.1 关于 1.1.0 版本

具体可以查看 Lidong Dai 的博客 Easy Scheduler 1.1.0 Release发布,分布式工作流任务调度系统。

这个版本的源码的包命名统一为cn.escheduler.*,安装部署需要需要单独下载后端和前端的二进制包进行安装部署,关于这个版本的安装部署可以参考我的另一篇 blog 工作流任务调度系统:Apache DolphinScheduler

1.2 关于 1.2.0 版本

从这个版本开始,项目的代码整体上全部迁移为 Apache 项目,包命名规范统一org.apache.dolphinscheduler.*。在这个版本新增了对 PostgreSQL SQL 的支持。

1.2.1 新特性

  1. 支持 PostgreSQL SQL。
  2. 将所有中文名称改为英文名。
  3. 添加 Flink 和 Http 任务的支持。
  4. 跨项目依赖。
  5. 将 mybatis 修改为 mybatisplus,支持多个数据库。
  6. 添加导入和导出定义特征。
  7. Github Actions CI 编码检查。
  8. 添加方法和参数注释。
  9. 为通用模块添加Java文档。

1.2.2 增强功能

  1. 添加 license 和 通知 文件。
  2. 将 batchDelete 程序 的 Define/Instance 移到外部进行实物处理。
  3. 移除登陆用户名前后的空格。
  4. Dockerfile 的优化。
  5. 更改 mysql-connector-java 的作用域为 test。
  6. 所有者和管理员可以删除 schedule。
  7. 数据库页面重命名和背景颜色的修改。
  8. 添加 postgre 性能监听器。
  9. 解决样式冲突,收件人无法进行 tab 和 value 的验证。
  10. 更改复选框的背景颜色和环境为中文。
  11. 将中文 SQL 更改为英文。
  12. 更改 sqlSessionTemplate 单例并重新格式化代码。
  13. loadaverage 的值应该为小数点后 2 位。
  14. 删除报警组时需要删除用户与报警组的关系。
  15. 删除租户是删除检查资源。
  16. 删除工作组之前检查 processInstance 状态。
  17. 删除租户时添加检查用户和自定义功能。
  18. 在 Check 前删除,以避免 KeeperException$NoNodeException 。

1.2.3 修复的 Bug

  1. 修复了 #1245 号问题,使得 scanCommand 具有了事务性。
  2. 修复了 ZKWorkerClient 无法关闭 PathChildrenCache的问题。
  3. 修复了数据类型存在的转换错误 和 email 发送的错误。
  4. 修复捕获异常事物的方法不生效,无法修改的错误。
  5. 修复 Spring 中事物不能工作的 bug。
  6. 修复Task 日志打印 Worker 日志的 bug。
  7. 修复 api server 调试模式的 bug。
  8. 修复了 task 异常和 task 运行的 bug。
  9. 修复bug:task 队列长度的错误。
  10. 修复不合适的消息错误。
  11. 修复bug:电话可以为空。
  12. 修复 email 错误密码。
  13. 修复 CheckUtils.checkUserParams 方法。
  14. 修复当处于 “提交成功” 状态的任务时无法终止进程的问题。
  15. 修复 upgrade 或者 create 连接过多的问题。
  16. 修复 Worker 使用队列执行任务时的错误,并删除检查。
  17. 解决验证 UDF 名字的错误和删除 UDF 错误。
  18. 修复bug:恢复故障转移时 Task 不能提交。
  19. 修复bug:管理员将项目授权给普通用户,但是普通用户看不到管理员创建的 process 定义。
  20. 修复bug:创建 dolphinscheduler sql 失败。

1.3 关于 1.2.1 版本

更详细的发布信息可以查看 dailidong 的博客 Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统。在这个版本合并了前端和后端的源码包,同时对配置文件也进行了部分合并,减少了配置文件。


2 升级/安装 1.2.1 版本 Apache DolphinScheduler

2.1 安装/升级之前

DolphinScheduler 的软硬件环境建议配置要求可以查看 官方部署文档/软硬件环境建议配置,同时需要有能够访问的元数据库 (PostgreSQL 8.2.15+ 或者 Mysql 5.6 or 5.7 ),JDK 1.8+, ZooKeeper 3.4.6+,其它比如(Apache Hadoop、Apache Hive 、Apache Spark、Apache Flink 等 可以选装)。

安装之前需要先在系统环境中创建一个普通用户,作为我们部署 Apache DolphinScheduler 的用户,同时如果是集群化部署,多个节点需要配置好 SSH 。关于更详细的安装和配置可以参考 我一篇 blog 工作流任务调度系统:Apache DolphinScheduler,这篇 blog 以 1.1.0 为例详细讲解了安装过程。下面这部分会介绍新环境下的安装部署,和在 1.1.0 版本之上的升级安装。

2.2 下载并解压

访问 Apache DolphinScheduler 镜像 /apache/incubator/dolphinscheduler,部署可以直接下载二进制分发包(Binary Distribution) apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz。

wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.2.1/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz

# 解压
tar -zxf apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin.tar.gz

# 修改文件的所属的用户和租
sudo chown -R escheduler:escheduler apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin

解压后进入解压的文件夹下,可以看到如下内容,我们在这里可以看到一个二进制包下已经包含了前端和后端的所有文件。

drwxr-xr-x 2 escheduler escheduler  4096 Mar  8 15:15 bin
drwxr-xr-x 7 escheduler escheduler  4096 Mar  8 15:15 conf
-rw-r--r-- 1 escheduler escheduler   563 Feb  7 16:55 DISCLAIMER
-rw-r--r-- 1 escheduler escheduler 18583 Feb  7 16:55 install.sh
drwxr-xr-x 2 escheduler escheduler 16384 Mar  8 15:15 lib
-rw-r--r-- 1 escheduler escheduler 41304 Feb  7 16:55 LICENSE
drwxr-xr-x 3 escheduler escheduler 16384 Feb  7 16:55 licenses
-rw-r--r-- 1 escheduler escheduler 83680 Feb  7 16:55 NOTICE
drwxr-xr-x 2 escheduler escheduler  4096 Mar  8 15:15 script
drwxr-xr-x 4 escheduler escheduler  4096 Mar  8 15:15 sql
drwxr-xr-x 8 escheduler escheduler  4096 Mar  8 15:15 ui

2.3 元数据

2.3.1 如果新环境

需要创建 一个元数据库的用户,并创建一个库,例如元数存储选择使用 MySQL,并在 MySQL 中创建 escheduler 库,然后执行 sql/dolphinscheduler_mysql.sql 下的 sql 脚本。例如环境中有 Beeline 工具,可以这样执行:

beeline -n escheduler -p 123456 -d "com.mysql.jdbc.Driver" \
-u "jdbc:mysql://cdh1:3306/escheduler?useUnicode=true&characterEncoding=utf8&useSSL=false" \
--isolation=TRANSACTION_SERIALIZABLE -f sql/dolphinscheduler_mysql.sql

2.3.2 如果升级

执行升级之前,需要先配置好 conf/application.properties 中关于数据库的配置信息,如果是 MySQL 需要先注释掉 postgre 配置。

# postgre
#spring.datasource.driver-class-name=org.postgresql.Driver
#spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
# mysql
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://cdh1:3306/escheduler?characterEncoding=UTF-8
spring.datasource.username=escheduler
spring.datasource.password=123456

在接执行升级的脚本之前需要我们将对应数据库的驱动包下载到 lib 下。执行完毕会提示upgrade DolphinScheduler success,脚本会自动更新元数库的数据。

# 下载 mysql 驱动包到 lib/ 下
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar -P lib/

# 执行升级脚本
sh script/upgrade-dolphinscheduler.sh

2.4 配置安装脚本

在解压的个目录下编辑修改自动化部署的脚本文件: vim install.sh,修改如下的配置项,其它配置可保持默认。

# for example postgresql or mysql ...
dbtype="mysql"

# db config
# db address and port
dbhost="cdh1:3306"

# db name
dbname="escheduler"

# db username
username="escheduler"

# db passwprd
# Note: if there are special characters, please use the \ transfer character to transfer
passowrd="123456"

# conf/config/install_config.conf config
# Note: the installation path is not the same as the current path (pwd)
installPath="/opt/DolphinScheduler/escheduler-backend"

# deployment user
# Note: the deployment user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled, the root directory needs to be created by itself
deployUser="escheduler"

# zk cluster
zkQuorum="cdh1:2181,cdh2:2181,cdh3:2181"

# install hosts
# Note: install the scheduled hostname list. If it is pseudo-distributed, just write a pseudo-distributed hostname
ips="cdh2,cdh3"

# run master machine
# Note: list of hosts hostname for deploying master
masters="cdh2"

# run worker machine
# note: list of machine hostnames for deploying workers
workers="cdh2,cdh3"

# run alert machine
# note: list of machine hostnames for deploying alert server
alertServer="cdh2"

# run api machine
# note: list of machine hostnames for deploying api server
apiServers="cdh2"

######### 报警邮箱配置可选,这里以网易云邮箱为例
# alert config
# mail protocol
mailProtocol="SMTP"

# mail server host
mailServerHost="smtp.163.com"

# mail server port
mailServerPort="465"

# sender
mailSender="yuandd_yore@163.com"

# user
mailUser="yuandd_yore@163.com"

# sender password
mailPassword="123456"

# download excel path
xlsFilePath="/home/escheduler/xls"

# resource Center upload and select storage method:HDFS,S3,NONE
resUploadStartupType="HDFS"

# if resUploadStartupType is HDFS,defaultFS write namenode address,HA you need to put core-site.xml and hdfs-site.xml in the conf directory.
# if S3,write S3 address,HA,for example :s3a://dolphinscheduler,
# Note,s3 be sure to create the root directory /dolphinscheduler
defaultFS="hdfs://cdh1:8020"

# resourcemanager HA configuration, if it is a single resourcemanager, here is yarnHaIps=""
yarnHaIps="cdh1"

# if it is a single resourcemanager, you only need to configure one host name. If it is resourcemanager HA, the default configuration is fine.
singleYarnIp="cdh1"

# hdfs root path, the owner of the root path must be the deployment user. 
# versions prior to 1.1.0 do not automatically create the hdfs root directory, you need to create it yourself.
hdfsPath="/escheduler"

# common config
# Program root path
programPath="opt/DolphinScheduler/escheduler-backend"

# download path
downloadPath="/tmp/escheduler/download"

# task execute path
execPath="/tmp/escheduler/exec"

# zk config
# zk root directory
zkRoot="/escheduler"

2.5 配置 Nginx

DolphinScheduler 前端服务需要 Nginx 服务。

# 1 下载 Nginx 离线安装包
# 例如下载 Cento7 CPU指令为 x86版本的 
wget http://nginx.org/packages/mainline/centos/7/x86_64/RPMS/nginx-1.17.6-1.el7.ngx.x86_64.rpm

# 2 安装
rpm -ivh nginx-1.17.6-1.el7.ngx.x86_64.rpm

修改或添加一个 Nginx 配置文件作为 DolphinScheduler UI 前端的服务。例如有 /etc/nginx/conf.d/escheduler.conf ,修改如下,重点配置 server_name、root、proxy_pass,其中 root 就是我们解压的分发包中 ui/ 的路径。注意:在 1.2.1 版本中 ui 的连接由旧版本的 /escheduler 改为了 /dolphinscheduler。

server {
    listen       8888;# 访问端口
    server_name  cdh2;
    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;
    location / {
        root   /opt/DolphinScheduler/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin/ui; # 静态文件目录
        index  index.html index.html;
    }
    #location /escheduler {
    location /dolphinscheduler{
        proxy_pass http://cdh2:12345; # 接口地址
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header x_real_ipP $remote_addr;
        proxy_set_header remote_addr $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_http_version 1.1;
        proxy_connect_timeout 300s;
        proxy_read_timeout 300s;
        proxy_send_timeout 300s;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection upgrade;
    }
    #error_page  404              /404.html;
    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }
}

注意:这里再重点提下 ui 的路径如何配置(即上面的配置文件中 root 的值)

  • 如果是 1.2.0 版本就是你下载的 前端的(Frontend Binary Distribution)二进制包解压包下的 dist 的路径。/xx/apache-dolphinscheduler-incubating-1.2.0-dolphinscheduler-front-bin/dist。
  • 如果是 1.2.1 版本就是你下载的二进制包(Binary Distribution,因为 这个版本前端和后端合并只有一个包)二进制包解压包下的 ui 的路径。/xx/apache-dolphinscheduler-incubating-1.2.1-dolphinscheduler-bin/ui。

2.6 安装并启动服务

# 执行安装部署脚本,注意是 escheduler 用户执行
sh ./install.sh

# 启动 Nginx 服务
systemctl restart nginx

关于服务的其它启停命令

# 1 启停整个集群
## 1.1 停止集群所有服务
sh bin/stop-all.sh

## 1.2 开启集群所有服务
sh bin/start-all.sh


# 2 启停 Master
## 2.1 启动 master 服务
sh bin/dolphinscheduler-daemon.sh start master-server

## 2.2 关闭 master 服务
sh bin/dolphinscheduler-daemon.sh stop master-server


# 3 启停 Worker
## 3.1 启动 worker 服务
sh bin/dolphinscheduler-daemon.sh start worker-server

## 3.2 关闭 worker 服务
sh bin/dolphinscheduler-daemon.sh stop worker-server


# 4 启停 Api
## 4.1 启动 Api 服务
sh bin/dolphinscheduler-daemon.sh start api-server

## 4.2 关闭 Api 服务
sh bin/dolphinscheduler-daemon.sh stop api-server


# 5 启停 Logger
## 5.1 启动 Logger 服务
sh bin/dolphinscheduler-daemon.sh start logger-server

## 5.2 关闭 Logger 服务
sh bin/dolphinscheduler-daemon.sh stop logger-server


# 6 启停 Alert
## 6.1 启动 Alert 服务
sh bin/dolphinscheduler-daemon.sh start alert-server

## 6.2 关闭 Alert 服务
sh bin/dolphinscheduler-daemon.sh stop alert-server

2.7 访问前端页面

在浏览器访问 http://${master-ip}:8888,master-ip 是主节点服务的 ip。访问成功后需要输入用户名和密码,如果是新安装的默认的账号为 admin/dolphinscheduler123, 如果是升级后的则沿用旧的账号,例如在 1.1.0 默认的账号为admin/escheduler123。

账号验证成功后可以进入页面,如果是升级的,可以查看到原先的项目的信息,点击页头的 监控中心 下的 Worker,可以看到集群中所有 Worker 的信息,如下图所示。
监控中心 - Worker

3 升级/安装 1.3.0 版本 Apache DolphinScheduler

总体升级或安装类似于 1.2.1 版本。首先需要我们 1.3.0 的安装包,安装包官网还没有连接进行下载,我们可以通过源码编译获取(环境中需要安装 Node.js、 Maven),Maven 最好使用最新版(例如 3.1 版本安装时会报错)。

3.1 配置与启动

# 1 获取源码
git clone https://github.com/apache/incubator-dolphinscheduler.git
cd incubator-dolphinscheduler
git tar
# 或者直接通过下载 1.3.0 源码方式编译
# 但不建议,因为这个版本创建工作组的入口没有了,具体可以查看 [#2959](https://github.com/apache/incubator-dolphinscheduler/issues/2959)、 [Feature-2815](https://github.com/apache/incubator-dolphinscheduler/pull/2934)
# wget https://github.com/apache/incubator-dolphinscheduler/archive/1.3.0.tar.gz

# 2 编译
# 这里直接编译的主分支的代码,大家也可以检出到 1.3.1 进行编译: git checkout 1.3.1
## 2.1 生成 rpm 包
mvn -U clean install -Prpmbuild -Dmaven.test.skip=true -X
## 2.2 生成 tar/zip 包
mvn clean package install -Prelease -Dmaven.test.skip=true
# mvn package -Prelease -Dmaven.test.skip=true

编译dolphinscheduler 1.3.0

# 3 查看编译后的包。
# 编译成功后的 tar/zip 包在如下目录下
ls -l dolphinscheduler-dist/target/
# 编译成功后 rpm 包在如下目录下
ls -l dolphinscheduler-dist/target/rpm/apache-dolphinscheduler-incubating/RPMS/noarch

编译后的包路径

通过上面的编译我们成功得到了 DS 的安装包,但是是一个 RPM 包,可以直接执行 rpm -ivh apache-dolphinscheduler-incubating-1.3.0-1.noarch.rpm 手动安装,默认会安装到 /opt/soft/apache-dolphinscheduler-incubating-1.3.0/ 。这里我们在原先 DS 的基础上(路径下)升级安装,因此我们直接解压RPM 包,进行手动配置升级安装,RPM包括是使用cpio格式打包的,因此可以先转成cpio然后解压

# 解压 RPM 包,会在当前目录解压生成  opt/soft/apache-dolphinscheduler-incubating-1.3.0
rpm2cpio apache-dolphinscheduler-incubating-1.3.0-1.noarch.rpm | cpio -div
# 将 apache-dolphinscheduler-incubating-1.3.0 拷贝指定目录下,例如 /u01/DolphinScheduler 下

修改元数库信息,例如这里使用 MySQL,与 1.2.1 版本不同的是这里需要修改 conf/datasource.properties 配置文件,注释掉 postgre 配置
添加如下 MySQL 配置。

# postgresql。这是官方推荐 postgresql 配置,使用 MySQL 的将元数据迁移到 postgresql 中
# spring.datasource.driver-class-name=org.postgresql.Driver
# spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
# spring.datasource.username=test
# spring.datasource.password=test

# mysql
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://cdh1:3306/escheduler?characterEncoding=UTF-8
spring.datasource.username=escheduler
spring.datasource.password=123456

添加 MySQL 驱动包,执行升级脚本,更新元数据库中的数据

# 下载 mysql 驱动包到 lib/ 下
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar -P lib/

# 执行升级脚本。升级元数据时一定保持元数据表 t_ds_version 的 version 值低于升级的版本,
sh script/upgrade-dolphinscheduler.sh

升级前可以对 MySQL 库和 安装目录进行提前备份,然后清空旧版本安装目录下的文件,这里将新本的安装目录改为 /u01/dolphinscheduler,因此新建这个目录并属组改为 DS 的用户

 mkdir /u01/dolphinscheduler
 chown escheduler:escheduler /u01/dolphinscheduler

修改 conf/config/install_config.conf,修改内容和 2.4 配置安装脚本 类似,主要参考修改如下,其他可使用默认值。

# NOTICE :  If the following config has special characters in the variable `.*[]^${}\+?|()@#&`, Please escape, for example, `[` escape to `\[`
# postgresql or mysql
dbtype="mysql"

# db config
# db address and port
dbhost="cdh1:3306"

# db username
username="escheduler"

# database name
dbname="escheduler"

# db passwprd
# NOTICE: if there are special characters, please use the \ to escape, for example, `[` escape to `\[`
password="123456"

# zk cluster
zkQuorum="cdh1:2181,cdh2:2181,cdh3:2181"

# Note: the target installation path for dolphinscheduler, please not config as the same as the current path (pwd)
installPath="/u01/dolphinscheduler"

# deployment user
# Note: the deployment user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled, the root directory needs to be created by itself
deployUser="escheduler"

# 邮箱配置这里省略 ……

# resource storage type:HDFS,S3,NONE
resourceStorageType="HDFS"

# if resourceStorageType is HDFS,defaultFS write namenode address,HA you need to put core-site.xml and hdfs-site.xml in the conf directory.
# if S3,write S3 address,HA,for example :s3a://dolphinscheduler,
# Note,s3 be sure to create the root directory /dolphinscheduler
defaultFS="hdfs://cdh1:8020"

# if resourcemanager HA enable or not use resourcemanager, please skip this value setting; If resourcemanager is single, you only need to replace yarnIp1 to actual resourcemanager hostname.
singleYarnIp="cdh1"

# resource store on HDFS/S3 path, resource file will store to this hadoop hdfs path, self configuration, please make sure the directory exists on hdfs and have read write permissions。/dolphinscheduler is recommended
resourceUploadPath="/escheduler"

# who have permissions to create directory under HDFS/S3 root path
# Note: if kerberos is enabled, please config hdfsRootUser=
hdfsRootUser="hdfs"

# api server port
apiServerPort="12345"

# install hosts
# Note: install the scheduled hostname list. If it is pseudo-distributed, just write a pseudo-distributed hostname
ips="cdh2,cdh3"

# run master machine
# Note: list of hosts hostname for deploying master
masters="cdh2"

# run worker machine
# note: need to write the worker group name of each worker, the default value is "default"
workers="cdh2:cdh2,cdh3:cdh3"

# run alert machine
# note: list of machine hostnames for deploying alert server
alertServer="cdh2"

# run api machine
# note: list of machine hostnames for deploying api server
apiServers="cdh2"

新版本中添加了DataX 、Sqoop、Conditions 类型的工作流定义,如下图所示。当使用 DataX 时,需要我们修改 conf/env/dolphinscheduler_env.sh 脚本中 export DATAX_HOME=/opt/soft/datax/bin/datax.py,默认使用 /opt/soft/datax/bin/datax.py执行任务,路径配为自己环境中的 DataX 的路径,如果没有需要自己下载(DataX下载地址)解压到环境中。目前 DataX 工作流支持的数据库有 MySQL、PostgreSQL、Oracle、SQLServer。
1.3 新增工作流流类型定义

Nginx 中修改 8888 资源路径

location / {
        root   /u01/dolphinscheduler/ui;
        index  index.html index.html;
    }

开始安装

# 执行安装部署脚本,注意是 escheduler 用户执行,
sh ./install.sh

# 启动 Nginx 服务
systemctl restart nginx

# 查看后台 java 进程
## master 节点有如下进程 
escheduler@cdh2 apache-dolphinscheduler-incubating-1.3.0]$ jps
26480 Jps
23890 LoggerServer
23781 MasterServer
23943 AlertServer
23997 ApiApplicationServer
23837 WorkerServer
# Worker 节点有如下进程
[escheduler@cdh3 escheduler-backend]$ jps
15427 LoggerServer
15367 WorkerServer
19417 Jps

安装完毕后 DS 服务已经启动,如果想重启 DS 服务,可以参考 2.6 安装并启动服务 节中的命令。

3.2 资料链接

官方 DolphinScheduler 1.3.1 版本(1.3.1 Release Notes)在 2020-07-13 发布,可以直接下载 官网提供的二进制包(apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin.tar.gz)进行安装。


DolphinScheduler——介绍及架构设计 海豚调度DolphinScheduler——介绍及架构设计 阅读详情

相关推荐

【任务调度】Apache DolphinScheduler快速入门

海豚调度Dolphin Scheduler快速入门

weixin_42369773的博客 1323

工作流调度系统Apache DolphinScheduler介绍和设计原理

1 概述 Apache DolphinScheduler(目前处在孵化阶段)是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 DolphinScheduler是今年(2019年)中国易观公司开源的一个调度系统,在今年美国时间2019年8月29号,易观开源的分布式任务调度引擎DolphinScheduler(原EasyScheduler)正式通过顶级开源组织Apache基金会的投票决议,根据Apache基金会

Baron_ND的博客 3万+

Apache DolphinScheduler企业级实战案例解析

任务调度系统作为大数据生态的核心组件,其设计原理直接影响数据处理管道的可靠性和效率。现代调度系统通过DAG(有向无环图)实现任务依赖管理,结合动态资源分配和故障恢复机制保障业务连续性。Apache DolphinScheduler作为开源调度系统的代表,其企业级应用涉及金融风控、电商大促等高并发场景,典型案例显示通过动态分片和优先级调度可使任务处理时效提升8倍。精选集特别包含与数据湖仓(如Hudi/Iceberg)的深度集成方案,以及多云环境下的调度器高可用实践,为复杂业务系统提供经过验证的配置参数和架构模

weixin_33701564的博客 3044

深入了解海豚调度DolphinScheduler

深入了解海豚调度DolphinScheduler

zhengzaifeidelushang的博客 6万+

Apache DolphinScheduler征稿 — Apache DolphinScheduler 快速入门与部署

目录 一.Apache DolphinScheduler 背景 二.Apache DolphinScheduler 介绍 三.Apache DolphinScheduler 特性 四.Apache DolphinScheduler 单机部署流程 1.Linux 操作系统版本要求 2.服务器建议配置 3.基础软件安装 4. 下载二进制 tar.gz 包并安装 5. 创建部署用户并赋予目录操作权限 6. ssh 免密配置 7. 数据库初始化 8. 修改运行参数 9. 一键...

盛夏温暖流年 2303

北京途游游戏后端开发面经

北京途游游戏后端开发面经 我面试岗位是基于Python的后端开发工程师,主要是搞游戏的服务器开发。面试一共分了两轮,之后说是看看其他的候选人再定,感觉凉凉~~ 由于受到此次新型冠状病毒疫情的影响,本次面试采用视频面试的方式,下面是面试的时候面试官提的问题,python的基础知识还是问的比较多的。  一面:(32分钟微信视频)  简单做下自我介绍,   1.说一下你开发过的项目,挑一个说下你都做了...

weixin_45603043的博客 2124

# 3.1.8<3.2.0<3.3.1,Apache DolphinScheduler集群升级避坑指南

3.3.1版本机器启动方式变得更复杂了,但是集群功能变得更好用了,资源利用率提高了。

Apache DolphinScheduler开源社区 1129

从零搭建SPI通信系统:AXI Quad SPI IP核在Xilinx平台上的完整配置流程

本文详细介绍了在Xilinx平台上使用AXI Quad SPI IP核从零搭建SPI通信系统的完整配置流程。涵盖IP核架构解析、Vivado环境配置、寄存器编程实战及性能优化策略,帮助开发者快速实现高速稳定的SPI通信,特别适用于嵌入式系统开发中的外围设备连接需求。

hh234的博客 1052

Apache DolphinScheduler 集群部署(Cluster)实战指南:多机分布式安装、配置与运维

本篇技术指南围绕 Apache DolphinScheduler 的集群部署(Cluster)模式展开,核心场景是在**多台机器**上分布式部署 master、worker、api、alert 四类服务,以满足生产环境大规模任务调度的需求。读完本文你将掌握:集群部署的前置环境准备、配置文件在多机间的分发与一致性要求、`dolphinscheduler_env.sh` 关键参数的含义与覆盖规则、数据

gitblog_00239的博客 780

uniapp 开发微信小程序请求问题 , 真机调试正常,开发工具正常,但是使用扫码预览接口都是不通的,发布到体验版也是请求失败

uniapp开发小程序体验版接口请求失败(真机可以)

weixin_60408555的博客 3953

医疗领域BGE-M3模型微调全流程:从数据准备到效果评估

本文详细介绍了医疗领域BGE-M3模型的微调全流程,从数据准备到效果评估。通过医疗数据微调,BGE-M3模型在临床问答、病历检索等场景中表现显著提升,能够准确理解医学术语之间的细微差别。文章还提供了实战练习代码和效果评估指标,帮助开发者快速掌握医疗文本嵌入模型的应用技巧。

weixin_29098367的博客 281

Apache-Dolphinscheduler-3.2.0调度器安装指南及问题解析:高效任务调度利器

Apache-Dolphinscheduler-3.2.0调度器安装指南及问题解析:高效任务调度利器 【下载地址】Apache-Dolphinscheduler-3.2.0调度器安装指南及问题解析 探索Apache-Dolphinscheduler-3.2.0调度器的强大功能,本指南为您提供详尽的安装步骤和集群部署方案,...

gitblog_06788的博客 775

TP4056锂电池充电电路设计原理与工程实践

锂离子电池充电管理是嵌入式电源系统的核心基础技术,其本质是通过恒流恒压(CC/CV)控制策略,匹配电池电化学特性以实现安全、高效、长寿命充放电。TP4056作为典型线性充电IC,以精简外围实现预充、恒流、恒压及自动截止全周期管理,但受限于线性拓扑的热耗散特性,必须协同散热设计、电阻精度选型与PCB布局进行系统级优化。该方案广泛应用于STM32智能小车、便携传感器节点等3.7V单节锂电供电场景,兼顾成本、可靠性与工程可实施性,是入门嵌入式硬件电源设计的关键实践范例。

weixin_36064575的博客 219

Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

安装部署的流程可参考官网的文档本文开始之前,我先补充说明一下升级 Apache DolphinScheduler 的几个关键点。

Apache DolphinScheduler开源社区 1196

TI IWR6843AOP雷达+DCA1000EVM数据采集:官方手册里的坑,我帮你踩完了

本文详细解析了TI IWR6843AOP雷达与DCA1000EVM数据采集实战中的12个关键细节,包括硬件连接陷阱、mmWave Studio隐藏设置、数据采集参数优化等,帮助开发者避开官方手册未提及的常见问题,提升数据采集效率和系统稳定性。

weixin_28366475的博客 1102

基于深度学习YOLOv8的PCB板缺陷检测系统

基于YOLOv8的PCB板缺陷检测系统,可以有效提高PCB生产过程中的检测效率。未来,我们可以进一步优化模型,结合更多的数据增强策略和先进的网络结构,以适应更复杂的生产环境。为了进行训练,理想的数据集应包含多种不同缺陷类型和不同背景的PCB图像。YOLOv8需要的数据格式为每个图像一个标签文件,每个标签文件包含缺陷的类别及其边界框坐标。运行该界面时,用户可以通过点击按钮选择图像,随后系统将自动检测图像中的PCB缺陷并显示结果。训练完成后,可以使用训练好的模型进行推理,检测新的PCB图像中的缺陷。

YOLO 1069

看过来!Apache DolphinScheduler版本升级指南

如果只是跨小版本的更新,那么只用执行脚本就好了,但跨多个大版本升级时依然容易出现一些问题,特此总结。

Apache DolphinScheduler开源社区 1632

电容式三点式振荡电路/电感式三点振荡电路基础知识及Multisim电路仿真

摘要:三极管振荡电路利用放大特性与正反馈实现自激振荡,需满足巴克豪森条件(增益≥1,相位匹配)。核心由放大级、反馈网络、选频网络和稳幅环节构成。主要分为三类:1)LC/RC正弦波振荡电路(如电容三点式、电感三点式),输出高频/低频正弦波;2)多谐振荡电路,通过电容充放电产生方波;3)张弛振荡电路,生成锯齿波等。设计需关注相位匹配、增益控制和元件适配。LC振荡频率由谐振参数决定,RC振荡由时间常数控制。稳幅机制通过非线性或主动元件维持等幅输出。该电路在信号发生、时钟源等领域有广泛应用。

XU157303764的博客 2036

在 Apache DolphinScheduler 3.4.2 上使用原生 Amazon EMR Serverless 插件

本文介绍了如何在Apache DolphinScheduler 3.4.2版本中集成使用Amazon EMR Serverless任务插件。主要内容包括: 功能概述: 支持可视化提交Spark/Hive作业到EMR Serverless 提供状态轮询、日志回显、自动取消等功能 支持与EMR on EC2任务混合编排 优势对比: EMR Serverless免运维、按需计费的优势 与DolphinScheduler结合实现自动化数据管线 部署指南: 下载安装3.4.2版本 安装EMR Serverless插件

Turk的专栏 437

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Apache DolphinScheduler 3.1.8 生产环境部署:3节点集群配置与10万任务/天压测

本文详细介绍了Apache DolphinScheduler 3.1.8在生产环境中的三节点集群部署方案,包括硬件配置、系统调优、依赖组件版本要求等关键步骤。通过模拟10万任务/日的压力测试,验证了其高可用性和稳定性,为大数据任务调度提供了可靠解决方案。

weixin_30654583的博客 379

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Apache DolphinScheduler 升级指南:从准备到注意事项全解析

Apache DolphinScheduler 升级指南:从准备到注意事项全解析 前言 Apache DolphinScheduler 作为一款优秀的分布式工作流任务调度系统,在版本迭代过程中会不断引入新功能和改进。本文将全面讲解 DolphinScheduler 的升级流程,帮助用户顺利完成版本升级。 升级前的准备工作 检查不兼容变更 在升级前必须仔细查阅当前版本与目标版本之间的不兼容变更说明。...

gitblog_00712的博客 476

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Apache DolphinScheduler 集群部署指南:多机生产环境搭建、配置分发与运维

本篇技术指南以 Apache DolphinScheduler 官方 [集群部署文档](https://link.gitcode.com/i/c63624bdcbb24481332d8dba0f487abe) 为核心骨架,系统讲解如何在多台机器上搭建可用于生产环境的 DolphinScheduler 集群:从环境准备、安装包分发、数据库初始化,到集群特有的配置修改策略(`dolphinschedu

gitblog_00018的博客 1130

Dolphin Scheduler 1.1.0升级1.2.0避坑指南

1组件介绍Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即...

baidu_31618421的博客 1515

DolphinScheduler使用文档

工作流任务调度系统:Apache DolphinScheduler 工作流任务调度系统:Apache DolphinScheduler 一、文档说明 1.1 DolphinScheduler 说明 1.2 相关网址 1.3 名词解释 1.4 DolphinScheduler 架构 1.4.1 MasterServer 1.4.2 WorkerServer 1.4.3 ZooKeeper 1...

MiaoSO的博客 3万+

Apache DolphinScheduler 升级指南:从准备到完成的全流程解析

Apache DolphinScheduler 升级指南:从准备到完成的全流程解析 【免费下载链接】dolphinscheduler Dolphinscheduler是一个分布式调度系统,主要用于任务调度和流程编排。它的特点是易用性高、可扩展性强、性能稳定等。适用于任务调度和流程自动化场景。 ...

gitblog_00328的博客 545
上一篇: Beeline 的进阶使用
下一篇: A guided tour of Kerberos: Tutorial
Yore Yuen
博客等级 码龄9年 8646粉丝 58原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yore Yuen

你的支持认可是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值