Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

最新推荐文章于 2025-02-25 10:30:46 发布
原创 最新推荐文章于 2025-02-25 10:30:46 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文详细介绍了如何升级ApacheDolphinScheduler3.1.8，包括元数据备份、配置文件调整、数据库连接器升级、Zookeeper版本替换以及CDH集群环境的特殊注意事项。

file

安装部署的流程可参考官网的文档

Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster) https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster

本文开始之前，我先补充说明一下升级 Apache DolphinScheduler 的几个关键点

元数据备份

做好已有元数据做备份（以 MySQL 为例，元数据存储在 Mysql 的 dolphinscheduler 数据库里）

伪代码

mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql

apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh

apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.

最低0.47元/天 解锁文章
# 3.1.8＜3.2.0＜3.3.1，Apache DolphinScheduler集群升级避坑指南
Apache DolphinScheduler开源社区
10-10 971
3.3.1版本机器启动方式变得更复杂了，但是集群功能变得更好用了，资源利用率提高了。
海豚调度器集群升级DolphinScheduler(3.1.8)＞3.2.0＞3.3.1
最新发布
weixin_48277834的博客
09-23 489
修改bin/env/文件配置。先到官网下载对应安装包。先关闭集群，解压按转包。
DolphinScheduler跨版本升级1.3.8至3.0.1
无语梦醒的博客
02-27 2585
dolphinscheduler1.3.8越级升级3.0.1 & 部署dolphinscheduler
dolphinscheduler版本1.3 跨版本升级到3.0
weixin_40817778的博客
10-12 1916
dolphinscheduler版本1.3 跨版本升级到3.0
DolphinScheduler 3.3.0版本更新一览
Apache DolphinScheduler开源社区
05-23 1765
DolphinScheduler是一个开源的项目，主要用来进行工作流编排、运行和管理。工作流是基本单位，所有的功能设计都是围绕工作流这是一个低代码平台，可以不用代码，或用少量的代码来完成工作流相关的工作不用数据迁移即可进行服务器节点的扩缩容采用插件化架构Apache DolphinScheduler 3.3.0版本带来了多项重要更新，增强了系统的稳定性、扩展性和易用性。我们鼓励社区成员积极参与，共同推动项目的发展。姓名：阮文俊。
Apache DolphinScheduler 3.0.0 正式版发布！
Apache DolphinScheduler开源社区
08-10 2530
对于版本迭代后新增的功能和优化，本文将再做补充。
【干货】Apache DolphinScheduler2.0升级3.0版本方案
Apache DolphinScheduler开源社区
03-26 1307
1. 3.1.1 在测试sql任务时 ，同时启动上百sql 任务时，会出现sql 任务报错，导致大量任务无法正常运行，询问社区大佬，这是DS本身bug导致，虽然此现象在3.0.1也有出现，不过出现几率较小。原因：直接使用官网提供的升级脚本，无法正常运行，有较多问题，目前我们改造后，升级的数据库信息没问题，运行时数据信息有损坏，导致较多问题，所以为安全稳定，不直接使用官网提方案。此次升级已经验证可行性，已在生产环境验证上线，对已有的问题，并给出了合理的解决方便，故写此篇文章，供各位同学参考。
DolphinScheduler（apache-dolphinscheduler-3.0.0-beta-1-src.tar.gz
06-23
Apache DolphinScheduler（apache-dolphinscheduler-3.0.0-beta-1-src.tar.gz 源码）是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。...
精选资源
apache-dolphinscheduler-3.0.0-bin.tar.gz
09-14
《Apache DolphinScheduler 3.0.0：高效工作流调度系统详解》 Apache DolphinScheduler（以下简称DolphinScheduler）是一款开源的工作流调度系统，旨在解决大数据处理中的任务编排问题，提供可视化的作业流程设计、...
精选资源
DolphinScheduler（apache-dolphinscheduler-3.0.0-beta-1-bin.tar.gz
06-23
Apache DolphinScheduler（apache-dolphinscheduler-3.0.0-beta-1-bin.tar.gz）是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。...
huyongze#incubator-dolphinscheduler#升级文档1
07-25
1. 备份上一版本文件和数据库 2. 停止escheduler所有服务 3. 下载新版本的安装包 4. 数据库升级 5. 后端服务升级 6. 前端服务升级
Apache DolphinScheduler 3.0.0-beta-1版本发布，助力ETL任务调度与监控
提到的版本 "apache-dolphinscheduler-3.0.0-beta-1-bin.tar.gz" 为DolphinScheduler的一个发行版本。在这个版本名称中，"3.0.0-beta-1" 表示该版本是一个beta阶段的候选版本，通常意味着该版本已经相对稳定，接近...
运维实战：Apache DolphinScheduler 生产环境升级
Apache DolphinScheduler开源社区
05-31 668
点击蓝字，关注我们????本篇是基于 Apache DolphinScheduler 3.1.3到3.1.4版本的升级。在使用 Apache DolphinScheduler 3.1.3版本的过程中，发现前端部分页面有显示时间差的问题，具体如下：其他部分显示的时间都是和本地时间一致的，只有任务实例的提交时间、开始时间、结束时间部分和本地的时间相差13个小时。通过更改页面的时区无法实现时间的正常显示；此时...
看过来！Apache DolphinScheduler版本升级指南
Apache DolphinScheduler开源社区
02-25 1371
如果只是跨小版本的更新，那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现一些问题，特此总结。
DolphinScheduler 2.0.7安装与使用及升级到3.0.1升级过程
lxb1078581228的博客
06-28 1231
cp /jar所在路径/mysql-connector-java-6.0.6-bin.jar /解压后3.0.1包所在的路径/apache-dolphinscheduler-3.0.1-bin/worker-server/libs。$cp /jar所在路径/mysql-connector-java-6.0.6-bin.jar /解压后3.0.1包所在的路径/apache-dolphinscheduler-3.0.1-bin/api-server/libs/
dolphinscheduler海豚调度升级代码改造-UpgradeDolphinScheduler
04-22 1803
dolphinscheduler数据升级代码改造背景升级代码改造测试准备工作执行upgrade-dolphinscheduler.sh脚本日志报错修改代码再次验证日志不报错查看页面验证代码UpgradeDaoupgrade-dolphinscheduler.sh说明 背景 上周记录了一次数据迁移过程，就是使用海豚调度自带的升级代码，升级完成后，手动批量更新相关表，今天继续迁移的时候，发现存储过程不好批量更新，虽然可以截取更新method参数，但是参数个数名称不好取，只能写死，这样无疑增加了后续工作量。因此还
DolphinScheduler2.0版本升级3.0版本方案
m0_46571744的博客
12-04 2138
因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上，此次选择测试了3.0.1 和 3.1.1 两个版本，对进行同数据等任务调度暂停等操作测试，最后选择3.0.1 版本原因：1. 3.1.1 在测试sql任务时 ，同时启动上百sql 任务时，会出现sql 任务报错，导致大量任务无法正常运行，询问社区大佬，这是DS本身bug导致，虽然此现象在3.0.1也有出现，不过出现几率较小。2. DS3.0.1以上版本zookeeper的依赖版本进行了更新，查看驱
Apache DolphinScheduler 1.3.4升级至3.1.2版本过程中的踩坑记录
Apache DolphinScheduler开源社区
08-02 772
因为在工作中需要推动Apache DolphinScheduler的升级，经过预研，从1.3.4到3.1.2有的体验了很大的提升，在性能和功能性有了很多的改善，推荐升级。查看官方的升级文档，可知有提供升级脚本，如果只是跨小版本的更新那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现各种问题，特此总结。升级完成后使用资源中心报错 资源中心使用的HDFS，开启了认证解决方法：编辑 添加以下内容2.任务实例日志丢失 升级完成后查看任务实例的日志，报错未找到日志,查看报错信息，检查新版本的目录结构和表里的日志
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DolphinScheduler社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值