Apache DolphinScheduler 3.1.9 版本发布：提升系统的稳定性和性能

原创

已于 2023-12-28 17:03:01 修改 · 2.2k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

于 2023-12-28 17:00:25 首次发布

ApacheDolphinScheduler3.1.9版正式发布，包含14个bug修复和3项文档改进，重点解决死锁、工作流实例问题、NPE等，提升系统稳定性和性能。

🚀我们很高兴宣布，Apache DolphinScheduler 的最新版本 3.1.9 已正式发布！此版本在 3.1.8 的基础上进行了关键的 bug 修复和文档更新，共计修复了 14 个 bug 和改进了 3 个文档。

file

主要更新亮点

本次更新重点解决了以下几个关键问题，以提升系统的稳定性和性能：

修复死锁问题：解决了使用任务组抢占资源时可能导致的工作流死锁问题。
优化工作流实例：修复了 Master 提交失败后，及时停止工作流实例，避免了无限循环的问题。
NPE问题处理：修复了 Master 处理命令时，可能导致 processInstance 出现空指针异常（NPE）的问题。
Flink任务命令错误：修复了 Flink 任务生成的命令错误。
避免事件堆叠：修复了 Master 重复处理事件，避免了事件堆叠的问题。
Switch任务参数检查：增加了 Switch 任务的参数检查，以避免非法情况。
任务定义日志问题：解决了任务定义日志可能重复写入的问题。

Changelog 和下载

欲了解完整的更新内容，可以查看全部 Changelog。

新版本现已可在

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

DolphinScheduler社区

关注关注

22
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

Apache DolphinScheduler发布最新版本，可能是最后一个主要版本，支持多种数据库

bug_syntax119的博客

09-12

148

DolphinScheduler 3.3.0版本更新一览

Apache DolphinScheduler开源社区

05-23

1765

DolphinScheduler是一个开源的项目，主要用来进行工作流编排、运行和管理。工作流是基本单位，所有的功能设计都是围绕工作流这是一个低代码平台，可以不用代码，或用少量的代码来完成工作流相关的工作不用数据迁移即可进行服务器节点的扩缩容采用插件化架构Apache DolphinScheduler 3.3.0版本带来了多项重要更新，增强了系统的稳定性、扩展性和易用性。我们鼓励社区成员积极参与，共同推动项目的发展。姓名：阮文俊。

参与评论您还未登录，请先登录后发表或查看评论

服务器部署集群海豚3.1.9详细教程

qq_46084729的博客

02-26

1404

介绍海豚3.1.9手动部署的方式方法

DolphinScheduler-3.1.9 资源中心实践

欲望以提升热忱毅力以磨平高山

07-06

2514

本文主要讲本地基础环境伪分布式简单搭建以及遇到的问题，并且以开启资源中心为例列举了 shell 脚本和 Python 脚本的示例，其中 shell 脚本没有问题，主要问题点在 Python，目前来看使用 python任务引入资源中心的 Python 无法成功，后续持续跟进研究，如果你有好的方案烦请和我交流。

（二）3.1.9 生产“稳”担当：Apache DolphinScheduler Worker 服务源码全方位解析

最新发布

Apache DolphinScheduler开源社区

09-25

1237

本文是 Apache DolphinScheduler 3.1.9 版本源码解读的第二篇：Worker Server 启动流程源码解读以及相关流程设计。结尾处附有相关流程图，供大家参考。

DolphinScheduler 3.1.9单节点伪集群部署

supermanAjxs的博客

11-22

1165

DolphinScheduler部署

DolphinScheduler+海豚

03-04

DolphinScheduler+海豚

DolphinScheduler 3.1.9 启动、任务执行过程源码解析

TNT_D的博客

07-02

2283

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。

测试环境搭建整套大数据系统（五：搭建dolphinschduler3.1.9）

weixin_43446246的博客

02-22

1477

官网地址：三：添加jar包。 1. 添加zk jar包。进入 zookeeper 的安装目录，将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg，并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper。需要在alert-server，api-server，master-server，tools，worker-server这五个目录全部放进去。即使你使用的mysql是5.7，也要使用8.0.16以上的驱动。将驱动包放到al

精选资源

apache-dolphinscheduler-3.0.0-bin.tar.gz

09-14

《Apache DolphinScheduler 3.0.0：高效工作流调度系统详解》 Apache DolphinScheduler（以下简称DolphinScheduler）是一款开源的工作流调度系统，旨在解决大数据处理中的任务编排问题，提供可视化的作业流程设计、...

利用已有的 PostgreSQL 和 ZooKeeper 服务，启动dolphinscheduler-standalone-server3.1.9 镜像

xinvictory的专栏

07-05

759

dolphinscheduler-master master模块，提供工作流管理和编排服务。dolphinscheduler-worker worker模块，提供任务执行管理服务。dolphinscheduler-alert 告警模块，提供 AlertServer 服务。dolphinscheduler-api web应用模块，提供 ApiServer 服务。dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类。

基于 Apache Dolphinscheduler3.1.9中的Task 处理流程解析

Apache DolphinScheduler开源社区

12-06

1044

从上面我们可以看到生产者消费者模型、线程模型在DS3.1.9版本中使用非常的多，也是我们去了解处理的思路的点。同时对应任务的处理，为了保证任务的高效处理，使用了Netty来处理任务。总体来说，代码写得还是很不错的，值得我们去学习。同时还使用了很多设计模式，比如SPI、工厂模式、状态模式等等。参考：本文由白鲸开源科技提供发布支持！

海豚调度 Dolphinscheduler-3.2.0/DolphinScheduler-3.1.9 离线部署伪集群模式

DAurora的博客

12-28

2912

使用上面创建的部署用户(dolphinscheduler)运行以下命令完成部署,部署后的运行日志将存放在 logs 文件夹内(各个server 服务节点下都有 logs 文件夹,大家可以到其中找到对应的 server 报错日志文件,例如实时查看 alert-server的 logs 文件命令行:’tail -400f dolphinscheduler/alert-server/logs/alert-server-pt23amlupz5x.out’)完成基础环境的准备后,需要根据你的机器环境修改配置文件。

Apache DolphinScheduler 3.2.2 版本正式发布！

Apache DolphinScheduler开源社区

07-23

2384

Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ([Improvement-15603][API] 删除、修改工作流时，系统可以检查是否有任何任务依赖于它。[Improvement-15919][datasource] Improvement数据源获取名称 ([Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 (

Apache DolphinScheduler 3.2.1 版本发布：增强功能与安全性的全面升级

Apache DolphinScheduler开源社区

02-21

1905

近期，Apache DolphinScheduler 社区激动地宣布 3.2.1 版本的发布。此次更新不仅着力解决了前一版本（3.2.0）中遗留的问题，而且引入了一系列的功能增强和优化措施。原先的问题主要源于部分重要代码在发布过程中未能成功合并（cherry-pick），加之这部分代码的合并过程较为复杂，因此，3.2.1 版本基于 2024年2月的dev分支代码，

dolphinscheduler的优化参数的优化

qq_43688472的博客

11-28

2852

启用任务重试（taskRetryTimes）：在任务失败时，可以设置任务的重试次数，以增加任务的执行成功率。根据任务的特性和运行环境，可以适量增加任务的重试次数，但需要注意避免任务出现无限重试的情况。根据集群的规模和硬件资源的情况，可以适当增大该参数的值，以提高任务的并发执行能力。调整任务资源配置：根据任务的类型和资源需求，可以调整任务的内存、CPU 和磁盘等资源配置，以最优化任务的运行效率。“任务依赖”的任务实例，不占用运行实例名额，原因是“任务依赖”的任务实例不占用资源；

Dolphinscheduler3.2.2源代码安装部署

04-08

1125

hello 大家好，针对海豚调度之前也用过老版本的，新版本看了看增加了很多功能，目前稳定版本是3.1.9 ，本次部署 3.2.2最新版 standalone-server服务，并且元数据持久化。

dolphinscheduler3.1.9安装

weixin_43581113的博客

06-26

1181

将驱动分别放到./pi-server/libs、./alert-server/libs、./master-server/libs、./worker-server/libs、./tools//libs、./standalone-server/libs/standalone-server 目录下。浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。创建数据库数据库跟用户密码都可以自定义，也可以跟ds不在同节点。

2401_84573219的博客

05-10

948

Standalone 仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！如果你想体验更完整的功能，或者更大的任务量，推荐使用。如果你是在生产中使用，推荐使用。