Apache DolphinScheduler开源社区

新一代大数据任务调度 - Apache DolphinScheduler社区，致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理过程可直观感知”。已累计有IBM、腾讯、360、美团等 400+ 公司在生产上使用。

原创数据平台调度升级改造 | 从Azkaban 平滑过度到Apache DolphinScheduler 的操作实践

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造。...

2022-06-16 18:00:04 1095

原创好消息！Apache DolphinScheduler 荣获上海上海菁英荟优秀开源项目奖

近日，在 2025 上海开源创新菁英荟上，由中国团队主导的Apache DolphinScheduler荣获「优秀开源项目奖」。这个从中国走向全球的大数据调度平台，凭借技术突破与行业实践，成为全球 3000 余家企业的核心调度引擎。

2025-07-02 14:30:59 273

原创 DolphinScheduler 社区月报（5-6 月）：修复优化齐发力，贡献者高光时刻回顾！

亲爱的 DolphinScheduler 开发者与用户们，DolphinScheduler 社区 5、6 月月报重磅发布啦！本期月报记录了社区在过去两个月的重要进展。

2025-07-02 12:00:06 840

原创 DolphinScheduler 社区喜讯：两项学生项目入选“开源之夏 2025”！

近日，“开源之夏 2025”项目正式进入公示期，Apache DolphinScheduler 社区传来喜讯！本次共有两项学生项目成功入选，分别聚焦在 Kubernetes 调度优化与插件体系增强方向，展现出社区在调度引擎可扩展性和云原生兼容性方面的持续演进。

2025-07-01 14:43:02 108

原创 DolphinScheduler 6 个高频 SQL 操作技巧

在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些后台SQL实际经验，分享如下。

2025-07-01 14:40:49 276

原创白鲸开源双项目齐中选，助力“开源之夏 2025”再结硕果！

在“开源之夏 2025”项目公示期中，白鲸开源运营的两个 Apache 顶级项目——Apache DolphinScheduler 与 Apache SeaTunnel 再次迎来学生申请中选的好消息，共有 4 个学生项目成功入选，覆盖基础功能增强、生态适配到高阶 connector 开发等方向。

2025-07-01 14:39:38 203

原创【小白入门】这十个问题回答不上来，都不好意思说自己是干调度的

在大数据系统中，工作流调度是连接数据采集、处理、分析和输出的核心枢纽。一个稳定、可扩展、可观测的调度系统，直接影响到整个数据链路的效率与可靠性。本文围绕“大数据工作流调度”，总结了开发者在实际开发和运维过程中最常遇到的十个关键问题及其解决思路，帮助你更深入理解调度系统的设计与落地实践。

2025-06-24 10:45:47 365

原创 DolphinScheduler 调度变慢？试试这些数据库性能优化策略

查询任务实例列表等接口时，有时会出现响应慢的情况，超过20秒才返回结果。

2025-06-24 10:43:39 247

原创 DSIP-91提案解读：简化工作流调试和发布的方案，等你来探讨！

在 Apache DolphinScheduler 社区中，最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中，这位开发者聚焦于优化当前工作流调试和上线发布流程，解决调试不便、发布步骤繁琐、实例混乱等痛点，提出的优化方案引入“草稿”模式，使工作流可在不上线的状态下进行调试；同时支持调试与生产实例区分、调度任务一键配置等能力。

2025-06-17 10:03:49 302

原创传统数据仓库正在被 Agentic AI 吞噬？Agentic Data Stack 初探

从技术架构的角度看，我认为这一次的AI浪潮将深刻影响整个软件生态。DSS 系统的设计是以人作为最终消费者的决策支持逻辑为中心，然而，随着 Agentic AI 时代来临，最终的“消费者”更可能是 agent，对数据仓库和复杂 ETL 链路将被重新设计，甚至消失。传统数据仓库偏重结构与查询模式，会被 Agentic Data Stack 架构强调语义与响应模式取代。

2025-06-13 15:16:23 1173

原创【生产实践】Dolphinscheduler集群部署后Web控制台不能登录的问题解决了!

Dolphinscheduler按生产手册使用一键脚本集群部署后，控制台登录页面可以打开，但使用默认账户怎么都登录不进去，尝试在数据库中清理登录用户字段，发现数据库中并没有相关用户字段，而后使用Dolphinscheduler初始化脚本建库时发现连接数据库失败。

2025-06-11 17:33:28 558

原创博世智驾智能调度实践: 用DolphinScheduler构建下一代AI数据中台

今天的话题将聚焦于是博世在智能驾驶技术方面基于Apache DolphinScheduler的技术改造与业务应用。

2025-06-11 15:11:03 927

原创全维度测试通过！DolphinScheduler 3.2.0单节点部署与验证实录

虽然本次测试显示3.2.0版本单节点部署在应用上完全可用，但社区仍推荐在生产场景中使用3.1.9版本，此版本更加稳定。

2025-06-05 16:38:45 740

原创零风险操作！DolphinScheduler高可用架构下的无损扩缩容指南

Apache DolphinScheduler作为一款开源的分布式任务调度系统，在实际生产环境中经常需要根据业务需求对集群进行扩容或缩容操作。本文将详细介绍DolphinScheduler集群的扩容和缩容操作流程，帮助运维人员安全、高效地调整集群规模。

2025-06-05 16:36:40 243

原创实战分享：DolphinScheduler 中 Shell 任务环境变量最佳配置方式

在使用 Apache DolphinScheduler 编排任务的过程中，Shell 类型任务是最常见的任务类型之一。然而，很多用户在实际使用中都会遇到一个看似简单却常常引发问题的问题——环境变量怎么设置才有效？

2025-05-27 18:03:59 759

原创 4月报 | 将已派遣任务按工人组划分到不同等待队列提案落地

本月看点：任务调度更智能，队列管理更高效！

2025-05-27 17:58:04 900

原创 Apache DolphinScheduler存储系统详解| AI生成技术文档系列

Apache DolphinScheduler 的存储系统提供统一接口，支持跨多种存储后端（如本地文件系统、云存储）进行文件存取。其核心功能是管理工作流和任务所需的资源文件（如脚本、JAR包、配置文件），并通过抽象底层存储技术，实现无缝切换存储方案而无需修改应用代码。

2025-05-27 16:19:31 654

原创第四期评选结果公示！Apache DolphinScheduler社区答疑Star揭晓

Apache DolphinScheduler社区答疑Star第四期评选活动圆满完成啦！

2025-05-23 15:33:18 334

原创基于DolphinScheduler抽取通用EventBus组件：支持延迟与事件驱动

在Apache DolphinScheduler项目中，有一个eventbus的组件，这个组件写得挺好的，想着用在业务系统上，因此自己抽取了一下，拿到业务系统中来用。

2025-05-19 18:33:00 370

原创升级遇到坑？一文带你搞定DolphinScheduler 2.0到3.0升级

因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上，此次选择测试了3.0.1 和 3.1.1 两个版本，对进行同数据等任务调度暂停等操作测试，最后选择3.0.1 版本。

2025-05-14 15:08:44 775

原创 Apache DolphinScheduler社区答疑Star第三期评选结果公示

Apache DolphinScheduler社区答疑Star第三期评选活动圆满完成啦！

2025-05-14 14:53:51 875

原创 HTTP接口数据也能定时同步入湖？用DolphinScheduler×SeaTunnel快速搞定！

我们之前曾评估使用过SeaTunnel做CDC入湖验证：SeaTunnel-CDC入湖实践，这些场景都是能直连数据库的场景，业务需求中经常会出现无法直连数据库做CDC进行数据同步的场景，而这些场景就需要使用API进行数据对接，用Apache DolphinScheduler定时同步数据。

2025-05-09 10:35:40 374

原创任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享

在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。

2025-04-28 17:26:41 773

原创【实战】一招搞定Shell调度！DolphinScheduler+ProcessBuilder超详细教程

本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。

2025-04-28 17:18:55 338

原创白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新

在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸引了众多行业关注的目光。

2025-04-25 09:51:23 1175

原创白鲸开源WhaleStudio与崖山数据库管理系统YashanDB完成产品兼容互认证

近日，北京白鲸开源科技有限公司与深圳计算科学研究院联合宣布，双方已完成产品兼容互认证。

2025-04-24 10:11:59 461

原创开源之夏2025 Apache DolphinScheduler课题宣讲

点击链接获取宣讲直播回放+PPT资料: https://www.whaleops.com/846839-846849.html?

2025-04-23 10:15:00 234

原创 DolphinScheduler开发者必看！IDEA本地调试实战指南

本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。

2025-04-23 10:08:16 400

原创金融行业数字化转型破局：WhaleScheduler如何重塑万级任务调度体系？

WhaleScheduler构建了既解决当下痛点又面向未来演进的立体化技术体系。这种多维协同的工程哲学，使得平台既能将任务失败率从8.7%压降至0.3%，又为金融业智能化转型提供了可扩展的技术基座。

2025-04-16 10:32:39 728

原创修改下内存配置，DolphinScheduler CPU飙升问题秒解决

某公司在迁移从阿里云DataWorks到自建大数据平台过程中，遇到海豚调度器在定时任务触发时导致CPU负载激增甚至系统崩溃的问题。经过排查，发现并非任务数量过多引起，而是调度器配置不当。通过调整海豚调度器的线程数和CPU限制值，成功解决了CPU飙升问题，确保了任务的平稳运行。参考此案例，用户在调整线程数时需平衡机器负载和并发任务需求。

2025-04-16 10:28:32 613

原创 21日报名截止！CommunityOverCode Asia 2025议题征集倒计时

今年，我们将在北京，再次向全球开源爱好者与 Apache 用户及开发者们发出邀请 —— 今年 7 月 25-27 日，CommunityOverCode Asia 2025 将落地北京。

2025-04-15 18:13:19 1019

原创 3月报|DolphinScheduler项目进展一览

各位热爱 Apache DolphinScheduler 的小伙伴们，社区3月报来啦！来查看上个月项目的进展吧！

2025-04-15 18:10:05 506

原创 Apache DolphinScheduler社区答疑Star第一期评选结果公示

在广大社区成员的积极参与下，Apache DolphinScheduler社区答疑Star第一期评选活动圆满落幕！

2025-04-11 15:24:49 806

原创喜讯！白鲸开源入选智联联盟2024年度软件研发优秀案例

通知附件中详细列出了第二批2024年度软件研发优秀案例获奖名单，其中白鲸开源以《调度系统助力国内头部券商中信建投打造国产信创化DataOps平台》入选优秀新动能案例。

2025-04-10 10:22:50 230

原创 Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！

近期，Apache DolphinScheduler进行了版本更新，发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级，为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是，此版本为alpha版本，请谨慎更新使用。

2025-04-09 15:05:17 1051