DolphinScheduler 一个让你能一觉睡到大天亮的调度系统 886 调度流 0 失败，7239 task 成功。task 重试机制。

那些你很早爬起来努力的时光，那些你熬夜训练的日子，那些你觉得太累了不想努力并强迫自己但仍咬牙坚持的时光，那才是追寻梦想的意义，那就是梦想力量。但是真正的梦想不是到达终点，而是享受旅途。如果你们能够理解这个道理。你会发现，在努力的过程中。你的梦想或许会实现，或许不会。但总有一些更伟大的事情会随之而来。

本文链接：https://blog.youkuaiyun.com/cs261244787/article/details/138267278

本文分享了使用DolphinScheduler解决调度系统中的单点问题、调度流不可转移、虚拟环境问题及业务时间挑战的经验。DS的去中心化特性解决了许多痛点，但日志查看不如Azkaban方便。目前生产架构采用物理机，确保资源独享，通过DS实现任务自动重试，大大减少了调度失败的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

距离第一次尝试成功的文章（2021-06-17）https://blog.youkuaiyun.com/cs261244787/article/details/117987373 至今已经过去 3 年了。说说楼主的切身体会，和生产环境使用的对比。

1、调度之痛 - 单点问题

相信搞过 Azkaban 集群的、或者其他调度集群的都为单点问题恶心的睡不着觉。毕竟谁也不愿意大半夜起来看有没有出问题，改源码又不友好。睡不着觉也不是自己不想理会生产，每天好几千的调度 task ，又是大数据部门，又有公司老板看的内容，想睡觉基本吹牛逼了。楼主经历过 0、2、4、6、8 这样定闹铃起来看调度连续 3 天的状态。每天脑瓜子嗡嗡的，就好像十个老板同时锤爆你脑袋的那种痛苦。哎。。。。。一言难尽。

后续又是这样断断续续，搞调度的这段时间是职业生涯最苦的时候了，没功劳，苦劳领导也看不到。

我还不是最惨的，毕竟我负责技术，还有个专门负责人工肉眼查调度的哥们，他使用 Azkaban ，也二开了 Azkaban 配置代码（搞 azkaban 配置调度层级时候非常恶心）。但他经常是熬夜一通宵，我 2 小时一起来是看集群有没有挂，把单点的 execute 搞起来，他就是调度如果错了，他要暂停后续依赖，重跑当前依赖，再去把后面调起来…。跟他比我得痛苦轻得多