ds一些不易排查问题的总结

文章讨论了在DolphinScheduler中遇到的任务执行延迟和自动退出问题,可能是由于集群时间不统一或worker节点的OOM情况。解决方案包括减少worker并发量和避免在worker上执行资源密集型任务如datax。同时,提到了代码问题,包括switch分支交叉导致的运行结果错误和日志异常处理不成功,以及子流程选择失败后状态显示异常。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

非代码问题

  • 任务没有设置延迟,但是会显示延时执行,(集群时间不统一)

  • 任务执行期间 自动把自己杀死了退出码137,且任务多是在worker 本地执行的任务(比如datax),137 无故退出要么是手动杀死,又或者是oom 了,这是因为datax 需要本地的资源执行, 当worker 并发量大的时候xmx和xms 不是一样的。导致任务资源膨胀起来之后oom 了。解决方案,减小worker 的并发量,或者将这些消耗本地资源的任务放到非worker 上执行

代码问题

  • switch 两个执行分支交叉导致运行结果不符合预期[https://github.com/apache/dolphinscheduler/pull/14563]
  • 日志如果有异常mask 不成功 [https://github.com/apache/dolphinscheduler/pull/14018]
  • 流程subprocess 选择失败结束,但是subprocess 节点一直事运行中的状态[https://github.com/apache/dolphinscheduler/pull/14170]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值