【第四期】Apache DolphinScheduler 每周 FAQ 集锦

点击蓝字 关注我们

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

1. 本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。

2. 所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：

   1. 关于 Apache DolphinScheduler 的使用问题和技术性问题；

   2. 在实际应用中遇到的瓶颈问题；

   3. 参与社区贡献遇到的困难；

   4. 关于社区发展的疑问。

3. 资源有限，请勿提问项目无关问题。

4. 【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）

5. 在社群里已经提问的问题，请勿在文档中重复提问，节约资源。

6. 本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

4月22日-4月28日

问

离线数仓任务按先后顺序依赖调度， 那实时数仓，任务依赖之间怎么调度，怎么执行？    

答

在DAG里面只是起一个显示依赖关系的效果，实时任务执行时和DAG没有依赖关系，DAG执行会跳过实时任务节点，实时任务是单独执行。

问

DolphinScheduler的SeaTunnel任务组件可以支持SeaTunnel Zeta引擎吗？    

答

3.1.6 版本将支持。    

问

3.1.2版本工作流定义执行时，处理任务定义更新资源数据，根据任务定义resourcesList中id获取不到资源（导入的工作流），抛出控指针异常，从而处理工作流失败，工作流执行失败又加入工作流事件队列，再次执行又再次失败，反复执行，错误日志刷满磁盘，显示Start workflow error。请问失败的工作流处理，是否可以根据处理失败的次数，不再加入工作流事件队列，以此避免错误重复？    

答

这个问题已经解决了，将会在 3.1.6 发版的时候解决。但是不能限制次数解决。    

问

关于DolphinScheduler工作流运行实例和执行策略的问题：
1、场景：微批调度
实例是到达调度时间点才会生成吗？还是后台会提前批量生成一批实例等待？

答

当创建好了工作流定义，把定时管理配置完毕，上线工作流定义，上线定时执行，到时间自动触发，执行工作流实例。    

问

2、执行策略：
场景：随着任务迁移增加，资源等其他因素 可能会导致调度任务延迟。

为了预防这种情况，执行策略大多数情况下，设置为哪种？串行优先吗？（任务并行执行会锁表等异常）
同一个工作流在同一个时间点，拥有多个实例，按照串行优先的策略，（实例优先级都相同）会不会发生并行执行的情况？还是先进先出 ，不会发生并行执行的情况？    

答

要看你任务优先级，任务之间的关联关系了，有些任务可以并行执行，有些任务要串行，比方说ods层可以同时并行跑批，那么dim层需要ods层依赖，这可以理解为串行。   

问

3. 如果服务器资源异常，导致调度实例没有按时执行堵塞了，此时同一个工作流的调度实例之间是什么执行顺序？（前提ods dwd 工作流优先级都一样）比如 dwd 工作流依赖 ods 工作流实例 ，两个工作流实例在某个时间点 9点 同时有8点半 8点45实例，dwd 8点45实例会依赖8点半 的dwd 实例吗？或者两个实例会有可能同时执行吗？（当8点30 8点45的ods实例同时完成）    

答

8点45的任务依赖8点半的，那么8点半的任务挂掉，8点45的任务自然跑不了，解决方案重跑8点半的任务，然后跑8点45的任务。
避免此类情况发生，可升级至3版本。    

问

目前DolphinScheduler对 Flink 1.15-1.17 支持怎么样呢？    

答

DS只是提交任务，只要代码是兼容这些版本的，就是支持的。但是如果你使用 Flink 的 SQL 任务，就是支持 1.13+。    

问

DolphinScheduler能解决跨数据源插入吗？  

答

DolphinScheduler是专注于调度的，你的问题可以用SeaTunnel同步解决。

问

DolphinScheduler的元数据库能换成达梦的吗？支持达梦改起来复杂吗？    

答

需要适配，商业版 WhaleScheduler 为全栈信创做了各种适配，可尝试。   

问

Datasource的连接探活的功能是否有参数能关闭的？就是数据库的缓存池能否关闭？    

答

如果是指 connection pool 的话， dev 已经处理了，3.2.0会发布。    

问

zk重试动不动就自杀，很困扰，3.1.1有解决这个问题吗？    

答

可能是网络不稳定，可以在机器上起个 crontab，发现 worker 进程没了，就重启服务，最好升级到 3.0.5。    

问

dp是否支持调用非本节点的组件？比如我现在用的是华为的集群，但不允许dp和集群在同一个节点上，那我能通过什么方式去调取华为的集群flink，yarn，hadoop等组件？    

答

可以通过 shell 任务提交远程 ssh 任务，或者

 cherry pick dev 分支的remote shell 任务到

你们本地分支：https://github.com/apache/dolphinscheduler

/pull/13801  

问

dp的元数据和sql调度是否支持高斯数据库？   

答

DS支持pg，最新版本高斯是兼容pg 的jdbc 的，如果你的也支持，那就支持。   

问

工作流里的工作流关系只是用来展示吗？能不能配出工作流和工作流之间的依赖（不包括子流程）？    

答

Workflow relation 只是展示不能配置。    

问

上游传递来一个list 列表，下游SQL怎么使用 in 来接受这个 list？   

答

方法一：使用ANY关键字您可以使用ANY关键字将列表转换为一个值的集合，并使用IN运算符来匹配该集合。

方法二：使用unnest()函数您可以使用unnest()函数将列表拆分为单个行，并将其用作子查询，然后使用IN运算符将其与主查询匹配。

问

跑Yarn任务报了异常，但是在Linux命令行是可以正常运行的，是怎么回事？    

答

在Flink命令里面添加hadoop的环境变量，source 普通用户的~/.bash_profile环境变量和root用户的profile文件，环境变量需要提到脚本最前面。   

问

DolphinScheduler 3.1.5包支持从1升级到3吗？    

答

可以参考下这篇文章

Apache DolphinScheduler 从 1.3.4 升级至3.1.2 过程中的问题记录及解决方案

问

DolphinScheduler资源中心文件上传有大小限制吗？发现超过3M之后就没有响应了。    

答

可以参考 https://note.youdao.com/s/KdIAsJVk。另外，不建议生产上使用尾号是 0 的版本，这种版本改动一般较大，对应的 bug 也会多。建议使用 3.0.5 或 3.1.5。    

问

数据质量的引擎目前不支持Flink吗？    

答

不支持。

问

海豚调度器是不是必须得依赖于hdfs文件系统？    

答

不是必须。

问

DolphinScheduler，如果将数据库和注册中心都改成MySQL，生产可用吗？（集群数量不会太多，3台左右，也不追求高性能的并发任务）    

答

建议部署集群，standalone模式维护比较难。    

问

DolphinScheduler最新版本支持SeaTunnel Zeta Engine了吗？    

答

ST engine dev 分支已经支持了，但是 315 还不支持，将会在 3.1.6支持。

问

DolphinScheduler支持MySQL 当注册中心的是哪个版本？    

答

3.1.0版本及以上。    

问

新版资源中心从哪个版本开始支持？    

答

3.2.0版本开始。   

< 🐬🐬 >

往期回顾

☞【每周 FAQ】第二期 | 回答你关于 Apache DolphinScheduler 的疑问

☞【每周 FAQ】第一期 | 回答你关于 Apache DolphinScheduler 的疑问

☞【第三期】Apache DolphinScheduler 每周 FAQ 集锦

参与贡献

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds) 

添加小助手微信时请说明想参与贡献。

来吧，开源社区非常期待您的参与。

点击阅读原文，点亮Star支持我们哟