点击蓝字 关注我们
摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。
关于本栏目的要点:
本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。
所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:
关于 Apache DolphinScheduler 的使用问题和技术性问题;
在实际应用中遇到的瓶颈问题;
参与社区贡献遇到的困难;
关于社区发展的疑问。
资源有限,请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)
在社群里已经提问的问题,请勿在文档中重复提问,节约资源。
本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
4月22日-4月28日
问
离线数仓任务按先后顺序依赖调度, 那实时数仓,任务依赖之间怎么调度,怎么执行?
答
在DAG里面只是起一个显示依赖关系的效果,实时任务执行时和DAG没有依赖关系,DAG执行会跳过实时任务节点,实时任务是单独执行。
问
DolphinScheduler的SeaTunnel任务组件可以支持SeaTunnel Zeta引擎吗?
答
3.1.6 版本将支持。
问
3.1.2版本工作流定义执行时,处理任务定义更新资源数据,根据任务定义resourcesList中id获取不到资源(导入的工作流),抛出控指针异常,从而处理工作流失败,工作流执行失败又加入工作流事件队列,再次执行又再次失败,反复执行,错误日志刷满磁盘,显示Start workflow error。请问失败的工作流处理,是否可以根据处理失败的次数,不再加入工作流事件队列,以此避免错误重复?
答
这个问题已经解决了,将会在 3.1.6 发版的时候解决。但是不能限制次数解决。
问
关于DolphinScheduler工作流运行实例和执行策略的问题:
1、场景:微批调度
实例是到达调度时间点才会生成吗?还是后台会提前批量生成一批实例等待?
答
当创建好了工作流定义,把定时管理配置完毕,上线工作流定义,上线定时执行,到时间自动触发,执行工作流实例。
问
2、执行策略:
场景:随着任务迁移增加,资源等其他因素 可能会导致调度任务延迟。
为了预防这种情况,执行策略大多数情况下,设置为哪种?串行优先吗?(任务并行执行会锁表等异常)
同一个工作流在同一个时间点,拥有多个实例,按照串行优先的策略,(实例优先级都相同)会不会发生并行执行的情况?还是先进先出 ,不会发生并行执行的情况?
答
要看你任务优先级,任务之间的关联关系了,有些任务可以并行执行,有些任务要串行,比方说ods层可以同时并行跑批,那么dim层需要ods层依赖,这可以理解为串行。
问
3. 如果服务器资源异常,导致调度实例没有按时执行堵塞了,此时同一个工作流的调度实例之间是什么执行顺序?(前提ods dwd 工作流优先级都一样)比如 dwd 工作流依赖 ods 工作流实例 ,两个工作流实例在某个时间点 9点 同时有8点半 8点45实例,dwd 8点45实例会依赖8点半 的dwd 实例吗?或者两个实例会有可能同时执行吗?(当8点30 8点45的ods实例同时完成)
答
8点45的任务依赖8点半的,那么8点半的任务挂掉,8点45的任务自然跑不了,解决方案重跑8点半的任务,然后跑8点45的任务。
避免此类情况发生,可升级至3版本。
问
目前DolphinScheduler对 Flink 1.15-1.17 支持怎么样呢?
答
DS只是提交任务,只要代码是兼容这些版本的,就是支持的。但是如果你使用 Flink 的 SQL 任务,就是支持 1.13+。
问
DolphinScheduler能解决跨数据源插入吗?
答
DolphinScheduler是专注于调度的,你的问题可以用SeaTunnel同步解决。
问
DolphinScheduler的元数据库能换成达梦的吗?支持达梦改起来复杂吗?
答
需要适配,商业版 WhaleScheduler 为全栈信创做了各种适配,可尝试。
问
Datasource的连接探活的功能是否有参数能关闭的?就是数据库的缓存池能否关闭?
答
如果是指 connection pool 的话, dev 已经处理了,3.2.0会发布。
问
zk重试动不动就自杀,很困扰,3.1.1有解决这个问题吗?
答
可能是网络不稳定,可以在机器上起个 crontab,发现 worker 进程没了,就重启服务,最好升级到 3.0.5。
问
dp是否支持调用非本节点的组件?比如我现在用的是华为的集群,但不允许dp和集群在同一个节点上,那我能通过什么方式去调取华为的集群flink,yarn,hadoop等组件?
答
可以通过 shell 任务提交远程 ssh 任务,或者
cherry pick dev 分支的remote shell 任务到
你们本地分支:https://github.com/apache/dolphinscheduler
/pull/13801
问
dp的元数据和sql调度是否支持高斯数据库?
答
DS支持pg,最新版本高斯是兼容pg 的jdbc 的,如果你的也支持,那就支持。
问
工作流里的工作流关系只是用来展示吗?能不能配出工作流和工作流之间的依赖(不包括子流程)?
答
Workflow relation 只是展示不能配置。
问
上游传递来一个list 列表,下游SQL怎么使用 in 来接受这个 list?
答
方法一:使用ANY关键字您可以使用ANY关键字将列表转换为一个值的集合,并使用IN运算符来匹配该集合。
方法二:使用unnest()函数您可以使用unnest()函数将列表拆分为单个行,并将其用作子查询,然后使用IN运算符将其与主查询匹配。
问
跑Yarn任务报了异常,但是在Linux命令行是可以正常运行的,是怎么回事?
答
在Flink命令里面添加hadoop的环境变量,source 普通用户的~/.bash_profile环境变量和root用户的profile文件,环境变量需要提到脚本最前面。
问
DolphinScheduler 3.1.5包支持从1升级到3吗?
答
Apache DolphinScheduler 从 1.3.4 升级至3.1.2 过程中的问题记录及解决方案问
DolphinScheduler资源中心文件上传有大小限制吗?发现超过3M之后就没有响应了。
答
可以参考 https://note.youdao.com/s/KdIAsJVk。另外,不建议生产上使用尾号是 0 的版本,这种版本改动一般较大,对应的 bug 也会多。建议使用 3.0.5 或 3.1.5。
问
数据质量的引擎目前不支持Flink吗?
答
不支持。
问
海豚调度器是不是必须得依赖于hdfs文件系统?
答
不是必须。
问
DolphinScheduler,如果将数据库和注册中心都改成MySQL,生产可用吗?(集群数量不会太多,3台左右,也不追求高性能的并发任务)
答
建议部署集群,standalone模式维护比较难。
问
DolphinScheduler最新版本支持SeaTunnel Zeta Engine了吗?
答
ST engine dev 分支已经支持了,但是 315 还不支持,将会在 3.1.6支持。
问
DolphinScheduler支持MySQL 当注册中心的是哪个版本?
答
3.1.0版本及以上。
问
新版资源中心从哪个版本开始支持?
答
3.2.0版本开始。
< 🐬🐬 >
往期回顾
☞【每周 FAQ】第二期 | 回答你关于 Apache DolphinScheduler 的疑问
☞【每周 FAQ】第一期 | 回答你关于 Apache DolphinScheduler 的疑问
☞【第三期】Apache DolphinScheduler 每周 FAQ 集锦
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加社区小助手微信(Leonard-ds)
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
点击阅读原文,点亮Star支持我们哟