【记录】Apache DolphinScheduler在调度Flink1.12.2时的坑

最新推荐文章于 2025-02-07 11:35:24 发布
最新推荐文章于 2025-02-07 11:35:24 发布
阅读量1.2k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： dolphinscheduler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/spark9527/article/details/117548504

一、问题

因为在flink1.12.2已经移除了 -yn 这个参数
但是在Apache DolphinScheduler中需要设置的参数
在这里插入图片描述
设置完成了保存并运行
在这里插入图片描述
然后可以看到由Apache DolphinScheduler拼接的命令
在这里插入图片描述
同时可以看到最底下的报错
在这里插入图片描述
是因为 -yn 这个参数导致的。

二、解决

在设置参数的时候，把对应-yn的那个值设置为空
在这里插入图片描述
可以看到 拼接的命令已经没有 -yn 这个参数了
在这里插入图片描述

dolphinscheduler 集成flink
weixin_40455124的博客
07-12 5152
版本 dolphinscheduler 1.3.6 hadoop 3.2.1 flink 1.13.1 主要问题 classloader.check-leaked-classloader 使用默认配置（将flink copy到worker节点的/opt/soft/flink下），会遇到这个错误 Exception in thread "Thread-5" java.lang.IllegalStateException: Trying to access closed classloader. Pleas
Apache DolphinScheduler大规模任务调度系统对大数据实时Flink任务支持
Apache DolphinScheduler开源社区
09-02 1607
转载自神龙大侠我是用olphinScheduler 3.2.1版本做源代码编译部署（部署方式参考我的另外一篇文档二进制文件部署本文也适用，只需要修改相对应的配置即可。
详细教程 | 如何使用DolphinScheduler调度Flink实时任务
最新发布
Apache DolphinScheduler开源社区
02-07 1945
DolphinScheduler 提供了丰富的功能，包括任务依赖管理、动态调度、实时监控和日志管理，能够有效简化 Flink 实时任务的管理和部署。通过 DolphinScheduler 的可视化界面，用户可以轻松创建和配置 Flink 任务，设置任务的调度规则，并实时监控任务的执行状态，帮助企业高效地处理大规模实时数据，提升数据处理的效率和可靠性。在任务定义>> 实时任务列表找到刚才编写的 flink_stream 任务流，点击执行。选择flink版本，指定任务名称，配置资源参数 最后点击确认保存。
使用 DolphinScheduler 调度 Kylin 构建
Apache DolphinScheduler开源社区
03-01 338
本文章经授权转载Apache Kylin 上游通常有复杂的数据 ETL 过程，如 Hive 入库、数据清洗等；下游有报表刷新，邮件分发等。集成 Apache DolphinSchedul...
海豚调度系列之：任务类型——Flink节点
zhengzaifeidelushang的博客
03-13 3260
本案例为大数据生态中常见的入门案例，常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中，相同的单词的数量有多少。若生产环境中要是使用到 flink 任务类型，则需要先配置好所需的环境。在使用 Flink 任务节点时，需要利用资源中心上传执行程序的 jar 包。Flink 任务类型，用于执行 Flink 程序。当配置完成资源中心之后，直接使用拖拽的方式，即可上传所需目标文件。根据上述参数说明，配置所需的内容即可。根据上述参数说明，配置所需的内容即可。
DolphinScheduler 调用flink以及api的 使用
wudonglianga的专栏
07-25 6074
1.ds 调用flink 的使用 官方文档连接 ：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/quick-start.html 2. 首先可以创建队列 作为程序调用的时候作为队列使用， 创建后不能删除。 3. 创建租户 1.租户对应的是linux 用户, 用户worker 提交作业所使用的的用户， 如果linux 没有这个用户， worker 会在执行脚本的时候创建这个用户 2.租户和租户编码都是唯一不能重复，好比一个人有名
DolphinScheduler.docx
05-15
大数据调度框架ds，定时任务调度，详解安装与基础配置。大数据调度框架ds，定时任务调度，详解安装与基础配置。大数据调度框架ds，定时任务调度，详解安装与基础配置。大数据调度框架ds，定时任务调度，详解安装与基础配置
Flink1.12.2-CDH6.3.2任务调度与性能调优：专家级策略指南
Apache Flink作为一个开源的分布式流处理框架，在处理大规模数据流时具有高性能和高可靠性的特点。本文深入探讨了Flink的任务调度机制和性能调优策略。首先，从任务调度模型、资源管理以及时间管理三个方面对Flink的...
构建实时数据管道：Flink1.12.2-CDH6.3.2最佳实践深度解析
[构建实时数据管道：Flink1.12.2-CDH6.3.2最佳实践深度解析](https://img-blog.csdnimg.cn/img_convert/f77659c4722b3b6baa9fc1147397eb2a.png) # 摘要 实时数据处理是现代大数据应用的核心，本文首先概述了实时...
Flink1.12.2-CDH6.3.2容错策略对比：检查点与保存点的智慧选择
![Flink1.12.2-CDH6.3.2容错策略对比：检查点与保存点的智慧选择]...接着，本文对Flink1.12.2与CDH6.3.2的容错特性进行了对比分析，评估了两者的改进和用户反馈。最后，提出了
Flink1.12.2-CDH6.3.2状态后端探索：RocksDB vs MemoryStateBackend
[Flink1.12.2-CDH6.3.2状态后端探索：RocksDB vs MemoryStateBackend](https://cdn.confluent.io/wp-content/uploads/tables.png) # 摘要 Apache Flink是一个流行的开源流处理框架，其状态后端管理是保障系统稳定性...
Flink1.12.2-CDH6.3.2监控与调试：提升Job性能的必备技巧
[Flink1.12.2-CDH6.3.2监控与调试：提升Job性能的必备技巧](https://opengraph.githubassets.com/9c1aa1d34ee9e4fb346dc1756062e3b644a8cc3fa4471fd7825b3488593a0138/AleWong/Apache-Flink-Web-Dashboard-RCE) ...
Apache DolphinScheduler新一代分布式工作流任务调度平台实战-上
itxiaoshen博客
07-30 1636
全新一代分布式工作流任务调度平台Apache DolphinScheduler，其为azkaban的完美替换品，本篇从实战目的出发先了解特性和组成部分，然后以二进制的方式部署2个Master3个Worker1个API和1个Alert的生产环境集群，介绍了其监控中心和安全中心必用功能，最后以一个简单的shell依赖工作流整理流程打开使用的大门。.........
dolphinscheduler有任务一直在运行（问题）目前对数据库解决
qq_43688472的博客
11-22 1526
其实对于dolphinscheduler的性能是下降的，比如页面会出现打不开，卡顿现象。这么多的任务没有结束，会涉及很多问题的，系统的数据盘会不断入职日志，数据量很大，目前是通过数据库更改任务状态解决的。11 - 等待依赖项完成。
海豚²来了丨DolphinDB 集成 DolphinScheduler，任务调度更轻松
Apache DolphinScheduler开源社区
01-08 1712
本文选取了 20230201 上交所某股票 level 2 委托数据、快照数据、成交数据作为演示。以下是逐笔委托表在DolphinDB的结构。字段名字段含义数据类型(DolphinDB)ChannelNo通道代码INTApplSeqNum消息记录号LONGMDStreamID行情类别INTSecurityID证券代码SYMBOL证券代码源INTPrice委托价格DOUBLEOrderQty委托数量INTSide委托买卖方向SYMBOLTradeTime。
Apache DolphinScheduler支持Flink吗？
Apache DolphinScheduler开源社区
04-30 1521
随着大数据技术的快速发展，很多企业开始将Flink引入到生产环境中，以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台，Apache DolphinScheduler也跟上了时代步伐，推出了对Flink任务类型的支持。Flink是一个开源的分布式流处理框架，具有高吞吐量、低延迟和准确性等特点，广泛应用于实时数据分析、机器学习等场景。通过DolphinScheduler的Flink任务类型，用户可以轻松地将Flink作业纳入到整个数据调度流程中，大大提高了数据处理的效率和可靠性。
DolphinScheduler集群 任务一直运行，不成功也不失败
SunTecTec
03-29 1847
当DolphinScheduler的监控中心页面上的，Worker结点并非是bin/env/install_env.sh下定义的ip地址，则会导致Worker结点并非指定的机器结点，从而导致无法接受到任务执行中或者结果的任何状态。修改bin/env/install_env.sh下的 ips地址 和 worker结点的ip地址，最好直接使用ip地址的方式编辑，而不是通过/etc/hosts文件映射ip地址名，这便于发现问题。
Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台
张伟的专栏
05-09 5832
在推导的过程中，通常会运用到一些比较关键的信息，下图中所展示的是 SQL 任务提交过程中构建的 StreamGraph，血缘实现的原理是基于 Pact、Contents、Predecessors 等参数实现 Source 和 Sink 字段关系的推导，但是有一些自定义的 UDF 以及连接器是不包含类似元数据的信息，比如说 Hudi 的连接器是无法进行 Hudi 的血缘。通过 Dinky 来提供一个完整的任务开发运维的平台能力，满足常见的企业数据平台需求。
分布式可视化作业调度平台 DolphinScheduler MasterServer 设计核心要点揭秘
Apache DolphinScheduler开源社区
01-28 1366
点击蓝字 关注我们作者 | 欧阳业伟01导读Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使得调度系统在数据处理流程中开箱即用。自 2019 年开源以来，得益于其自身的稳定性、易用性、扩展性和完备的功能备受关注，笔者收集了一些业界案例：有赞：全面从 Airflow 迁移到 DolphinSched...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值