关于flink on yarn只能提交一个job的问题

最新推荐文章于 2024-05-14 16:36:20 发布
原创 最新推荐文章于 2024-05-14 16:36:20 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在Flink集群中遇到任务提交后无法启动的问题，原因是不同任务的TaskManager RPC端口冲突。官方建议在使用cluster模式和perjob模式时，不要手动设置cluster.id，避免端口重复。解决方案是检查并移除配置中的cluster.id参数。

问题：第一个任务正常，随后的任务提交一直显示container分配成功后，没有启动task。仔细对比发现，两个任务的taskmanager的rpc端口一样。

解决方法：

官网解释如下：
在使用cluster模式时，如果使用per job模式，不能手动设置cluster.id，每次提交任务时，会自动生成。检查配置参数，不要配置cluster.id就会解决

在这里插入图片描述

Flink源码解析：YARN-per-job模式下TaskManager启动与大数据处理
TechWhiz的博客
08-16 238
在YarnResourceManager中，会根据YARN提供的资源信息和Flink配置的并行度等参数，动态计算出需要启动的TaskManager数量，并为每个TaskManager创建一个容器。使用YARN-per-job模式启动该作业时，Flink会根据配置的资源参数和并行度等信息，在YARN上启动一个或多个TaskManager实例，并分配相应的资源。YARN-per-job模式是指每个Flink作业都会在YARN上启动一个独立的应用程序，该应用程序包含一个或多个TaskManager实例。
spark应用yarn模式提交多个应用，一个Running,其它处于accepted状态
大数据技术派
07-24 4617
这篇文章解决我们的问题：https://blog.youkuaiyun.com/dandykang/article/details/48160927 以前只是开发，现在到了一家大数据刚起步公司，需要提交spark应用到yarn，每次只能运行一个，处于Running状态，其它处于Accepted状态，经过几天折腾，仍然只能运行两个spark应用，坚持了一下，终于解决。 在NodeManager中启动Exte...
flink on yarn Per-job模式High Availability 配置
yumingzhu1的博客
07-22 2383
背景：flink on yarn Per-job 模式下flink 程序会经常挂掉，直接原因是是对应节点上的 flink的 job manager 挂掉了，导致程序失败，flink的重启策略，只对于task manager生效 。 因此为保证稳定性，需要配置job manager 高可用。 实现方案 官方：当运行一个高可用的 YARN 集群时，我们不会运行多个 JobManager(ApplicationMaster) 实例，而是只运行一个，在失败时由 YARN 重新启动。确切的行为取决于您使用...
提高 yarn 平台任务的并发执行数量
骑着蜗牛向前跑的博客
10-10 2921
让 yarn 同事执行多个任务，可以提高集群资源的利用效率，也提高了任务的执行效率。description 写的很清楚：所有正在运行的 application 使用的资源占集群总资源的最大百分比。经常会看到一个现象，RUNNING 状态的 application 使用的内存资源大于我们提交任务时申请的资源数。yarn 平台为任务分配资源的时候，有最小资源分配数和最大资源分配数的限制，且这两个限制都可以通过配置参数修改。实际 executor 分配的内存 = 申请的内存 + 额外配置的内存。
IDEA中搭建flink开发环境，看这一篇就够了，亲测有效
weixin_45701550的博客
07-10 9529
在使用flink进行应用开发的时候，通常都是将开发的应用程序，提交到flink集群中，但是这样对应用程序开发调试很不方便，所谓磨刀不误砍柴工，下面我整理一个在mac上使用idea开发flink程序的配置教程，具体如下。添加flink应用程序开发必要的依赖： 此时启动开发的应用程序，会报错，报错信息如下： 报错原因主要在于应用提交后，无法启动本地flink框架。需要添加flink启动必须的依赖，该依赖是：flink-dist_2.11-1.11.2.jar，依赖的版本取决于下载flink包的版本，下载链接参考
flink- 错误：启动多个任务，只有个一任务执行
龍承leo
03-01 2080
环境：flink on yarn 问题描述：执行多个任务，只有个一任务执行，查看界面发现：显示没错 点开flink页面发现两个任务是同一个，而且只有这一个任务在执行。 问题解决： 因为配置了flink的高可用导致的，把flink-conf.yaml中高可用的配置注掉后能正常使用了 ...
idea maven窗口_IDEA上运行Flink任务
weixin_39612849的博客
11-28 249
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等； IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等； 环境信息 电脑：2019版13寸Mac...
flink on yarn 提交任务报错 —— Could not deploy Yarn job cluster
一纸春秋的博客
01-18 4421
这里到项目路径里面查看一下打包好的jar包 打包之后的jar包如果是这两个，然后提交jar包的时候提交的flink-1.0-SNAPSHOT-jar-with-dependencies.jar 这个jar包，那么就会报上面的错误，这里应该是jar包里面的依赖出现了问题 我的解决措施是，直接重新创建了一个项目 然后是项目的整体pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a.
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1368
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
flink on yarn提交任务的两种方式
热门推荐
阿尼古
03-22 1万+
flink on yarn提交任务的两种方式 flink on yarn 有两种提交方式： (1)、启动一个YARN session(Start a long-running Flink cluster on YARN)； (2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)。 简单bb两句，其实很好理解，一种是yarn-cl...
Flink on Yarn三部曲之三：提交Flink任务
2401_84046545的博客
05-14 528
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
【FLINK】Flink On Yarn 提交Job添加参数项
Zsigner的博客
09-11 6579
提交参数项 -yD flink run -d -m yarn-cluster -ynm com.xiaoe -ys 3 -p 6 -yjm 2048 -ytm 10240 -yD containerized.heap-cutoff-ratio=0.1 -yD taskmanager.memory.off-heap=true -yD taskmanager.memory.size=100m -yD heartbeat.timeout=18000000 -c com.xxx /usr/local/flin
分享一个Flink checkpoint失败的问题和解决办法
Java烂猪皮
09-18 3028
走过路过不要错过点击蓝字关注我们接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2...
脑补|yarn能并行运行任务总数～
hellojoy的博客
01-30 1010
https://cloud.tencent.com/developer/article/1534332 最近知识星球没动静主要原因是知识星球他们在做系统升级，我也很无奈，由此给球友带来的不安，深感抱歉。 前几天球友问了我一个问题： 请问浪总，集群400GB内存，提交了10个任务后就不能继续提交任务了， 资源还剩余300GB，CPU也很充足，完全满足新任务的资源，为啥就不能提交新任务了呢？？？ 各位同仁也可以先思考一下可能的原因及解决方案。 估计很多人会说： 很明显，新任务申请的资源，大于了可提供
flink 提交多个任务一直处于accept状态
weixin_44389063的博客
03-24 3510
flink on yarn 搭建完成之后提交官方jar包测试，在提交第一个任务的时候是OK的，但是在提交第二个任务的时候，任务一直处于accept状态。然后就开始查原因 log日志是正常的，flink后端的日志也是正常的 一开始百度查看各种文章 zookeeper未正常启动 flink-conf.yaml中的cluster_id配置未注释 发现都不是这些问题，然后查看任务在yarn的状态 yarn application -status $app_id 这里问题就出现了，发现是队列的资源不足导致
Flink的job提交全流程及web ui提交任务方式
MyNameIsWangYi的博客
08-19 4158
Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。其实本来觉得这篇文章不需要写的，但是在网上搜了一下，有的提交的时候参数写的不全，还有的居然是收费文章！随后左边的就可以看见tm和jm的状态了。
Yarn集群上提交多个Flink任务，状态一直Accepted且不停止不报错
qq_20901827的博客
01-07 2565
一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。 解决这个问题，只需要更改Hadoop的配置文件： ../etc/hadoop/capacity-scheduler.xml， 把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增加更多。也可见，默认情况下，Yarn没有将很多资源分配给任务的能力。 ...
flink部署模式
GOOMHOOM的博客
01-21 440
flink部署模式 \X001 Flink架构 \X002 flink部署模式 flink部署模式分为3种： application模式 app的main()运行在jobmanger上。只能运行一个Job，job运行完后jobmanager关闭了。 preJob模式 app的main()运行在client上，可以运行多个Job，AsyncJob不需要等待上一个Job完成，就可以直接开始运行，所有Job完成后，jobmanger就关闭了。 session模式 app的main()运行在client上，jo
Flink运行时架构 完整使用 (第四章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
08-09 2072
要解答这个问题，我们需要先梳理一下其他框架分配任务、数据处理的过程。对于Spark而言，是把根据程序生成的DAG划分阶段（stage）、进而分配任务的。而对于Flink这样的流式引擎，其实没有划分stage的必要。因为数据是连续不断到来的，我们完全可以按照数据流图建立一个“流水线”，前一个操作处理完成，就发往处理下一步操作的节点。如果说Spark基于MapReduce架构的思想是“数据不动代码动”，那么Flink就类似“代码不动数据流动”...
Flink On yarn的提交方式区别
最新发布
07-27
### 3.1 Flink On YARN 提交作业的不同方式及其区别 Apache Flink 支持多种在 YARN 上的部署和提交方式，主要分为三种模式：**Session Mode（会话模式）**、**Per-Job Mode（每作业独立模式）** 和 **Application Mode（应用模式）**。每种模式在资源调度、作业生命周期管理、适用场景等方面有明显差异。 --- #### 3.1.1 Session Mode（会话模式） 在该模式下，Flink 会在 YARN 上启动一个长期运行的集群，包含一个 JobManager 和多个 TaskManager。这个集群可以接受多个作业的提交，作业之间共享资源。 - 优点：资源预先分配，作业提交速度快，适合频繁提交小作业的场景。 - 缺点：作业之间共享资源，资源隔离性差，某个作业失败可能影响其他作业。 - 作业执行完成后，JobManager 和 TaskManager 不会释放，集群持续运行，直到手动停止或 YARN 资源超时回收。 启动命令示例： ```bash ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 ./examples/batch/WordCount.jar ``` --- #### 3.1.2 Per-Job Mode（每作业独立模式） 在该模式下，每个提交的作业都会启动一个独立的 Flink 集群，包括专属的 JobManager 和 TaskManager。作业完成后，集群资源会被释放。 - 优点：资源完全隔离，作业之间互不影响；适合长时间运行的作业。 - 缺点：作业启动延迟较高，因为每次提交都需要申请资源并启动集群。 - 与 Session Mode 不同，Per-Job 模式下的每个作业拥有独立的计算资源，避免资源争用问题。 启动命令示例： ```bash ./flink run \ -m yarn-cluster \ -yjm 1024 \ -ytm 1024 \ -ynm wordcount \ -c org.apache.flink.examples.java.wordcount.WordCount \ examples/batch/WordCount.jar ``` --- #### 3.1.3 Application Mode（应用模式） 该模式与 Per-Job Mode 类似，每个作业都会启动一个独立的集群。不同之处在于用户代码的解析位置。 - 在 Per-Job Mode 中，用户代码在 JobManager 中解析。 - 在 Application Mode 中，用户代码在 YARN 客户端（即提交作业的机器）上解析，这意味着作业提交过程更加集中和独立。 - 优点：资源隔离性好，适合需要独立部署和控制的作业。 - 缺点：启动延迟较高，适合长时间运行的作业。 启动命令示例： ```bash ./bin/flink run-application \ -t yarn-application \ -c com.wwb.wc.SocketStreamWordCount \ -Dparallelism.default=3 \ -Djobmanager.memory.process.size=2048m \ -Dtaskmanager.memory.process.size=4096m \ -Dyarn.application.name="MyFlinkWordCount" \ -Dtaskmanager.numberOfTaskSlots=3 \ -Dyarn.provided.lib.dirs="hdfs://$NameNode:$port/remote-flink-dist-dir/lib" \ hdfs://$NameNode:$port/job/jars/MyApplication.jar ``` --- ### 3.2 三种模式的主要区别 | 模式 | 集群共享 | 资源隔离 | 作业提交延迟 | 适用场景 | |------------------|----------|----------|--------------|----------------------------------| | Session Mode | 是 | 否 | 低 | 作业频繁提交，资源可共享 | | Per-Job Mode | 否 | 是 | 高 | 长时间运行，资源隔离要求高 | | Application Mode | 否 | 是 | 高 | 用户代码需在客户端解析，独立部署 | --- ### 3.3 适用场景对比 - **Session Mode** 适用于作业频繁提交、资源可以共享、对启动时间敏感的场景，例如实时数据处理流水线中的多个小型任务。 - **Per-Job Mode** 适用于资源隔离要求高、作业之间不能互相干扰的场景，例如多个团队共享同一个 YARN 集群时。 - **Application Mode** 适用于用户代码需要在客户端解析的场景，或者需要更细粒度的资源配置控制，例如将 Flink 作为嵌入式组件集成到其他系统中。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值