flink1.11中Application 模式提交任务 yarn报错

最新推荐文章于 2023-12-31 11:38:55 发布
原创 最新推荐文章于 2023-12-31 11:38:55 发布 · 5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #application #大数据

本文解决Flink1.11在Yarn Application模式下提交任务时遇到的“Couldnt deploy Yarn session cluster”错误。通过调整yarn-site.xml配置文件中的虚拟内存检查设置，成功避免了因虚拟内存限制导致的任务失败。

flink1.11中Application模式提交任务到yarn时，提示报错信息：

java.lang.RuntimeException:Couldn’t deploy Yarn session cluster

The YARN application unexpectedly switched to state FAILED during deployment.

解决办法：

错误原因：虚拟内存超过限制
处理方式：yarn-site.xml中注释以下内容：

<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

 

Flink任务执行错误：无法部署YARN集群大数据任务
TechWhiz的博客
08-17 1049
总结一下，当我们尝试将Flink任务部署到YARN集群时，有时会遇到"exitCode= the main method caused an error: could not deploy yarn job cluster"的错误。通过确保YARN集群正常运行、检查Flink和YARN的版本兼容性、正确配置Flink和YARN的相关配置文件，以及重新启动相关服务，我们可以解决这个问题。确保YARN集群正常运行：在提交Flink任务之前，确保YARN集群已经正确安装和配置，并且所有的节点都处于正常运行状态。
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 1075
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
flink on yarn -启动任务报错——FileNotFoundException: File file:/root/.flink/application_1647864661406_0365/
龍承leo
03-12 4068
Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application application_1647077633391_0005 failed 1 times (global limit =.
Flink on Yarn 问题排查(rest.port与rest.bind-port 端口问题)
永青技术博客
04-04 6636
一、问题背景 最近在做行车数据实时分析，为了后续批流一体化的开发，前期先做技术铺垫。目前使用Flink作为批流一体切入方案。以下是基于yarn模式提交 flinksql job时出现端口冲突的问题 二、问题复述 1、我目前使用的是flink-1.12.0版本。配置文件如下 flink-conf.yaml master和worker配置 vi master bj-pan.com-04:11057 vi worker bj-pan.com-02 bj-pan.com-03...
Flink on yarn Couldn‘t deploy Yarn cluster或者The YARN application unexpectedly switched to state FAIL
Joseph25的博客
03-28 1万+
Error while deploying YARN cluster: Couldn't deploy Yarn cluster java.lang.RuntimeException: Couldn't deploy Yarn cluster at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploy(AbstractYarnCl...
flink on yarn启动失败
qq_27736105的博客
04-17 4238
我启动hadooponyarn集群后 [root@node1flink-1.6.1]#./bin/yarn-session.sh-n2-jm1024-tm1024 报的如下错误 1 Caused by: org.apache.flink.yarn.AbstractYarnClusterDescriptor$YarnDeploymentException: The ...
Flink-Application模式提交任务到Yarn集群，包括jar包提交方法和javaApi提交方法
clearlxj的博客
09-30 7878
Flink Application 对于per job模式，jar包的解析、生成JobGraph是在客户端上执行的，然后将生成的jobgraph提交到集群。如果任务特别多的话，那么这些生成JobGraph、提交到集群的操作都会在实时平台所在的机器上执行，那么将会给服务器造成很大的压力。 此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应 的临时目录，这个也会带来大量的网络的开销，所以如果任务特别多的情况下，平台的吞吐量将会直线下降。 所以针对flink per job模式的一些
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3435
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
Flink1.11 脚本提交任务yarn以及java代码提交任务到yarn执行实践
qq_31866793的博客
09-10 4957
1,我们先看官网，一起从官网看起 https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/deployment/yarn_setup.html 2，看到上图，我就忽略第一个模式了，在正式生产环境我们一般推崇第二种模式，或者第三种模式 3，查看执行参数命令 ./bin/flink run --help Action "run" compiles and runs a program. Syn...
flink教程-详解flink 1.11中的新部署模式-Application模式
公众号[大数据技术与应用实战]，分享大数据实战案例
07-22 7473
目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。session模式共享资源，如果一个任务出现了问题，会影响其他的任务，per job模式需要有大量的jar和资源拷贝，并且生成JobGraph都是在本地做的，如果任务多的话，会给服务器造成很大的压力，所以flink引入了application模式。Yarn Application 模式会在客户端将运行任务需要的依赖都上传到 Flink Master，然后在 Master 端进行任务的提交
CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败
qq_21480329的博客
12-31 2376
CDH 6.3.2集成flink 1.18.0 zookeeper版本不匹配
YarnClusterDescriptor$YarnDeploymentException
arbalest1080的博客
09-26 488
Caused by: org.apache. flink.yarn.YarnClusterDescriptor$YarnDeploymentException:The YARN application unexpectedlyswitched to state FAILED during deployment
The main method caused an error: Could not deploy Yarn job cluster.
qq_34009542的博客
12-22 3290
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. Caused by...
flink on yarn模式出现The main method caused an error: Could not deploy Yarn job cluster问题排查+解决
热门推荐
微电子学与固体电子学-俞驰
06-08 2万+
报错复现: flink run -m yarn-cluster -p 2 -yjm 700m -ytm 1024m -c WordCount target/bbb-1.0-SNAPSHOT.jar 完整报错如下: The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error:
部署flink集群遇到的问题（记录）
主要写大数据集群一线运维和学习工作经验
01-03 2274
1、flink jdk 版本的问题 org/apache/flink/yarn/entrypoint/YarnSessionClusterEntrypoint : Unsupported major.minor version 52.0 org/apache/flink/runtime/entrypoint/StandaloneSessionClusterEntrypoint : Unsupp...
CDH6.3.2 集成 Flink 1.17.0 失败过程
qq_41875667的博客
06-10 3044
环境说明:cdh版本:cdh6.3.2。
Flink on yarn 问题梳理
Jhon_yh的博客
06-30 3216
文章目录1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. 1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. 解决办法： 在 flink 配置文件里 flink-co
探究 Flink1.11 Application 运行模式
http://www.54tianzhisheng.cn/
10-05 739
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章来源 |https://segmentfault.com/a/11900000...
Apache Flink 1.12.0 on Yarn(3.1.1) 所遇到的問題
m0_46168848的博客
11-04 1271
Flink on yarn提交任务报错ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster
flink cdc 支持yarn application模式么？
最新发布
02-23
- Flink 1.11+ 支持 YARN Application 模式。 - Flink CDC 2.x 要求 Flink 1.13+（推荐使用 Flink 1.17+ 和 Flink CDC 3.0 获取最新功能）。 - **依赖管理**：需将 Flink CDC Connector（如 `flink-sql-connector...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值