FLink cli报错org.apache.flinkutil.FlinkException: Mo cluster id was specified. please specify a cluste

最新推荐文章于 2024-09-30 13:37:41 发布
原创 最新推荐文章于 2024-09-30 13:37:41 发布 · 405 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #apache #java

在Flink1.14.4版本中，使用YARNsession模式运行job并手动创建savepoint时遇到错误。通过查阅官方文档和社区解答，发现需指定YARN应用ID而非使用-high-availability配置。最终解决方案是使用命令`./flinklist-tyarn-session-Dyarn.application.id=application_1672383773206_31585`来正确列出或保存savepoint。

环境说明

  • Flink 1.14.4
  • kafka 2.4.1
  • jdk “1.8.0_112”

背景说明

Flink作业提交yarn-session模式。启动job之后，定期手动做savepoint。在命令行flink CLI的模式下执行：

./flink list -t yarn-session -yid application_1672383773206_31615

出现报错：
在这里插入图片描述
解决方案：
在flink 1.14.4官方文档找到：
在这里插入图片描述尝试解决：

./flink list -t yarn-session -yid application_1672383773206_31615

./flink savepoint -t yarn-session -yid application_1672383773206_31615 -Dhigh-avilably=None

在savepoint的时候，去掉HA的配置。
最后经过大佬的指点，在FLink官方社区找到答案：

https://issues.apache.org/jira/browse/FLINK-17055

在这里插入图片描述按照上面的解释：

./flink list -t yarn-session -Dyarn.application.id=application_1672383773206_31585

最后完美解决这个问题。已经向社区反应了这个问题。

Bonyin
关注
【Flink】No cluster id was specified. Please specify a cluster to which you would like to connect
九师兄
01-07 794
flink 获取任务信息报错根据报错找到报错的位置// 调用Yanr 获取集群ID final ClusterID clusterId = clusterClientFactory . getClusterId(effectiveConfiguration);这个看起来是调用yarn appid 然后没有获取到clusterId。
【Flink】Flink 1.14.5 手动执行 checkpoint 报错 no cluster id was specified
九师兄
09-02 358
我今天搜了半天，原来官网可能是错的，官方文档有可能没更新，用下面这个，就可以啦。我用的是1.14.5。模式是per-job，然后我手动执行savepoint ，我手动执行savepoint 本来是看官网上进行运行以下的命令的。
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动
chenxyz707的博客
06-01 6945
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动 某天集群Zookeeper因为OOM挂掉，引起基于此ZK作HA的Flink集群出现故障。 在Zookeeper恢复后，重启Flink集群(版本1.7.2)时出现如下报错，导致集群无法正常启动。 ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error oc
MacOS 安装flink中遇到的问题
linqi的博客
05-05 2190
系统MacOS Catalina 1.安装步骤 brew install apache-flink 2.默认安装位置 /usr/local/Cellar/apache-flink/1.10.0 和直接从官网下载的压缩包解压不一样，通过brew安装的flink，真正的安装位置不在bin，而在/usr/local/Cellar/apache-flink/1.10.0/libexec/下面。 ...
kerberos环境下parcel方式部署flink1.15.3 基于CDH6.3.2 Flink on Yarn
h952520296的博客
01-31 2225
使用时先启动yarn-session，然后再提交job，每次提交job，也都会分配一个JobManager。Application模式：简答的说就是直接run job，每次提交的任务Yarn都会分配一个JobManager，执行完之后整个资源会释放，包括JobManager和TaskManager。如果没有看到flink的组件，可以通过重启一下cdh，我之前就试过，flink分配、激活成功后，没有看见flink组件的图标，可以通过重启CDH服务，Session模式适合比较小的任务、执行时间比较短的任务。
idea Scala flink 报错：Exception in thread “main“ org.apache.flink.util.FlinkException: Could not close
m0_73303210的博客
05-20 1356
求解答 报错：Exception in thread "main" org.apache.flink.util.FlinkException: Could not close resource.
Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
小蚯蚓的博客
01-14 5123
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c
解决Flink Elasticsearch Sink报错org.apache.flink.runtime.client.JobExecutionException: Job execution fai
weixin_42487460的博客
01-22 4378
解决Flink Elasticsearch Sink报错   我的代码如下，代码几乎都是一样的，格式也与官网一致，以下是flink scala elasticsearch6.x版本，尝试过修改5版本的写法也都是一直是报错。 elasticsearch登陆也都是正常的，甚至在本地安装es，尝试是否能跑通还是报错，报错内容也在下面。   elasticsearch sink import java.util import org.apache.flink.api.common.funct
flink sink hudi: org.apache.hudi.org.apache.avro.InvalidAvroMagicException: Not an Avro data file
weixin_39572380的博客
12-30 3749
env: flink-1.13.2 hudi-0.10.0 重启flink sink hudi 任务出现此异常 org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'hoodie_stream_write' (operator f1d7c56f4bf5fc204e4401416e5b3884). at org.apache.flink.runtime.operators.c
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 4万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
【Flink】Disconnect from JobManager responsible for
九师兄
02-17 1717
文章目录1.概述2.源码解读2.1 disconnectJobManagerConnection2.2 failExternally2.3 cancelOrFailAndCancelInvokable 1.概述 偶然FLink报错 Disconnect from JobManager responsible for Caused by: org.apache.flink.runtime.io.network.partition.ProducerFailedException: org.apache.fli
FlinkCDC 3.1.0 支持 Flink 1.18.0 版本选择
SunTecTec
06-14 1409
原因：初步判断是由于flinkcdc不同开发团队使用的flink-cdc-pipeline-connector-doris-3.1.0.jar包内是基于判断flink-1.17.0/conf/config.yaml的flink conf文件而导致，而实际上1.17版本的flink conf/下只有flink-conf.yaml配置文件，在参考原配置手动添加config.yaml文件后仍然无效。
02 - Flink启动
weixin_45800556的博客
03-13 7617
1. 背景 在[01 - Flink源码编译] 文章中介绍了Flink源码如何编译，这篇文章主要介绍源码编译后的启动验证。 2. 说明 （1）Flink编译后的可执行jar包在flink-dist目录下，具体如下： 查看目录内容： a. bin目录：Flink的执行命令所在目录 c. conf目录：Flink配置文件所在的目录，主要有flink-conf.yaml（指定Flink配置）、masters（指定JobManager地址）、works（指定TaskManager地址）。 c. lib：Flin
flink on yarn模式出现The main method caused an error: Could not deploy Yarn job cluster问题排查+解决
微电子学与固体电子学-俞驰
06-08 2万+
报错复现: flink run -m yarn-cluster -p 2 -yjm 700m -ytm 1024m -c WordCount target/bbb-1.0-SNAPSHOT.jar 完整报错如下: The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error:
Flink on Yarn 问题排查(rest.port与rest.bind-port 端口问题)
永青技术博客
04-04 6648
一、问题背景 最近在做行车数据实时分析，为了后续批流一体化的开发，前期先做技术铺垫。目前使用Flink作为批流一体切入方案。以下是基于yarn模式提交 flinksql job时出现端口冲突的问题 二、问题复述 1、我目前使用的是flink-1.12.0版本。配置文件如下 flink-conf.yaml master和worker配置 vi master bj-pan.com-04:11057 vi worker bj-pan.com-02 bj-pan.com-03...
Flink 运行平台启动
最新发布
SUPER5266的博客
09-30 973
本来想反编译修改修改jar文件，但是jar包文件依赖比较复杂，再者Flink1.10后就取消了.bat启动(windows环境支持)，估计也就是准备放弃windows环境运行。step1、Flink下载。
【Flink】Flink 启动报错 DirectoryNotEmptyException Could not close resource
九师兄
07-03 1630
美图 1.背景 windows下开发Flink程序，启动的时候报错如下，下次再次启动的时候就不报错了 org.apache.flink.util.FlinkException: Could not close resource. at org.apache.flink.util.AutocloseableAsyn.close (AutoCloseableAsyne.java:42) at org.apache.flink.streaming.api.environmen.LocalStreamEnvi
Flink多任务多启动模式同时进行
secretWHD的博客
10-18 3323
不知你们遇到过这样得问题没： ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Could not start cluster entrypoint YarnJobClusterEntrypoint. org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entrypoint
Flink异常问题处理
Samooyou的博客
05-10 972
1、ERROR org.apache.flink.yarn.YarnResourceManager - Could not start TaskManager in container container_e04_xxx java.lang.NoClassDefFoundError:Cound ont initialize class org.apache.flink.runtime.entrypoint.parser.CommandLineOptions ...
org.apache.flink.util.FlinkException: No cluster id was specified. Please specify a cluster to which you would like to connect. at org.apache.flink.client.cli.CliFrontend.runClusterAction(CliFrontend.java:994) at org.apache.flink.client.cli.CliFrontend.list(CliFrontend.java:427) at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1060) at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132)
06-03
您需要将Flink命令中的`-cid`或`--clusterid`选项设置为您要连接的集群的ID。例如： ``` ./bin/flink list -cid myCluster ``` 其中，`myCluster`是您要连接的集群的ID。请确保您输入的集群ID与您要连接的集群的ID...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值