yarn-session.sh 错误解决

最新推荐文章于 2024-07-08 18:10:18 发布
原创 最新推荐文章于 2024-07-08 18:10:18 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#windows #java #开发语言

本文针对Flink在启动过程中遇到的NoSuchMethodError错误进行了详细分析，并提供了具体的解决方案，包括缺失jar包的下载路径及放置位置。

$FLINK_HOME/bin/yarn-session.sh -n 3 -s 2 -jm  2048 -tm 1024

执行这个命令 报错缺少jar报

flink1.2.1缺一个，flinK.1.2.5缺两个

flink-shaded-hadoop-2-uber-2.7.2-10.0.jar下载

如果不能用 自己编译代码。确实有点麻烦

第一个错误 缺少命令 

【问题与解决】Flink启动时报错：NoSuchMethodError: org.apache.commons.cli.Option.builder_momentni的博客-优快云博客

去命令 下载 放到lib目录

https://mvnrepository.com/artifact/commons-cli/commons-cli/1.3.1

最低0.47元/天 解锁文章
flink on yarn的会话模式中yarn-session.sh 参数
JustinMars的博客
07-19 1415
是 Apache Flink 在 YARN（Hadoop 的资源管理系统）上启动 Flink 会话（Session）的脚本。通过这个脚本，你可以在 YARN 上提交 Flink 任务，并在一个长时间运行的会话中执行多个作业。: 指定要在 YARN 上启动的 TaskManager 容器数量，也就是执行 Flink 任务的资源数量。: 指定 JobManager 容器的内存大小，以MB为单位。: 指定每个 TaskManager 容器的内存大小，以MB为单位。: 启动作业时可以指定特定的应用程序选项。
Flink启动yarn-session报错：Error while running the Flink session
AlianBlank的博客
09-04 434
总结一下，当在使用Flink启动yarn-session时遇到"Error while running the Flink session. java.lang.NoSuchMethodError"的报错时，首先需要确保Flink版本与依赖项版本兼容。在使用Flink启动yarn-session时，有时会遇到"Error while running the Flink session. java.lang.NoSuchMethodError"的报错。在实际使用时，你需要根据自己的需求进行相应的配置。
yarn-session.sh启动报错的六种解决问题集合包括完全分布式和伪分布式
weixin_52810349的博客
06-08 1067
VERSION里的datanodeUuid一致导致的冲突，这里是因为从节点和主节点用一样的datanodeUuid导致node块在yarn集群里冲突了。第二种hdfs的块坏了（yarn-session.sh其实是运行多次没有运行成功，发送过去坏了没有删除）第三种内存爆了，电脑满90%以上内存了，可以调调虚拟机内存配比。在 yarn-site.xml。在yarn-site.xml。在hdfs-site.xml。调成5个，设置为5就可以了。从节点的和主节点一致才能运行。第四种备份副本块的问题。
Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster
WHY的博客
01-16 1484
Flink启动yarn session报错：Permission denied: user=root,access=WRITE,inode="/user":why:supergroup:drwxr-xr-x
Flink 启动 yarn-session.sh
qq_40471761的博客
07-20 4785
1.内存不足 启动命令 bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 解决办法：将 hadoop 的检查虚拟内存关闭掉 在yarn-site.xml 中添加 <property> <name>yarn.nodemanager.vmem-check-enabled</name> ...
flinkOnYarn 启动报错NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
Alex_Sheng_Sea的博客
10-17 6209
[root@hadoop-01 flink-1.9.0]# bin/yarn-session.sh Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/...
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 3499
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
flink yarn-session.sh启动任务指定的应用名和队列无效问题
云想慕尘的专栏
07-01 5232
问题背景 我有一个hadoop集群和一台机器A. 我在机器A上，使用命令: bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 & 启动了一个yarn-session，其中，指定了队列root.flink和应用名fsql-cli。 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致，如图： 启动后，应用名为：Flink sess
yarn-session.sh -qu 如何设置
最新发布
03-31
嗯，用户问的是关于yarn-session.sh的-qu参数用法和配置方法。首先，我需要回忆一下Flink on YARN的相关知识。记得-qu是用来指定YARN队列的，对吧？用户可能在使用yarn-session的时候需要将任务提交到特定的资源队列...
flink启动找不到yarn-session.sh命令
zggpdd的博客
08-11 713
这个错误其实很低级，主要就是我安装flink的时候，以为自己配置了环境变量，谁知其实并没有配置环境变量。 主要还是因为自己当初安装flink的几种模式时，是分开复制安装，导致自己以为配置了环境变量， 还有一个需要注意：yarn-sisson.sh是flink/bin/的命令，并不是hadoop的yarn的命令。 ...
Flink:Yarn-Session 启动
u012566690的专栏
08-29 3068
背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s
Flink任务提交给Yarn，为何web界面只有一个Taskmanager？
piaoken5588的博客
03-18 5832
使用yarn-session在yarn集群上启动一个flink集群： ./yarn-session.sh -n 4 -jm 1024 -tm 1024 -s 2 此时，在master:8088的界面看到多了一个application，但是running containers数量为1；【为何不是分配的4】 然后，继续在yarn上提交flink的jar包运行： ./flink run -p...
1.flink的yarn-session环境
流月up的博客
10-18 707
在hadoop环境安装好之后,需要一个yarn-session环境来跑flink任务,此篇任务是在hadoop yarn环境上部署一个flink yarn-session环境,flink 1.17.1版本相关文章聚合链接。
Flink on yarn运行的Session-Cluster和Per-Job-Cluster模式详解
sunxunyong的博客
07-08 616
Attached模式下，Flink Client创建完集群后，不能关闭命令行窗口，需要与集群之间维持连接，好处是能够感知集群的退出，集群退出之后有机会做一些资源清理等动作，此处的清理是Flink作业可能占用外部的资源。bin/flink run -d -m yarn-cluster #-d（表示 detached 模式） -m yarn-cluster（表示指定 YARN 集群模式） 启动per-job运行模式。在向Flink集群提交Job的时候, 如果资源被用完了,则新的Job不能正常提交。
3.Flink-On-Yarn开发使用\原理\Session会话模式\Per-Job模式
涂作权的博客
07-06 2216
本文来自：Flink1.12-2021黑马程序员贺岁视频3.Flink-On-Yarn开发使用 3.1.原理 3.2.两种模式 3.2.1.Session会话模式 3.2.2.Per-Job模式 3.3.操作 3.4.测试 3.4.1.Session会话模式 3.4.2.PerJob模式为什么使用flink on yarn ? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：具体步骤： 准备Flink程序jar和配置 0：提交 1：上传任务/依赖jar,配置到hdf
错误: 找不到或无法加载主类
热门推荐
strongyoung的专栏
08-16 1万+
错误: 找不到或无法加载主类
flink提交作业到yarn
chanyue123的博客
12-01 9125
讲解flink如何提交到yarn
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
a18852867035的博客
10-14 1265
具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。
Flink提交作业到yarn session集群main函数命令行参数传递
weixin_43525585的博客
12-18 3316
创建flink的yarn session集群 yarn-session.sh -n 3 -s 3 -nm flink-sessiontest -d -q yarn-session选项： -n,–container ：在yarn中启动container的个数，实质就是TaskManager的个数 -s,–slots ：每个TaskManager管理的Slot个数 -nm,–name :给当前的yarn-session(Flink集群)起一个名字 -d,–detached:后台独立模式启动，守护进程 -tm,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

手把手教你学AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值