Flink On Yarn 集成时常见报错

最新推荐文章于 2024-09-10 15:38:38 发布
最新推荐文章于 2024-09-10 15:38:38 发布
阅读量392 收藏
点赞数
分类专栏： 常见错误 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45329047/article/details/112494985
版权
博客介绍了Flink On Yarn集成时的常见报错，安装flink集成yarn时提示找不到Tracer类，解决办法是到hadoop的share/hadoop/common/lib目录下找到对应jar包，复制到flink的lib目录，再启动即可。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink On Yarn 集成时常见报错

在安装flink集成yarn时报错在这里插入图片描述
遇到这种错误，上边提示找不到Tracer类，此时需要的去hadoop的share/hadoop/common/lib这个目录下去寻找这个jar包
在这里插入图片描述
把这个jar包复制到flink的lib目录下，这样在启动就可以了。

Flink YARN 报错：ClassNotFoundException: org
TechWhiz的博客
09-02 501
Flink YARN 报错：ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 大数据在大数据领域中，Apache Flink 是一个流处理和批处理框架，常用于处理实时数据流和大规模数据集。在使用 Flink 的过程中，有时会遇到一些错误和异常情况。
CDH6.2.1集成flink（flink on yarn或Flink-Standalone服务）
QYmufeng的博客
06-16 1948
目录 一：环境准备 二：下载安装包 1. Flink-shaded包 2. flink1.10.2 源码包 3. maven配置文件 三：编译flink-shaded版本 1. 解压tar包 2. 解压文件后目录结构 3. 修改pom文件 4. 开始编译 四：编译Flink1.10.2源码 1. 解压tar包 2. 执行编译 3. 等待编译成功 4. 打包编译好的文件 五：制作parcel包 1. 下载git开源制作parcel包的项目 2. 修改配置文件 flink-parcel.properties 3
Flink1.8 yarn 模式报错
kuanghongjiang的专栏
08-26 328
./bin/flink run -m yarn-cluster ./test.jar 作业会抛出异常： Could not identify hostname and port in 'yarn-cluster' Flink1.8中，FIX了FLINK-11266,将flink的包中对hadoop版本进行了剔除，导致flink中直接缺少hadoop的client相关类，无法解析yarn-cluster参数。 执行命令前，导入hadoop的classpath export HADOOP..
Flink on Yarn模式部署
陈小哥cw
06-17 8347
独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour
Flink 集群与 YARN 进行整合
PLUTOprivate的博客
10-21 159
等待一段时间，直到会话启动成功并且在 YARN 上分配到相应的资源。你可以通过 YARN ResourceManager 的 Web UI 或命令行工具来监视和管理 Flink 集群。接下来，你可以使用 Flink 提供的命令行工具或 API 来提交作业到 YARN 上执行。确保已经安装并配置好了 Hadoop YARN 和 Flink。要将 Flink 集群与 YARN 进行整合。表示期望的 TaskManager 数量。
Flink（五十一）—— 一张图轻松掌握 Flink on YARN 基础架构与启动流程
weixin_42073629的博客
10-22 517
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。 Flink on YARN 应用启动流程图 Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流
1.15.0 Flink on Yarn安装并配置cdc
A_single_cat的博客
05-11 2834
下载安装 #下载包 wget https://archive.apache.org/dist/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz #清华镜像 wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz --no-check-certificat #解压 tar -zxvf flink-1.15.
CDH6.3.2集成安装flink on yarn服务（编译源码，制作parcel）（更新：flink1.12.2版本测试也可用）
qq_31454379的博客
12-01 8170
目录一：环境准备二：下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三：编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四：编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五：制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3. 赋予build.sh文件执行权限4
大数据-玩转数据-FLINK(Yarn模式)的安装与部署
s_unbo的博客
05-21 2617
在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。内存集中管理模式：在Yarn中初始化一个Flink集群，开辟指定的资源，之后我们提交的Flink Jon都在这个Flink yarn-session中，也就是说不管提交多少个job，这些job都会共用开始时在yarn中申请的资源。
Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）
展信佳，当你看到这段简介的时候，我“风吹海洋浪”已走马上任优快云博客平台。我来这只办一件事：致力于将模糊的概念清晰化，技术的语言通俗化，复杂的关系逻辑化，孤岛的知识碎片结构化，让我一心和技术大佬们共同进步，最重要的是！！！！！忘记【你】
05-03 2787
Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）1、Flink虚拟机环境部署2.1、standalone模式2.2、on yarn模式三级目录 1、Flink虚拟机环境部署 软件 版本 flink 1.12.5 jdk 1.8 zookeeper 1.12.5 hadoop 1.12.5 2.1、standalone模式 机器名称 担任角色 node01 jobmanager node02-06 t
基于Yarn搭建Flink
幽灵 逐梦--专栏
05-31 2192
基于Yarn搭建Flink
Flink On Yarn模式配置
热门推荐
weixin_44378305的博客
10-18 1万+
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装Flink Flink On Yarn模式配置 引言 ​ Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 ​ 准备三台机器 ​ 1.1.1.1 node1 ​ 1.1.1.2 node2 ​ 1.1.1.3 node3 一、安装JDK 1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
cnzzs的博客
09-10 1460
点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了：Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (已更完)Kafka(已更完)Spark(已更完)Flink(正在更新！)章...
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 1207
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
Flink Yarn 模式启动 错误问题集锦
我是小坏
02-20 4238
1、Yarn 模式启动找不到类的问题 Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(C...
CDH5.12启动YARN报错dictionary update sequence element #99 has length 1; 2 is required
星空的风fly
11-21 2596
1、错误再现 直接看到Service has only 0 ResourceManager roles running instead of minimum required 1 这句话意思是仅仅启动了0个RM，但是最少启动1个。不是错误原因，只是错误结果 点击下拉菜单，继续往下边看，发现如下错误，如下图所示 Error found before invoking superviso...
Flink on Yarn  部署问题汇总
hzyice的博客
06-26 1241
Flink on Yarn 部署问题汇总 1. Yarn上报错：Unsupported major.minor version 52.0 ，jdk版本不支持 解决办法：把jdk从1.7升级到1.8。jdk1.8.0_11版本在运行Flink时，会出现莫名其妙的问题，墙裂建议更换成jdk1.8.0_191，jdk传送门:https://pan.baidu.com/s/1M4Xo9GwDgTAmnDJfcmMsJg 提取码：vrqa 2.部署后，在yarn上面一直显示RUNING...
flink per job on yarn 找不到或无法加载主类org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint
Share With You
04-22 7574
flink 独立模式部署到yarn上出现以下问题 问题：找不到或无法加载主类 org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint
Yarn模式部署Flink集群
fengchengwu2012的博客
11-27 1802
使用yarn调度flink资源
yarn命令
最新发布
03-25
这些异常通常发生在 Flink on YARN 场景下，可能由于类路径冲突或者不同版本间的兼容性问题引起。建议检查集群环境中使用的库版本一致性，并确保提交作业时所携带的 JAR 文件与目标节点上的相匹配[^1]。 ##### 2. *...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值