Flink on yarn-session启动出错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.except

最新推荐文章于 2024-06-26 15:40:10 发布
最新推荐文章于 2024-06-26 15:40:10 发布
阅读量745 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： java hadoop flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qwerdftgu/article/details/131788105
在尝试启动FlinkonYARN-session模式时遇到了由于ClassNotFoundException:org.apache.hadoop.yarn.exceptions.YarnException引起的错误。这个问题可以通过添加HADOOP_CLASSPATH环境变量来解决，例如：`exportHADOOP_CLASSPATH=hadoopclasspath`。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink on yarn-session启动出错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException org.apache.hadoop.conf.Configuration
flink启动yarn session模式时遇到如下报错：

![img](https://img-mid.csdnimg.cn/release/static/image/mid/ask/617479366986184.png "#left")
可以在环境变量中添加:

```
export HADOOP_CLASSPATH=`hadoop classpath`
```

Qdd不甜
关注
Flink YARN 报错：ClassNotFoundException: org
TechWhiz的博客
09-02 514
Flink YARN 报错：ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 大数据在大数据领域中，Apache Flink 是一个流处理和批处理框架，常用于处理实时数据流和大规模数据集。在使用 Flink 的过程中，有时会遇到一些错误和异常情况。
【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ
九师兄
08-29 1656
flink启动日志报错如下 flink 在yarn上的日志报错如下 最后结局原因如下参考建议确保 Flink 版本与 YARN 版本兼容。不同的 Flink 版本可能需要不同版本的 YARN。请确保你使用的 Flink 版本与你的 YARN 版本兼容。检查环境和类路径设置。确保在运行 Flink 任务之前，所有必需的依赖项包括 YARN 和 Hadoop 相关的类库都正确地配置在类路径中。检查 Flink 的 flink-yarn_*.jar 文件是否正确下载并部署。这个文件包含了 Flink 与 YARN
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException
tutouxiaocaiji的博客
05-05 5797
关于hadoop报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException 具体报错内容为：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException at java.net.URLClassLoa
flinkOnYarn 启动报错NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
Alex_Sheng_Sea的博客
10-17 6152
[root@hadoop-01 flink-1.9.0]# bin/yarn-session.sh Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/...
hadoop3.0.3- java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collect
hahachenchen789的博客
07-13 2253
运行slsrun.sh时报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector.TimelineCollector at java.net.URLClassLoader.findClass(URLClassLoader.java:...
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
微电子学与固体电子学-俞驰
06-06 4986
flink提交任务卡死,cancel job以后，在$FLINK_HOME/log/flink-appleyuchi-client-Desktop.log 发现该报错: java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:264)
flink on yarn模式启动报错：org.apache.hadoop.yarn.exceptions.YarnException
m0_37759590的博客
06-26 313
flink on yarn模式启动报错：org.apache.hadoop.yarn.exceptions.YarnException
java.lang.NoClassDefFoundError错误解决办法
08-30
"java.lang.NoClassDefFoundError错误解决办法" java.lang.NoClassDefFoundError错误是一种常见的Java错误，它发生在Java虚拟机在编译时能找到合适的类，而在运行时不能找到合适的类导致的错误。下面是该错误的解决...
以Yarn模式启动Flink报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/ex
QYHuiiQ
04-06 1290
下载对应的jar，按照Hadoop的版本（我的是2.7.5）下载。然后放到Flink的lib目录下。
Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnExc
ztx22555的博客
08-23 2245
Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
hadoop启动报错java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector
XDarker的博客
01-14 4645
问题所在：hadoop启动报错，缺少hadoop-yarn-server-timelineservice jar包 解决办法：将hadoop-2.9.2\share\hadoop\yarn\timelineservice下 hadoop-yarn-server-timelineservice-2.9.2.jar 复制到hadoop-2.9.2\share\hadoop\yarn\lib目录下...
flink 在本地启动 报错ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException解决方法
09-08 2091
ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException 解决方法，用meven将flink的项目打成运行的包用依赖的包就解决
flink遇到NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException错误
Accelerating的博客
06-21 5185
EMR flink1.12.1升级到flink1.13.1，启动yarn-session时，遇到Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException 需要在yarn-session.sh 文件中添加 或者在环境变量中添加 export HADOOP_CLASSPATH=`hadoop classpath` 这里选择在环境变量中设置,再启动，异常得
迁移映射-java.lang.NoclassDefFoundError:org/apache/hadoop/yarn/exceptions/YarnException
X_yufei的博客
04-23 270
通过jar包查找脚本，查询提示报错类是否存在，一般情况下数据治理dp的lib下的jar是最全的，如果dp找不到的话尝试去其它项目找找看，最终发现缺少hadoop-yarn-api.数据治理平台 hive迁移提示yarn错误，具体报错截图如下(org/apache/hadoop/yarn/exceptions/YarnException)按照hadoop其它jar版本替换对应缺少jar版本即可。
java -cp cxkafka-1.0-SNAPSHOT.jar kafkaproducer
阿正的博客
05-10 601
Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/Producer at java.lang...
Flink yarn 中遭遇 ClassNotFoundException: org
CodeHeroicX的博客
08-14 400
当在 Flink yarn 集群中遇到 ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 异常时，可能是因为缺少 Hadoop 的相关依赖库。通过确保 Flink 版本与 Hadoop 版本兼容、设置正确的环境变量，并重新启动 Flink 集群，可以解决该异常。在启动 Flink 之前，我们需要设置正确的环境变量，以便 Flink 能够访问到所需的 Hadoop jar 包。
Hadoop客户端提交作业时java.lang.ClassNotFoundException
YaoXTao的专栏
03-22 2937
Hadoop客户端提交作业时java.lang.ClassNotFoundException 在windows的eclipse下开发MapReduce程序，提交集群作业时，抛出了java.lang.RuntimeException: java.lang.ClassNotFoundException异常。 解决方法：         1.将MapReduce程序打包成一个jar文件，放到项
Caused by: java.lang.ClassNotFoundException: org.apache.flink.cdc.runtime.typeutils.EventTypeInfo
最新发布
01-14
### 解析 `java.lang.ClassNotFoundException` 错误 当遇到 `java.lang.ClassNotFoundException: org.apache.flink.cdc.runtime.typeutils.EventTypeInfo` 这样的错误时，表明 Java 虚拟机无法找到指定的类文件。此类问题通常由以下几个因素引发： - 类路径配置不正确或缺失必要的 JAR 文件[^1]。 - Maven 或 Gradle 构建工具未能正确下载依赖项[^2]。 针对此特定案例中的 Flink CDC (Change Data Capture) 组件，可能是因为缺少了包含 `EventTypeInfo` 的库文件。为了确认这一点，可以检查项目的构建配置文件（如 pom.xml 对于 Maven 项目），确保已声明并引入了正确的依赖版本。 对于 Apache Flink 应用程序而言，如果使用的是 CDC 功能，则应考虑加入官方推荐的相关依赖来解决问题。例如，在 Maven 中可以通过添加如下依赖片段尝试修复该异常： ```xml <dependency> <groupId>com.ververica</groupId> <artifactId>flink-cdc-connectors</artifactId> <version>${cdc.version}</version> </dependency> ``` 此外，还需注意不同版本间的兼容性问题；有时升级至最新版框架并不能立即解决旧有代码中存在的潜在冲突。因此建议查阅所使用的具体 Flink 版本文档以获取最合适的依赖坐标。 最后，清理本地仓库缓存以及执行完整的构建过程有助于排除因环境脏污而导致的问题。通过命令行运行 `mvn clean install -U` 可强制更新所有过期的快照依赖，并重建整个项目结构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值