Flink：问题及解决:ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation

转载 已于 2022-06-14 09:34:28 修改 · 3.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/yuexianchang/article/details/118306847
文章标签：

#flink

于 2022-04-26 10:44:04 首次发布
博客内容指出，遇到Flink执行报错是由于环境中缺少aws-java-sdk-s3、flink-shaded-hadoop和hadoop-aws相关jar包。解决方案是在lib目录下添加指定版本的jar文件，包括aws-java-sdk-s3-1.11.1030.jar、flink-shaded-hadoop-3.1.1.3.0.1.0-187-10.0.jar以及与当前Hadoop版本匹配的hadoop-aws.jar。

此问题是因为flink 执行环境下缺少相关jar:

可以在lib 下补充以下jar 包

    aws-java-sdk-s3-1.11.1030.jar
    flink-shaded-hadoop-2-uber-3.1.1.3.0.1.0-187-10.0.jar
    hadoop-aws-3.1.0.jar(3.1.0是你自己hadoop版本号)
                                

【Flink实战系列】Could not initialize class org.apache.hadoop.security.UserGroupInformation
JasonLee实时计算
08-04 3572
从报错信息来看很明显是缺少 UserGroupInformation 相关的包，查找发现这个类是在 hadoop-common 这个包里，但是项目里面确实添加了这个包的依赖，也把依赖打到最终的包里，在最终的 jar 包里也能找到这个类，也尝试打包的时候不加入这个依赖，直接把 hadoop-common-2.9.0.jar 这个包添加到 flink/lib 下，但是都会遇到这个报错，最后发现是忘记设置 hadoop 的环境变量了。解决的方法也很简单，只需要在提交任务之前设置一下环境变量即可。...
Flink yarn 中遭遇 ClassNotFoundException: org
CodeHeroicX的博客
08-14 443
当在 Flink yarn 集群中遇到 ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ 异常时，可能是因为缺少 Hadoop 的相关依赖库。通过确保 Flink 版本与 Hadoop 版本兼容、设置正确的环境变量，并重新启动 Flink 集群，可以解决该异常。在启动 Flink 之前，我们需要设置正确的环境变量，以便 Flink 能够访问到所需的 Hadoop jar 包。
Flink ON YARN 报错及解决方案
04-27 2242
java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.runtime.entrypoint.parser.CommandLineOptions 解决方案： 将 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 放到 $FLINK_HOME/lib 下面 JAR包下载地址： https://repo.maven.apache.org/maven2/org/apache/fli.
hadoop错误之ClassNotFoundException(下)
weixin_30955617的博客
12-28 206
　hadoop开发环境：window上eclipse+虚拟机的ubuntu13.04+hadoop-1.1.2+JDK1.7 在win7下运行hadoop-1.1.2 worldcount代码的时候出现下面的错误，折腾了差不多一天的时间，才明白导致http://www.cnblogs.com/kaizhangzhang/p/3494753.html这个错误的原因，一下是错误的完整信息： ecl...
hive连接报错-java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserG
一立方星空
12-07 1万+
hive连接报错-java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserGroupInformation 报错信息：无法初始化用户组 Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.se
flink-问题及解决:ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation
啊哈程序
06-28 2079
此问题是因为flink 执行环境下缺少相关jar: 可以在lib 下补充以下jar 包 aws-java-sdk-s3-1.11.1030.jar flink-shaded-hadoop-2-uber-3.1.1.3.0.1.0-187-10.0.jar hadoop-aws-3.1.0.jar
【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ
九师兄
08-29 1710
flink启动日志报错如下 flink 在yarn上的日志报错如下 最后结局原因如下参考建议确保 Flink 版本与 YARN 版本兼容。不同的 Flink 版本可能需要不同版本的 YARN。请确保你使用的 Flink 版本与你的 YARN 版本兼容。检查环境和类路径设置。确保在运行 Flink 任务之前，所有必需的依赖项包括 YARN 和 Hadoop 相关的类库都正确地配置在类路径中。检查 Flink 的 flink-yarn_*.jar 文件是否正确下载并部署。这个文件包含了 Flink 与 YARN
【Flink】 java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer
一杯咖啡半杯糖的博客
12-13 3002
自研flinsql提交平台，在服务器上新安装了一个flink客户端，准备提交flinksql到yarn，执行测试的时候报错 /data/flink/flink-1.13.3/bin/flink run -p 1 -ynm flink@547116966402719744 -yd -m yarn-cluster -yqu root.default -c com.huize.beidou.realtime.streaming.core.JobApplication /home/it/beidou_
Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
火麒马
07-11 2146
20/07/10 21:51:48 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/10 21:51:48 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apach
通过hadoop实现单词的统计，并将统计结果保存到Hbase以及错误排解：org.apache.hadoop.io.compress.SnappyCodec not found
Just Do IT !
03-12 4199
通过hadoop实现单词的统计，并将统计结果保存到Hbase以及错误排解：java.lang.ClassNotFoundException: org.apache.hadoop.io.compress.SnappyCodec 设计思想：通过MR框架来统计给定文件的单词数目，然后把统计结果保存到hbase中
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
大数据——那些年走过的坑（异常报错解决方案，持续更新）
热门推荐
Vicky_Tang
08-03 1万+
1. Sqoop将mysql中表导入到hive遇到 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 2021-08-03 21:13:28,937 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure
CDH flink命令行启动yarn-session报错java.lang.NoClassDefFoundError: Could not initialize class org.apache.ha
BertramLAU的专栏
07-09 4967
系统环境 错误排查 ./bin/yarn-session.sh 2020-07-09 11:22:01,187 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: gateway-port, 0 2020-07-09 11:22:01,327 ERROR org.apache.flink.runtime.security.modules.HadoopModu
Flink程序本地可以运行，但Flink程序打包上传Flink集群后，出现ClassNotFoundException / NoClassDefFoundError异常
weixin_53803675的博客
04-21 2558
Flink本地可以运行，但Flink程序打包上传Flink集群后，出现ClassNotFoundException / NoClassDefFoundError异常 出现这种状况可能有以下两种： 1.打包上传后，加载类使用冲突，原因时集群lib目录下本身有这个Jar包，打包上传也带着这个Jar包，在加载时会出现类冲突 2.设置双亲委派机制（原理查看其它文章），在flink-conf.yaml中添加classloader.resolve-order: parent-first 优先使用父类加载器，仅供参考
Flink升级问题：本地运行正常，但在打包后集群运行时出现ClassNotFoundException
BugCrusher的博客
08-16 967
在升级Flink应用程序时，本地环境的成功运行并不意味着在集群环境中也能运行。及时发现并解决这类问题，可以确保应用程序在集群环境中正常运行，并提升大数据处理的效率和可靠性。其中之一是在本地环境中可以正常运行，但在将应用程序打包并在集群上运行时出现ClassNotFoundException异常。一旦应用程序在本地环境下运行正常，我们会将其打包，并将其部署到分布式集群上进行生产环境的运行。在打包应用程序时，确保所有必要的类和资源文件都已包含在生成的jar文件中。确保在集群环境中正确设置类加载器。
Flink1.17版本FlinkSQL 报错：ClassNotFoundException:table.delegation.ExtendedOperationExecutor
qq_32020645的博客
06-15 2369
【代码】Flink1.17版本FlinkSQL 报错：ClassNotFoundException:table.delegation.ExtendedOperationExecutor。
hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结
soledede
06-15 599
本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。...
Flink提交任务命令执行错误ClassNotFoundException
编程技术、独立开发、技术资讯以及编程感悟等内容
02-04 806
Flink提交任务命令执行错误ClassNotFoundException
解决 storm 本地启动失败问题
你看你细细看
10-26 837
报错内容 Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/topology/IRichSpout at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.priv
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Path
最新发布
04-11
好的，我现在需要解决用户遇到的java.lang.ClassNotFoundException: org.apache.hadoop.fs.Path问题。用户提到这个问题是由于缺少Hadoop的依赖jar包导致的。我需要根据用户提供的引用信息来找出解决方案。 首先，我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值