java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

最新推荐文章于 2024-12-04 17:31:10 发布
原创 最新推荐文章于 2024-12-04 17:31:10 发布 · 3.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #Spark

本文探讨了在Spark local模式下调试代码时遇到的Hadoop版本不一致问题，具体表现为hadoop-mapreduce-client-core、hadoop-common等模块版本差异导致的运行时错误。文章提供了两种解决方案：一是更换Hadoop版本，二是采用CDH（Cloudera Distribution Including Hadoop），以确保Spark与Hadoop组件之间的兼容性。

场景：spark local模式调试代码时运行时 hadoop 错误

原因： 引用的

hadoop-mapreduce-client-core

hadoop-common

hadoop-mapreduce-client-common

hadoop-mapreduce-client-jobclient
版本不一致

解决方案： 换版本 或者使用CDH

Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se
mtj66的博客，交流WX:SpringBreeze1104
06-04 5375
Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se当从SparkSql得到的dataFrame，映射成RDD之后向hbase中直接保存数据的时候报错：Exception in thread "main" org.a...
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration
一杯咖啡半杯糖的博客
02-19 1278
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration或者ClassNotFoundException: org.apache.hive.common.util.HiveVersionInfo 都可解决
java.lang.ClassNotFoundException org.apache.hadoop.mapred.JobConf
m0_67402341的博客
04-19 4004
场景：spark local模式调试代码时运行时 hadoop 错误 原因： 引用的 hadoop-mapreduce-client-core hadoop-common hadoop-mapreduce-client-common hadoop-mapreduce-client-jobclient 版本不一致 解决方案： 换版本 或者使用CDH
The application contains no execute() calls.
Jhon_yh的博客
12-03 2769
The application contains no execute() calls. 没有调用 execute() 方法。 2021-12-03 09:20:31 [flink-akka.actor.default-dispatcher-4] WARN ApplicationDispatcherBootstrap:169 - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.fl
Error: java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件...
weixin_30755393的博客
03-19 6450
Error: java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常，是缺少相关的依赖包，检查以下四个依赖包是否添加： hadoop-mapreduce-client-core-2.7.2.jar hadoop-common-2.7.2.jar hadoop-map...
【Apache Paimon】-- 异常 java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/HdfsConfiguration
欢迎来到我的博客，一起探索代码里的世界！
12-04 375
Step 1：在项目任意 class 下 import 导入 class。开始一个一个导入 pom.xml 尝试，最终导入以下依赖，问题解决。2、在 Intellij idea 2023 中执行后，异常如下。Step 2：到 maven 仓库查找 hdfs 的相关包。发现 hadoop-hdfs 前缀的包，有多个。1、集成 flink 执行的 DDL 如下。发现缺少 hdfs 的 jar 包。
[root@hadoop01 bin]# schematool -dbType mysql -initSchema -verbose SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:518) at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:536) at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:430) at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141) at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5104) at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96) at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:318) at org.apache.hadoop.util.RunJar.main(RunJar.java:232)
最新发布
11-22
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V异常 首先分析问题原因： 1. SLF4J多绑定警告：这是因为在classpath中存在多个SLF4...
Flink1.13sql提交任务报错ClassNotFoundException:org.apache.kafka.common.serialization.ByteArrayDeserializer
打工日常
12-19 1719
详情请见： 【腾讯文档】Flink1.13.3 sql-client提交kafka任务报错：java.lang.ClassNotFoundException org.apache.kafka.common.serialization.ByteArrayDeserializer https://docs.qq.com/doc/DRmNnbVhwTVNhd25N
Flink 1.13.0 集成hive 问题整理
Jhon_yh的博客
07-24 1921
文章目录Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf Flink 1.13.0 集成 Hive 的时候，执行报错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.map
Hive报错，NoSuchMethodError: org.apache.hadoop.mapred.JobConf.unset
crj2951的博客
09-16 618
1、Hbase中test表就是需要在Hive中查看的表 hbase(main):006:0> scan 'test' ROW ...
java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/JobContext
liwenliang2的博客
12-26 6217
开始报错 JobContext在Hive-exec里面有，所以觉得很奇怪说class not found 。java.lang.NoClassDefFoundError两种原因。 1.这个jar包确实没有。导入。 2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。也有可能是函数调用时，其他类的所属jar包冲突了。 本例子中JobContext类有，只有一...
hadoop错误之ClassNotFoundException
热门推荐
心中永远的正能量
03-16 1万+
开发环境：  hadoop 1.2.1 eclipse Version: Juno Service Release 2 JDK 1.7 ubuntu 12.04LTS 代码： 下面的代码本质上就是一个wordCount程序 package org.conan.myhadoop.mr; import java.io.IOException; import java.u
hadoop 运行时 ClassNotFoundException
05-21 1657
1. 问题描述 当用户编写完Hadoop程序时，准备运行时，经常会抛出以下异常： [15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_0003_m_000000_1, Status : FAILED Error: java.l
hive启动报错 java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion
weixin_30794499的博客
04-04 2923
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/jdk1.8.0_45/bin:/bin:/usr/local/bin:/bin:/usr/bin:/...
Hadoop运行mapred的时候报错： java.lang.ClassNotFoundException解决方法
twtbgn1984的博客
05-21 1121
在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误：13/05/21 17:35:10 INFO mapred.JobClient: Task Id : attempt_201305192231_0005_m_000000_0, Status : FAILEDjava.lang.RuntimeException: java.lang.ClassNotFoundException...
hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结
soledede
06-15 599
本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。...
hadoop ClassNotFoundException解决办法
weixin_34268579的博客
04-24 443
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值