Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.ReduceTask.setLocalMapFiles 报错解决

最新推荐文章于 2024-07-12 10:22:10 发布
最新推荐文章于 2024-07-12 10:22:10 发布
阅读量1.1k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop生态核心技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Peter_Changyb/article/details/82052513
博主在Spring + Maven + Hadoop2.7.3环境下，执行HBase的Mapreduce时出现java.lang.NoSuchMethodError错误。经分析是HBase版本太低所致，将HBase版本替换为1.2.6后，问题成功解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我的环境是：Spring +Maven +Hadoop2.7.3 

  • 问题描述：在执行Habse 的Mapreduce过程中出现如下错误：

Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.ReduceTask.setLocalMapFiles 

问题分析：hbase的版本太低造成的升级为如下图版本：

 

解决方法：替换hbase版本为1.2.6，解决成功。

报错：java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe
u011159820的博客
03-19 2480
最开始报错： java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams 解决办法： javap -classpath hive-serde-0.13.1.jar org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | grep initSerdeParams 发现类LazySimpleSerDe 中有方法initSerdePa
spark报错java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasK
蜗牛^_^的博客
06-26 3766
使用场景：通过spark的Structured Streaming消费kafka中指定topic的数据，将分析结果写入到hbase中 报错：java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/S...
flink 从kafka读取数据报错
rookiewpj的博客
08-17 2594
这个依赖,还加了多余的kafkaclient依赖;
java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID.
csdn12160的博客
11-24 237
java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID. 运行Spark程序的时候报错java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID. 这是spark在运行过程调用时Hadoop的 jar包冲突导致的 解决：在pom.xml中去除Hadoop-client的部分并重新导入即可即可正常运行 ...
Caused by: java.lang.NoSuchMethodError
后悔当初
09-07 1万+
关于这种错误，我饱受其害。为此归纳三点，希望可以用的上： NoSuchMethodError的意思就是没有这样的方法，java程序解释的时候没有找到，找不到就会有找不到的原因： 1. 编辑器 project——>clean 一下，在不重启下吧 2. maven，spring的版本问题 3. 看看自己的注解等，问题出现最多的就是我们的细节方面，也是大多数程序员bug的来源 ...
java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String；
努力就是魅力
01-28 529
问题描述 在运行Spark3 HelloWorld 指定读取本地文件的时候，指定文件夹，报错。指定到文件可以运行出结果。 出错 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat; at...
java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V
煉心的博客
01-16 3328
环境： - Spark 2.11-2.0.2版本(在Eclipse下面使用Maven引入spark-core_2.11-2.0.2.jar) - Hadoop 2.6.5版本 使用Spark的Java APIs(saveAsTextFile方法)把大量的日志导入远程的HDFS，遇到下面的java.lang.NoSuchMethodError: org.apache.hadoo
踩坑-hive启动报错
shoufeng
12-11 620
##hive启动报错 Exception in thread "main" java.lang.NoSuchMethodError: **com.google.common.base.Preconditions.checkArgument**(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Conf...
spark 2.X 疑难问题汇总
热门推荐
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
Mac M1安装配置Hadoop+Flink SQL环境
最新发布
zhujiahui622的专栏
07-12 1856
Flink 1.18.1+ Hadoop 3.4.0
Caused by : java.lang.NoSuchMethodError
我的博客
04-19 3万+
问题 相信大家在开发过程中一定经常遇到此类报错 ： Caused by: java.lang.NoSuchMethodError 。 因此今天总结特地做个总结，希望能够解决此类问题，而不是这一个问题。 下面以我遇到的一个报错为例，说一下我对此类问题的解决方法 。 今天在升级了 Spring 版本之后，启动 Tomcat 报错，报错见下 : 日志 [Loaded javax.servlet.Ser...
Hive报错，NoSuchMethodError: org.apache.hadoop.mapred
weixin_33898876的博客
12-24 730
hive能正常运行，当查到xiaoping数据库中的student表中的数据hive自动退出而报错信息如下。 [root@xp hive-0.13.1-cdh5.3.6]# bin/hive 17/12/21 10:11:23 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. U...
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosNam...
硅谷工具人
07-24 2907
启动spark-shell时，报错如下： Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.Had...
java.lang.NoSuchMethodError: org.apache.hadoop.hdfs.client.HdfsDataInputStream.getReadStatistics()L
csding11的博客
09-19 2401
hudi版本0.14（spark版本3.3.3hadoop版本3.1.3存储：HDFS。
NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String；
微电子学与固体电子学-俞驰
12-17 6509
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerberosName.java:84) at org.apache....
Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.ReduceTask. 解决方案
enjoy
04-28 2620
java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID.(Lorg/apache/hadoop/mapreduce/JobID;Lorg/apache/hadoop/mapreduce/TaskType;I)V at org.apache.spark.rdd.HadoopRDD.addLocalConfiguration(Hadoo...
Caused by: java.lang.NoSuchMethodError: ‘org.apache.hadoop.hdfs.DFSInputStream$ReadStatistics org.ap
青春不流名
05-22 471
spark hudi写入hdfs报错，hdfs版本不兼容，需要手动编译hudi-spark3.4-bundle_2.12-0.14.1.jar。
Caused by: java.lang.NoSuchMethodError: org.apache.maven.model.validation.DefaultModelValidator
qq_27735079的博客
01-04 1208
由于idea是2020.x，maven使用的是apache-maven-3.9.6，按照发布时间将maven的版本降为apache-maven-3.6.1后依赖刷新正常。idea不能与高版本的maven兼容，需注意idea和maven的官网发布时间。
NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Lja
qq_32068809的博客
01-14 1859
Phonix和Hbase版本用的比较高，Phonix是5.0.0-HBase-2.0版，我用JAVA JDBC查询Phonix时报错： Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/Subject;)Z 很显然时hadoop auth包版本的问题，于是将hadoop-aut
sqoop 报错Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils
03-11
sqoop报错Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils是由于缺少org.apache.commons.lang.StringUtils类所在的jar包导致的。根据提供的引用内容，可以看出sqoop的lib目录下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值