hadoop-mr运行报错记录

最新推荐文章于 2023-10-03 16:28:15 发布

原创

最新推荐文章于 2023-10-03 16:28:15 发布 · 398 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

在执行Hadoop MapReduce任务时遇到`java.lang.ClassCastException`，具体为`com.atguigu.reducer.groupomparator.OrderBean`。问题源于OrderBean类未正确实现`WritableComparable`接口。解决方法包括让OrderBean实现`WritableComparable`接口，并重写序列化和反序列化方法，以及`compareTo`方法来确保排序逻辑正确。

java.lang.ClassCastException: class com.atguigu.reducer.groupomparator.OrderBean
   at java.base/java.lang.Class.asSubclass(Class.java:3769)
   at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
   at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1004)
   at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
   at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
   at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
   at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
   at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
   at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
   at java.base/java.util.concurren