Mapreduce代码编写问题汇总

最新推荐文章于 2024-05-14 21:30:47 发布

lqf1403

最新推荐文章于 2024-05-14 21:30:47 发布

阅读量942

点赞数 1

CC 4.0 BY-SA版权

分类专栏： MapReduce 文章标签： mapreduce 新旧API 报错

本文链接：https://blog.youkuaiyun.com/GYQJN/article/details/50346881

MapReduce 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了在使用Hadoop MapReduce时遇到的两个常见问题：job.setOutputFormatClass()方法使用错误导致的异常和初始化输出收集器失败的错误。通过更正API使用和输出类型定义，成功解决了这些问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、job.setOutputFormatClass(TextOutputFormat.class);报错

The method setOutputFormatClass(Class< ? extends OutputFormat>) in the type Job is not applicable for the arguments (Class< TextOutputFormat>)

原因：新旧API混合着用了把以org.apache.hadoop.mapred开头导入的包都改成新版本的API。引入的是org.apache.hadoop.mapred.TextOutputFormat;换成 org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

2、Error: java.io.IOException: Unable to initialize any output collector

原因：代码中job.setMapOutputKeyClass(Text.class);job.setOutputValueClass(Text.class);分别定义了Map输出的key和最终输出value类型都是Text类。但是代码中引入的是 com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;实际上应该是org.apache.hadoop.io.Text;