mapreduce测试错误汇总

最新推荐文章于 2024-01-30 21:55:32 发布

原创最新推荐文章于 2024-01-30 21:55:32 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #测试 #class #hadoop #input #扩展

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了两种常见的Hadoop IOException问题及其解决方案。一种是无法获取块的问题，解决方法包括检查NameNode状态、验证主机名配置及重启NameNode；另一种是类型不匹配问题，即期望的FloatWritable类型与实际接收到的Text类型不符，原因是使用了默认的TextInputFormat导致。

1、java.io.IOException: Could not obtain block

检查步骤：1、查看namenode是否启动

2、检查命令hostname和配置/etc/hosts是否一样

3、将namenode重新启动

2、java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.FloatWritable, recieved org.apache.hadoop.io.Text。程序提示说是格式错误，出错的地方在Mapper从InputFormat中读取input并产生中间结果时发生了格式错误，Mapper在collect时期待Key的类型是FloatWritable，而收到的确实LongWritable类型的Text。

究其原因，主要是因为，程序中没有明确指定要使用那种InputFormat来读取输入数据，hadoop就使用默认的TextInputFormat，通过查看源码，这个TextInputFormat是扩展自FileInputFormat，

public class TextInputFormat extends FileInputFormat<LongWritable, Text>{…}
并且可以看出父类的范型中已经明确指定了keyClass为LongWritable类型，而value Class为Text类型，并且这个InputFormat的实现为将输入文件的行数作为key，而将每一行的文本作为value。因此，在从文件到 mapper的过程中，数据就被分割成了<LongWritable, Text>的对，并传输给Mapper，这也就是说Mapper需要以同样的格式来接收来自InputFormat的数据。程序到这个时候都是没有问题的