MapReduce 错误解析
本文解析了MapReduce中常见的两种错误：一是输入文件的keyclass类型不匹配导致的问题；二是Text无法转换为LongWritable类型的错误原因。文章通过具体场景说明了如何避免这些错误。
1）错误代码：输入文件的key class 为LongWritable ，和Text 不匹配
错误原因：最初设定程序的输入文件为sequence file ，生成的测试数据 为 text file，而 text file 的key 为该行的偏移量，为LongWritable
2）错误代码：Text 不能转化为 LongWritable
错误原因：在初始化mapred job时由于reduce的数量为0，所以只指定了map的输出key和value的类型，并没有指定 最终输出的key和value 的类型。而框架默认指定最终输出的key类型为LongWritable
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
