Type mismatch 问题

最新推荐文章于 2024-10-29 12:04:48 发布

weixin_30270889

最新推荐文章于 2024-10-29 12:04:48 发布

阅读量4.4k

点赞数

CC 4.0 BY-SA版权

文章标签： java 大数据 python

原文链接：http://www.cnblogs.com/keep-fighting/archive/2012/08/23/2653231.html

在编写MapReduce程序时遇到Type mismatch问题，关键在于理解setOutputKeyClass和setOutputValueClass设定的输出类型适用于Mapper和Reducer。当Mapper和Reducer输出类型不一致时，应使用setMapOutputKeyClass和setMapOutputValueClass分别指定Mapper的输出类型。举例说明了一个Mapper输出<Text,LongWritable>，Reducer输出<Text,Text>的情况，通过正确设置避免了类型匹配错误。" 74011240,4994487,iOS蓝牙开发入门：核心概念与中心模式解析,"['iOS开发', '蓝牙BLE', '外设连接']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　　今天在写MapReduce程序时遇到了Type mismatch的问题，真的非常蛋疼，折腾了好久，后来找到了问题所在。

　　即setOutputKeyClass() 会同时限定Mapper和Reducer的输出 key 类型，同理，setOutputValueClass()会同时限定Mapper和Reducer的输出value类型。如果Mapper和Reducer的输出key或value类型不同，可以通过setMapOutputKeyClass 和 setMapOutputValueClass来设定Mapper的输出key/value对。

　　举个例子，我写的Mapper类如下:

　　static class FetchMapper extends Mapper<LongWritable, Text, Text, LongWritable>{ }

　　而Reducer类如下:

　　tatic class FetchReducer extends Reducer<Text, LongWritable, Text, Text> { }

　　这时红色部分表明了FetchMapper的输出<k2,v2> 是 <Text,LongWritable> ,而 FetchReducer的输出为<k3,v3>是 <Text,Text>。可见v2 和 v3 是不同的。此时如果用下面的设置启动程序的话就会出现Type mismatched 错误:

        　　  job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);    
     　　job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

　　而加上红色部分的代码则可以解决这个问题。

   　　  　 job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        job.setMapOutputValueClass(LongWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

转载于:https://www.cnblogs.com/keep-fighting/archive/2012/08/23/2653231.html