Hadoop Combiner类简单测试_intwritable.get()函数-优快云博客

本文链接：https://blog.youkuaiyun.com/OOC_ZC/article/details/50343813

本文探讨了MapReduce模型中Reduce阶段的工作原理，并通过WordCount程序实例对比分析了使用与不使用Combiner功能时的不同结果表现。指出在加入Combiner后，对Reduce方法的实现方式将直接影响最终输出，帮助理解如何正确实施数据聚合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

public static class MyReduce extends
		Reducer<Text, IntWritable, Text, IntWritable>{
		
		private static IntWritable num = new IntWritable();
		@Override
		public void reduce(Text key,Iterable <IntWritable> val,Context context
				)throws IOException,InterruptedException {
			int sum=0;
			
			for(IntWritable each : val){
				sum++;   //  这是第一种情况
				//sum += val.get();  //  这是第二种情况
		        // IntWritable.get(); 返回 IntWritable的int值
			}
			
			num.set(sum);  //返回值并非本对象
			context.write(key, num);
		}
	}

接下来就是主函数的区别

	job.setCombinerClass(MyReduce.class);  // 是否加入Combiner

对了，这是最简单的WordCount程序。

不加入Combiner时，两种情况答案正确。

加入后，只有第二种方法正确。

分析：没有Combiner，map --> (word,(1,1,1,1)) --> reduce --> (word,4)

加入Combiner , map --> (word,(1,1,1,1)) -->(Combiner,仍在执行map的主机上) (word,(4)) --> reduce (word,(1))

// 所以加入Combiner后，第一种数集合中有多少元素的方法就失效了，输出的所有单词数量均为1。

因为这里Combiner和Reduce用相同的函数，即都是reduce( ); 所以reduce的后两个输出参数要和前两个参数类型一致。

Hadoop Combiner类 简单测试

Hadoop Combiner类简单测试