本文详细介绍了Hadoop MapReduce框架中Combiners的作用及其工作原理。通过使用Combiners，可以有效地减少Map任务输出到Reduce任务的数据量，从而提高整体处理效率。文章通过具体示例展示了Combiners如何在Map阶段对数据进行本地聚合。
Hadoop-MapReduce-Combiners
Combiners的作用：
combiners是对Map的每次输出进行合并，然后传给Reduce，从而减少Map输出到Reduce的输出量，提升效率。
combiners是对每个map的输出进行一次合并，例如
Map1:(1997,20),(1997,10),(1997,50)
Map2:(1997,1),(1997,2),(1997,3)
经过Combiners 合并后：
Map1:(1997,[20,10,50])
Map2:(1997,[1,2,3])
通过使用Combiners使Map先输出的在本地先聚合，这样会提升速度。
Combiners的输出是Reduce的输入，但是Combiners不能影响最终的结果。
举例：求最大的温度
Map1:(1997,20),(1997,10),(1997,50)
Map2:(1997,1),(1997,2),(1997,3)
扫一扫
3380
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
