Hadoop的Combiner

在许多MapReduce应用的场景中，如果能在向reducer分发mapper结果之前做一下“本地化Reduce”.一wordcount为例子，如果作业处理中的文件单词中"the"出现了574次，存储并shuffling一次（“the”,574）key/valuthe对比许多次（"the",1)更有效。这个过程叫做合并(Combiner).

hadoop 通过扩展MapReduce框架，在mapper何reducer之间增加了一个combine解决了了这些瓶颈问题。你可以把combiner是为reducer的助手，它致力于减少mapper的输出以降低reducer上的压力。如果我们定义了一个combiner，MapReduce使用它的次数可以使0次，1次或者更多次。为了让combiner能正常的工作，它和reducer的数据转换必须等价。如果我们去掉了combine，reducer的输入应该是不变化的。当combiner被应用于中间数据中的任意子集时，仍然需要保持等价的转换特性。在一些场景下，combine的角色时十分明显的。假设reducer仅仅处理分配性函数，如max，min和count时，我们可以直接使用使用reducer作为combiner，但是有时候许多有用的函数不是分配性的。我们就可以重写其中的一些函数，例如求average，从而调用combiner