MapReduce的Reducer数量确定

Reducer的数量可以由程序员明确设置，那么设置多少Reducer可以达到较好地效果呢？Reducer的数量范围为：(0.95 ~1.75 ) * 节点数量 * 每个节点上最大的容器数。参数yarn.scheduler.minimum-allocation-mb设置了每个容器可请求的最小内存，那么最大容器数可根据总的内存除以该参数计算得出。当使用0.75时，所有的Reducer会被立即加载，并当Mapper完成时开始传输Mapper的输出。使用1.75时，较快的节点将完成它们第一轮的任务，然后加载第二波任务，这样对负载平衡具有更好的效果。增加Reducer的数量虽然增加了框架开销，但增加了负载平衡和降低了失败的成本。上面的比例因子比总的Reducer数量稍微少些，以为预测执行的任务和失败的任务保留少量的Reducer槽，也就是实际的Reducer数量为上面公式得出的数量加上保留的Reducer数量。

转载自http://www.linuxidc.com/Linux/2014-11/109286.htm