maps 和 reduces 的数量

原文：http://wiki.apache.org/hadoop/HowManyMapsAndReduces

1、增加task的数量，一方面增加了系统的开销，另一方面增加了负载平衡和减少了任务失败产生的开销

2、map task的数量控制是比较subtle，因为 mapred.map.tasks的参数值并不能直接控制map的数量，它只是给InputFormat一个提示。而InputFormat中的 InputSplit的大小，决定了一个job拥有多少个map。默认 Input Split的大小是64m（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的map task，集群的网络传输会很大，最严重的是给Job Tracker的调度、队列、内存都会带来很大的压力。mapred.min.split.size这个配置决定了每个Input Split的最小值，用户可以修改这个参数，从而改变map task的数量

3、一个恰当的map 并行度是大每每个节点 10 -- 100个map，不是说越少就越好，因为map在初始化过程需要一定的时间，所以每个map最少执行一分钟比较好。

4、reduce.task的数量由mapred.reduce.tasks来决定，默认值是1

5、合适的reduce.task数量是 0.95 或 1.75 * (nodes * mapred.tasktracker.tasks.maximun)。

其中 mapred.tasktracker.tasks.reduce.maximum的数量一般设置为各节点 cpu core数目，即能同时计算的 slot (CPU插槽)数量。

对于0.95，当map结束时，所有的reduce能够立即启动；

对于1.75，较快的节点结束第一轮 reduce后，可以开始第二轮的reduce任务，从而提高负载均衡。