Mapreduce任务中map和reduce数量设置

从MR的运行机制可知，map数量受split（map输入数据块大小）影响，reduce数量受partition（map shuffle输出）影响。

1.map数量设置

hadoop并没有直接提供设置map数量的参数，而是通过调整split块大小调整，通过调整hadoop2.x mapreduce.input.fileinputformat.split.maxsize和mapreduce.input.fileinputformat两个参数决定split块大小：
split_size = max(minsize,min(maxsize,blocksize))
即split_size取三者中间值。
在提交任务中设置方式：

$hadoop jar XXXX.jar wordcont -Dmapreduce.input.fileinputformat.split.maxsize=xxx -Dmapreduce.input.fileinputformat.split.minsize=xxx

或者在代码中设置：

FileInputFormat.setMaxInputSplitSize(job, 20971520l);
FileInputFormat.setMinInputSplitSize(job, 1000);

注意：mapreduce有这样的机制，最后一个文件的输入如果小于split_size*1.1,那么只会启动一个Map来执行这个job，避免一个129M文件，第一个Map跑了128M的数据，第二个Map只跑了1M的数据。

2.reduce设置

mapred-default.xml中可直接设置mapred.reduce.tasks=xx