MepReduce面试题：如何决定一个job中需要多少个maptask和reducetask？

MepReduce面试题：如何决定一个job中需要多少个maptask和reducetask？

一、影响map个数，即split个数的因素主要有：

1）HDFS块的大小，即HDFS中dfs.block.size的值。如果有一个输入文件为1024m，当块为256m时，会被划分为4个split；当块为128m时，会被划分为8个split。

2）文件的大小。当块为128m时，如果输入文件为128m，会被划分为1个split；当块为256m，会被划分为2个split。

3）文件的个数。FileInputFormat按照文件分割split，并且只会分割大文件，即那些大小超过HDFS块的大小的文件。如果HDFS中dfs.block.size设置为64m，而输入的目录中文件有100个，则划分后的split个数至少为100个。

4）splitsize的大小。分片是按照splitszie的大小进行分割的，一个split的大小在没有设置的情况下，默认等于hdfs block的大小。但应用程序可以通过两个参数来对splitsize进行调节。

map个数的计算公式如下：

**splitsize=max(minimumsize,min(maximumsize,blocksize))。**

如果没有设置minimumsize和maximumsize，splitsize的大小默认等于blocksize

二、reduce端的个数取决于用户的需求，默认是有一个reduce，可以在代码中声明
reduce的输出个数