MapReduce(八): MapReduce文件切割算法

a)             从设置的“mapred.input.dir”参数中获取任务的输入路径，输入路径需要是在hdfs文件系统上的文件，可以设置多个输入路径。获取输入路径后，向文件系统获取所有输入路径下的文件。

b)             然后计算所有文件的总大小totalSize

c)             从“mapred.map.tasks”配置参数中获取map的任务个数，这个参数值可以通过配置文件设置，也可以用代码设置，这只是一个临时map任务个数，分割完成后会根据计算出来最终分割的文件总数覆盖该参数的值。获取的任务个数为numSplits。

d)             根据文件总大小totalSize和map任务个数numSplits，计算每个任务的目标文件大小goalSize。

      

e)             根据文件的目标分割大小goalSize、通过配置文件或代码设置的参数“mapr