Hadoop进阶之MR中MapTask并行度决定机制及切片机制

前言

maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度
那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？

1 mapTask并行度的决定机制

一个job的mapTask并行度由客户端在提交job时决定。

客户端对map阶段并行度的规划的基本逻辑为：
1. 将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split）
2. 为每一个split分配一个mapTask并行实例处理

这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()方法完成，其过程如下图：

2 FileInputFormat切片机制

1. 切片定义在InputFormat类中的getSplit()方法

2. FileInputFormat中默认的切片机制：

a)  简单地按照文件的内容长度进行切片
b)  切片大小，默认等于block大小
c)  切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

比如待处理数据有两个文件：