MapReduce执行流程

MapReduce执行流程

第一步InputFormat
InputForMat 在HDFS文件系统中读取要计算的数据
输出给split
第二步split
split将数据进行逻辑切分,切分成多个任务
输出给RR(RecordReader)
第三步RR(RecordReader)
RR将切分后的数据转换成key value进行输出
key : 每一行行首字母的偏移量
value: 每一行数据
输出给Map
第四步
接收一条一条的数据（有多少行数据Map运行多少次，输出的次数根据实际业务需求而定）
根域业务需求编写代码
Map的输出是 key value的 list
输出给Shuffle（partition）
---------------------------------------Map-------------------------------------------------------
第五步partition
partition按照一定的规则对 key value的 list进行分区
输出给Shuffle（sort）
第六步Sort
Sort:对每个分区内的数据进行排序
输出给Shuffle（Combiner）
第七步Combiner
Combiner:在Map端进行局部聚合(总汇)
输出给Shuffle（Group）
第八步Group
Group:将相同的key的key提取出来作为唯一的key
将相同key的value提取出来组装成一个value的List
输出给Shuffle（reduce）
------------------------------------Shuffle--------------------------------------------
第九步reduce
reduce： 根据业务需求对传入的数据进行汇总计算。
第十步outputFormat
outputFormat:将最终的额结果写入HDFS
------------------------------------reduce--------------------------------------------

Map的输出 是key,value的 list
Reduce的输入 是key value的list