MapReduce程序运行流程详解

一、MapReduce整体运行流程

流程示意图如下：

（1）在MapReduce程序读取文件的输入目录上存放相应的文件。
（2）客户端程序在submit()方法执行前，获取待处理的数据信息，然后根据集群中参数的配置形成一个任务分配规划。
（3）客户端提交job.split、jar包、job.xml等文件给yarn，yarn中的resourcemanager启动MRAppMaster。
（4）MRAppMaster启动后根据本次job的描述信息，计算出需要的maptask实例数量，然后向集群申请机器启动相应数量的maptask进程。
（5）maptask利用客户指定的inputformat来读取数据，形成输入KV对。
（6）maptask将输入KV对传递给客户定义的map()方法，做逻辑运算
（7）map()运算完毕后将KV对收集到maptask缓存。
（8）maptask缓存中的KV对按照K分区排序后不断写到磁盘文件
（9）MRAppMaster监控到所有maptask进程任务完成之后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据分区。
（10）Reducetask进程启动之后，根据MRAppMaster告知的待处理数据所在位置，从若干台maptask运行所在机器上获取到若干个maptask输出结果文件，并在本地进行重新归并排序，然后按照相同key的KV为一个组，调用客户定义的reduce()方法进行逻辑运算。
（11）Reducetask运算完毕后，调用客户指定的outputformat将结果数据输出到外部存储。

二、Shuffle机制

Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。

1、具体shuffle过程详解

（1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中
（2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
（3）多个溢出文件会被合并成大的溢出文件
（4）在溢出过程中，及合并的过程中，都要调用partitoner进行分组和针对key进行排序
（5）reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据
（6）reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）
（7）合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）

2、注意

Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。
缓冲区的大小可以通过参数调整，参数：io.sort.mb 默认100M