MapReduce工作机制

1.MapTask工作机制详解
1.1执行步骤整体概述
①输入文件被逻辑切分为多个split文件，通过LineRecordReader按行读取内容给map(用户自己实现)进行处理；
②数据被map处理结束之后交给OutputCollection收集器，对其结果key进行分区(HashPartitioner),然后写入内存缓冲区，当缓冲区快满的时候(80%)需要将缓冲区的数据以一个临时文件的方式spill溢出到磁盘；
③最后再对磁盘上产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉取数据
1.2详细步骤
step1:
读取数据组件InputFormat(默认TextInputFormat)会通过getSplits方法对输入目录中文进行逻辑规划得到splits,有多少个split就对应启动多少个MapTask。split与block的对应关系默认是一对一。
逻辑规划后，由RecordReader对象(默认LineRecordReader)进行读取，以回车换行作为分隔符，读取一行数据，返回<key,value>,key表示每行首字符偏移值，value表示这一行文本内容
读取split返回<key,value>，进入用户自己继承的Mapper类中，执行用户重写的map函数。RecordReaderder读取一行数据，这里调用一次map方法进程处理
step2:
map处理完成之后，将map的每条结果通过context.write进行collect数据收集。在collect中，会先对其进行分区处理，默认使用HashPartitioner
MapReduce提供Partitioner接口，它的作用就是决定当前的这对输出数据最终应该交由那个reduce task处理。默认对 key hash后再以reduce task数量取模。如果用户自己对Partitioner有需求，可以定制并设置到job上
分区计算之后，会将数据写入内存，内存中这篇区域叫做环形缓冲区，缓冲区的作用是批量收集map结果，减少磁盘IO的影响。key/value对以及Partition的结果都会被写入缓冲区。当然写入之前，key与value值都会被序列化成字节数组
环形缓冲区：环形缓冲区就是内存中的一块区域，底层是字节数组。缓冲区是有大小限制，默认是100MB
当map task的输出结果很多时，就可能会撑爆内存，所以需要在一定条件下将缓冲区中的数据临时写入磁盘，然后重新利用这块缓冲区。这个从内存往磁盘写数据的过程被称为Spill，中文可译为溢写。
这个溢写是有单独线程来完成，不影响往缓冲区写map结果的线程。溢写线程启动时不应该组织map的结果输出，所以整个缓冲区有个溢写的比例spill.percent。这个比例默认是0.8，也就是当缓冲区的数据已经到达阈值(buffersize * spill percent = 100MB * 0.8 = 80MB),溢写线程启动，锁定这80M的内存，执行溢写过程。Map Task的输出结果还可以往剩下的20MB内存中写，互不影响。
step3:
当溢写线程启动后，需要对这80MB空间内的key做排序(Sort)。排序是MapReduce模型默认的行为，这里的排序也是对序列化的字节做的排序
如果job设置过Combiner，那么现在就是使用Combiner的时候了。将有相同key的key/value对的value加起来，减少一些到磁盘的数据量。Combiner会优化MapReduce的中间结果，所以它在整个模型中会多次使用
step4:
每次溢写会在磁盘上生成一个临时文件，如果map的输出结果真的很大，有多次这样的溢写发生，磁盘上相应的就会有多个临时文件存在
当整个数据处理结束之后开始对磁盘中的临时文件进行merge合并，因为最终的文件只有一个，写入磁盘，并且为这个文件提供了一个索引文件，以记录每个reduce对应数据的偏移量

2.ReduceTask工作机制详解
2.1执行步骤整体概述
reduce大致分为 copy、sort、reduce三个阶段，重点在前两个阶段
copy阶段包含一个eventFectcher来获取已完成的map列表，由Fetcher线程去copy数据，在此过程中会启动两个merge线程，分别为inMemoryMerger和onDiskMerger，分别将内存中的数据merge到磁盘和将磁盘中的数据进行merge
待数据copy完成之后，开始进行sort阶段，sort阶段主要是执行finalMerge操作，纯粹的sort阶段
完成之后就是reduce阶段，调用用户定义的reduce函数进行处理
2.2 详细步骤
step1:
copy阶段，简单的拉取数据。Reduce进程启动一些数据copy线程(Fetch)，通过HTTP方式请求maptask获取属于自己的文件。
step2:
Merge阶段。Copy过来的数据辉县放入内存缓冲区中，这里的缓冲区大小要比map端的更为灵活。
merge有三种形式：内存到内存；内存到磁盘；磁盘到磁盘。默认情况下第一种形式不启用。当内存中的数据量到达一定阈值，就启动内存到磁盘的merge.第二种merge方式一直在运行，直到没有map端的数据时才结束，然后启动第三种磁盘的merge方式生成最终的文件。
把分散的数据合并成一个的数据后，还会再对合并后的数据排序。默认字典排序a-z.
step3:
对排序后的键值对调用reduce方法，键相等的键值对组成一组，调用一次reduce方法。所谓分组就是纯粹的前后两个key比较，如果相等就继续判断下一个是否和当前相等
reduce处理的结果会嗲用默认输出组件TextOutputFormat写入到指定的目录文件中。TextOutputFormat默认是一次输出写一行，key value 之间以制表符\t分割

3.Shuffle机制
Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则"打乱"成具有一定规则的数据，以便reduce端接收处理
Shuffle是MapReduce的核心，它分布在Mapreduce的map阶段和reduce阶段
一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle
3.1 Map端Shuffle
Collect阶段：将MapTask的结果收集输出到默认大小为100M的环形缓冲区，保存之前会对key进行分区的计算，默认Hash分区。
Spill阶段：当内存中的数据量达到一定的阈值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner，还会将有相同分区号和key的数据进行排序。
Merge阶段：把所有溢出的临时文件进行一次合并操作，以确保一个MapTask最终只产生一个中间数据文件
3.2 Reduce端Shuffle
Copy阶段：ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据
Merge阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。
Sort阶段：在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了部分的排序，ReduceTask只需保证Copy的数据的最终整体有效性即可