mapreduce shuffle

一、 Map端shuffle

1. 输入数据和执行Map任务 通过自定义Map，将输入<key,value>转换成新的<key,value>并输出
2. 写入缓存 每个map任务都会分配一个缓存区（通过环形队列实现），默认100M，首先将map的输出写入缓存，当达到一定数量是会一次性批量写入磁盘，以减少磁盘IO操作
3. 溢写（分区，排序，和并） 因为缓存区大小有限，为不影Map结果的写入操作，每当缓存区大小达到溢写比例（spill.percent默认0.8）会启动溢写线程（spill），锁定这80MB(100M*0.8)的内存，执行溢写过程。剩下的20MB继续写入map task的输出结果。互不干涉！
   溢写线程
   1. 数据分区（partition） 由于不同的<key,value>要交给不同的reduce任务处理，MapReduce提供Partitioner接口，它的作用就是根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以通过重载Partitioner接口来实现自定义分区。
   2. 排序 完成分区之后，溢写线程将对每一个分区进行排序（sort）排序，排序是MapReduce模型的默认行为，也是对序列化的字节做的排序。排序规则：字典排序！
   3. 和并（Combine） 两个键值对<“a”,1>和<“a”,1>，如果合并，会得到<“a”,2>，如果归并，会得到<“a”,<1,1>>
4. 归并merge 溢写生成的临时文件的个数随着map输出结果的数据量变大而增多，当整个map task完成，内存中的数据也全部溢写到磁盘的一个溢写文件。也就是说，不论任何情况下，溢写过程生成的溢写文件至少有一个！但是最终的文件只能有一个，需要将这些溢写文件归并到一起，称为merge。

三、Reduce shuffle
在Reduce端，shuffle主要分为复制Map输出、排序合并两个阶段。

1. Copy
   Reduce任务通过HTTP向各个Map任务拖取它所需要的数据。Map任务成功完成后，会通知父TaskTracker状态已经更新，TaskTracker进而通知JobTracker（这些通知在心跳机制中进行）。所以，对于指定作业来说，JobTracker能记录Map输出和TaskTracker的映射关系。Reduce会定期向JobTracker获取Map的输出位置，一旦拿到输出位置，Reduce任务就会从此输出对应的TaskTracker上复制输出到本地，而不会等到所有的Map任务结束。
2. Merge Sort
   Copy过来的数据会先放入内存缓冲区中，如果内存缓冲区中能放得下这次数据的话就直接把数据写到内存中，即内存到内存merge。Reduce要向每个Map去拖取数据，在内存中每个Map对应一块数据，当内存缓存区中存储的Map数据占用空间达到一定程度的时候，开始启动内存中merge，把内存中的数据merge输出到磁盘上一个文件中，即内存到磁盘merge。在将buffer中多个map输出合并写入磁盘之前，如果设置了Combiner，则会化简压缩合并的map输出。Reduce的内存缓冲区可通过mapred.job.shuffle.input.buffer.percent配置，默认是JVM的heap size的70%。内存到磁盘merge的启动门限可以通过mapred.job.shuffle.merge.percent配置，默认是66%。当属于该reducer的map输出全部拷贝完成，则会在reducer上生成多个文件（如果拖取的所有map数据总量都没有内存缓冲区，则数据就只存在于内存中），这时开始执行合并操作，即磁盘到磁盘merge，Map的输出数据已经是有序的，Merge进行一次合并排序，所谓Reduce端的sort过程就是这个合并的过程。一般Reduce是一边copy一边sort，即copy和sort两个阶段是重叠而不是完全分开的。最终Reduce shuffle过程会输出一个整体有序的数据块。

参考链接
https://blog.youkuaiyun.com/asn_forever/article/details/81233547
https://blog.youkuaiyun.com/u014374284/article/details/49205885