shuffle过程

map阶段之后，reduce阶段之前
map shuffle
在数据进入环形缓冲区之前，会对数据进行标记分区。
进入环形缓冲区，默认100M，左边是索引，右边是数据。缓冲区空间使用到80%后在未使用的空间中点，向两边反向写入。在溢写之前会对key的索引按照字典顺序进行快速排序。溢写完成会产生索引文件和数据文件（spill.index ,spill.out）
如果有combiner函数，如果有combiner函数，会在排序后的输出上运行，使得map输出的结果更紧凑。Map任务如果输出量很大，可能会进行好几次分割，这样spill文件就会分布在不同的磁盘上，这边通过扫描本地索引找到spill文件位置，然后将他们合并输出。

reduce shuffle
reduce通过Http方式从map获取数据，reduce有少量复制线程，可以进行并行复制map上的数据。reduce可能从多个map上复制数据。如果map比较小，会直接复制到内存；如果数据比较大，当达到缓存区阈值时会溢出到磁盘，最后会排序合并这些溢出文件。