Spark shuffle

Spark最初版本HashShuffle。

Spark 0.8.1版本以后优化后的HashShuffle。

Spark1.1版本加入SortShuffle，默认是HashShuffle。

Spark1.2版本默认是SortShuffle，但是可配置HashShuffle。

Spark2.0版本删除HashShuffle只有SortShuffle。

3.1 Shuffle的原理和执行过程

Shuffle一定会有落盘。

• 如果Shuffle过程中落盘数据量减少，那么可以提高性能。
• 算子如果存在预聚合功能，可以提高Shuffle的性能。

3.2 HashShuffle解析

3.2.1 未优化的HashShuffle

3.2.2 优化后的HashShuffle

优化的HashShuffle过程就是启用合并机制，合并机制就是复用buffer，开启合并机制的配置是spark.shuffle.consolidateFiles。该参数默认值为false，将其设置为true即可开启优化机制。通常来说，如果我们使用HashShuffleManager，那么都建议开启这个选项。

官网参数说明：http://spark.apache.org/docs/0.8.1/configuration.html

3.3 SortShuffle解析

3.3.1 SortShuffle

在溢写磁盘前，先根据key进行排序，排序过后的数据，会分批写入到磁盘文件中。默认批次为10000条，数据会以每批一万条写入到磁盘文件。写入磁盘文件通过缓冲区溢写的方式，每次溢写都会产生一个磁盘文件，也就是说一个Task过程会产生多个临时文件。最后在每个Task中，将所有的临时文件合并，这就是merge过程，此过程将所有临时文件读取出来，一次写入到最终文件。

3.3.2 bypassShuffle

bypassShuffle和SortShuffle的区别就是不对数据排序。

bypass运行机制的触发条件如下：

1）shuffle reduce task数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值，默认为200。

2）不是聚合类的shuffle算子（比如reduceByKey不行）。