Spark2.3.1 Shuffle Operations

Shuffle是Spark重新分布数据的机制，跨分区进行数据分组，跨执行器和机器进行数据拷贝，复杂且代价高

背景

1) 以reduceByKey操作为例，把单个key的所有值reduce并生成一个新的RDD，reduce函数应用到和这个key相关的所有value上，使得完成这个操作要使用到所有分区的所有键值对

2) Spark的分区不是按照特定的操作来划分的，一个单独的reduceByKey任务在一个单独的partition执行，然后读取所有分区的所有keys和对应的values跨分区进行合并得到最终结果，这就是Shuffle

性能影响

1) Shuffle代价很大，因为涉及磁盘IO，数据序列化和网络IO，为了组织好Shuffle的数据，Spark使用tasks集合，map tasks组织数据，reduce tasks聚合数据，这里的mapreduce概念来源于Hadoop

2) map tasks结果放在内存里直到放不下，然后基于目标分区排序并写入单独文件中， reduce阶段则读取相关的排序blocks

3) shuffle操作会占用大量堆内存，内存不够时将记录溢出到磁盘上，则 又会导致磁盘IO开销和更多的garbage collection

4) shuffle还会在磁盘产生大量的中间文件，直到对应的RDDs不再使用并被垃圾收集