RDD笔记~repartition函数和coalesce函数

RDD分区重新划分可调用repartition(numPartitions: Int)和coalesce(numPartitions: Int, shuffle: Boolean=false)两种函数进行设置,repartition内部调用coalesce,默认shuffle为true,coalesce的shuffle默认为false.

先附上RDD窄依赖和宽依赖图

分区重新划分有三种情况

例: RDD有a个分区,重新划分为b个分区

1、a < b ()

RDD将进行shuffle操作,如果shuffle设置为false,由于父RDD和子RDD是窄依赖关系,导致coalesce(b, false)设置将不起作用

repartition(b) / coalesce(b, true)

2、a > b(两个数字相差不多)

RDD将若干个分区合并成一个新的分区,不进行shuffle操作

coalesce(b, false)

3、a > b(两个数字相差很大)

RDD将shuffle参数设置为true,有利于coalesce之前的操作有更好的并行度,如果shuffle参数设置为false,由于父RDD和子RDD是窄依赖关系,在同一个Stage中,由于并行度不够导致spark性能受影响,

repartition(b) / coalesce(b, true)

总结：返回一个减少到numPartitions个分区的新RDD，这会导致窄依赖，例如：你将1000个分区转换成100个分区，这个过程不会发生shuffle，相反如果10个分区转换成100个分区将会发生shuffle。然而如果你想大幅度合并分区，例如所有partition合并成一个分区，这会导致计算在少数几个集群节点上进行（言外之意：并行度不够）。为了避免这种情况，你可以将第二个shuffle参数传递一个true，这样会在重新分区过程中多一步shuffle，这意味着上游的分区可以并行运行。

总之：如果shuff为false时，如果传入的参数大于现有的分区数目，RDD的分区数不变，也就是说不经过shuffle，是无法将RDD的partition数变多的