超级会员免费看
本文详细解析了Spark中repartition和coalesce的区别。repartition总是导致数据shuffle，可增减分区，而coalesce在减少分区时避免shuffle，仅在增加分区并设置shuffle=true时才会触发数据重分布。对于RDD和DataFrame，两者的行为有所不同，影响数据的分区和并行度。在实际应用中，理解两者的差异有助于优化Spark作业的性能。
官方的解释
-
reparation
返回一个具有恰好numPartitions分区的新RDD。
可以增加或减少此RDD中的并行级别。在内部，reparation会使用shuffle来重新分发的数据。
如果要减少此RDD中的分区数量，请考虑使用coalesce，这样可以避免执行shuffle。 -
coalesce
返回一个新的RDD，该RDD被减少为numPartitions分区。
这导致了窄依赖，例如，如果从1000个分区到100个分区，将不会出现shuffle，而是100个新分区中的每一个都将占用当前分区的10个。如果请求更大数量的分区，它将保持在当前的分区数量。
然而，如果您正在进行剧烈的coalesce，例如numPartitions=1，这可能会导致您的计算在比
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
