Repartition和Coalesce的关系与区别

最新推荐文章于 2024-10-31 19:59:45 发布

星空下的那个人影

最新推荐文章于 2024-10-31 19:59:45 发布

阅读量1k

点赞数

分类专栏：大数据面试 spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/sb_jb/article/details/124596680

版权

大数据面试同时被 2 个专栏收录

87 篇文章

订阅专栏

spark

23 篇文章

订阅专栏

                    
                    关系：
 两者都是用来 改变RDD的partition数量 的，repartition 底层调用的就是 Coalesce方法：coalesce(numPartitions, shuffle = true)
区别：
 repartition 一定会发生 shuffle，coalesce 根据传进来的参数来判断是否发生 shuffle。
 一般情况下增大rdd的partition数量使用repartition，减少partition数量时使用coalesce。