[Spark进阶]--repartitionAndSortWithinPartitions替换repartition和sortBy

最新推荐文章于 2023-01-01 14:13:17 发布

oo寻梦in记

最新推荐文章于 2023-01-01 14:13:17 发布

阅读量6.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Apache Spark 文章标签： Spark

本文链接：https://blog.youkuaiyun.com/high2011/article/details/80764275

Apache Spark 专栏收录该内容

137 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Spark中的repartitionAndSortWithinPartitions操作，该操作结合了重新分区和排序，提高了效率。源码解析表明它在每个分区内部按键排序记录。当需要重分区并确保数据升序排序时，应使用此方法。通过举例说明，展示了如何使用此功能以提升性能，避免单独使用repartition和sortBy。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

repartitionAndSortWithinPartitions是什么？

源码

/** 包路径：package org.apache.spark.rdd.OrderedRDDFunctions
 * Repartition the RDD according to the given partitioner and, within each resulting partition,

了解本专栏