Spark repartition与coalesce对分区的操作

最新推荐文章于 2025-06-17 05:41:08 发布

原创最新推荐文章于 2025-06-17 05:41:08 发布 · 462 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

Spark 专栏收录该内容

14 篇文章

订阅专栏

本文深入探讨了Apache Spark中RDD的repartition和coalesce操作，这两种方法用于调整RDD的分区数量，以优化数据处理效率。repartition通过全网洗牌重新分配数据，而coalesce则减少了分区数，避免了洗牌过程，适用于过滤大量数据后的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

repartition

重新洗牌RDD中的数据,重新分配partiton以创建更多或更少的分区,并在它们之间平衡.这总是对网络上的所有数据进行洗牌.

coalesce(numPartitions)

将对RDD中的数据partition减少到numPartitions,这样过滤大型数据集后提高运行效率

 def main(args: Array[String]) {

    val sparkConf = new SparkConf()
      .setMaster("local[2]")
      .setAppName("PartitionTestApp")



    val sc = new SparkContext(sparkConf)
    val students = ListBuffer[Student]()

    for (i <- 0 to 1000000) {
      students.append(Student(i, "student" + i, 39))
    }

    val studentRDD = sc.parallelize(students)
    val rpRdd = studentRDD.repartition(4)
    val coaRdd = rpRdd.coalesce(3)
    rpRdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rpRdd.count()
    coaRdd.persist(StorageLevel.MEMORY_ONLY_SER)
    coaRdd.count()

    Thread.sleep(1000 * 20)
    sc.stop()
  }

结果

在这里插入图片描述 2.