Spark中RDD算子reduce，aggregate，fold与reduceByKey，aggregateByKey，foldByKey的区别

最新推荐文章于 2025-05-12 10:57:53 发布

liguanghai12

最新推荐文章于 2025-05-12 10:57:53 发布

阅读量701

点赞数

CC 4.0 BY-SA版权

分类专栏： scala 大数据文章标签：大数据 spark scala

本文链接：https://blog.youkuaiyun.com/weixin_44563670/article/details/112899176

大数据同时被 2 个专栏收录

28 篇文章

订阅专栏

scala

16 篇文章

订阅专栏

本文深入探讨了Spark中的行动算子（如reduce、aggregate和fold）与转化算子（reduceByKey、aggregateByKey和foldByKey）的区别。行动算子触发实际计算，而转化算子仅定义计算逻辑。在reduceByKey等转化算子中，计算逻辑仅在分区内部执行，而在aggregateByKey和foldByKey中，零值（zeroValue）不仅参与分区内的计算，还参与到分区间的合并过程中。理解这些算子的工作原理对于优化Spark应用至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这几个算子主要分为两类：
行动算子：reduce，aggregate，fold
转化算子：reduceByKey，aggregateByKey，foldByKey

行动算子与转化算子的区别：
行动算子会执行Spark作业执行,而转化算子只是计算逻辑的封装

/**
   * Run a function on a given set of partitions in an RDD and pass the results to the given
   * handler function. This is the main entry point for all actions in Spark.
   *
   * @param rdd target RDD to run tasks on
   * @param func a function to run on each partition of the RDD
   * @param partitions set of partitions to run on; some jobs may not want to compute on all
   * partitions of the target RDD, e.g. for operations like `first()`
   * @param resultHandler callback to pass each result to
   */
  def runJob[T, U: ClassTag](
      rdd: RDD[T],
      func: (TaskContext, Iterator[T]) => U,
      partitions: Seq[Int],
      resultHandler: (Int, U) => Unit): Unit = {
    if (stopped.get()) {
      throw new IllegalStateException("SparkContext has been shutdown")
    }
    val callSite = getCallSite
    val cleanedFunc = clean(func)
    logInfo("Starting job: " + callSite.shortForm)
    if (conf.getBoolean("spark.logLineage", false)) {
      logInfo("RDD's recursive dependencies:\n" + rdd.toDebugString)
    }
    dagScheduler.runJob(rdd, cleanedFunc, partitions, callSite, resultHandler, localProperties.get)
    progressBar.foreach(_.finishAll())
    rdd.doCheckpoint()
  }

reduce行动算子与转化算子reduceByKey：
除开一个是行动算子一个是转化算子，计算逻辑是一样的

aggregate与aggregateByKey：
aggregateByKey中，zoreValue只会参与每个分区中每个key首次计算，但是在aggregate中zoreValue不仅仅只是参与分区内计算还会参与分区间计算

fold与foldByKey：
类似aggregate与aggregateByKey的区别，aggregate中zoreValue参与分区内计算，还参与分区间计算