Spark2.3 RDD之flatMap源码解析

最新推荐文章于 2025-06-16 13:32:20 发布

DPnice

最新推荐文章于 2025-06-16 13:32:20 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark scala flatMap

本文链接：https://blog.youkuaiyun.com/DPnice/article/details/80093370

spark 专栏收录该内容

19 篇文章

订阅专栏

本文深入解析Spark2.3中RDD的flatMap源码，阐述flatMap如何将RDD内的每个元素通过自定义函数转化为iterator，进而组合成一个新的RDD。flatMap实现过程涉及多次回调，直至RDD所有元素处理完毕。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark flatMap 源码：

  /**
   *  Return a new RDD by first applying a function to all elements of this
   *  RDD, and then flattening the results.
   */
  def flatMap[U: ClassTag](f: T => TraversableOnce[U]): RDD[U] = withScope {
    val cleanF = sc.clean(f)
    new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.flatMap(cleanF))
  }

Scala flatMap 源码：

  /** Creates a new iterator by applying a function to all values produced by this iterator
   *  and concatenating the results.
   *
   *  @param f the function to apply on each element.
   *  @return  the iterator resulting from applying the given iterator-valued function
   *           `f` to each value produced by this iterator and concatenating the results.
   *  @note    Reuse: $consumesAndProducesIterator
   */
  def flatMap[B](f: A => GenTraversableOnce[B]): Iterator[B] = new AbstractIterator[B] {
    private var cur: Iterator[B] = empty
    private def nextCur() { cur = f(self.next()).toIterator }
    def hasNext: Boolean = {
      // Equivalent to cur.hasNext || self.hasNext && { nextCur(); hasNext }
      // but slightly shorter bytecode (better JVM inlining!)
      while (!cur.hasNext) {
        if (!self.hasNext) return false
        nextCur()
      }
      true
    }
    def next(): B = (if (hasNext) cur else empty).next()
  }

flatMap其实就是将RDD里的每一个元素执行自定义函数f，这时这个元素的结果转换成iterator，最后将这些再拼接成一个

新的RDD，也可以理解成原本的每个元素由横向执行函数f后再变为纵向。画红部分一直在回调，当RDD内没有元素为止。