Spark RDD和DAG生成

最新推荐文章于 2025-03-23 22:52:34 发布

SW_LCC

最新推荐文章于 2025-03-23 22:52:34 发布

阅读量202

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/SW_LCC/article/details/101177383

版权

本文介绍了Spark中的RDD依赖类型，包括宽依赖和窄依赖，详细解析了两者的概念和区别。窄依赖保证分区的一对一或范围依赖，而宽依赖需要shuffle操作。RDD之间的依赖关系形成DAG，根据依赖关系Spark将DAG划分为执行阶段Stage，窄依赖在同一Stage内并行执行，宽依赖成为划分Stage的依据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RDD依赖

Rdd之间存在血缘关系(Lineage），因此RDD之间存在联系，其中分为宽依赖和窄依赖。

(1)宽依赖

宽依赖指多个RDD的partition依赖同一个父RDD的partition

(2)窄依赖

窄依赖指RDD的partition都只依赖于一个父RDD不同的partition

所有依赖都需实现trait Dependency[T]

窄依赖代码实现：

abstract class NarrowDependency[T](_rdd: RDD[T]) extends Dependency[T] {
   
// 返回子 RDD 的 partitionId 依赖的所有的 parent RDD 的 Partition(s)
def getParents(partitionId: Int): Seq[Int]
override def rdd: RDD[T] = _rdd
}