Spark stage划分和宽窄依赖

最新推荐文章于 2025-08-19 13:37:18 发布

原创最新推荐文章于 2025-08-19 13:37:18 发布 · 394 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #宽依赖 #窄依赖 #宽窄依赖 #stage划分

本文深入解析了Spark中RDD的宽窄依赖概念及其对Stage划分的影响，阐述了窄依赖如map、filter操作如何避免shuffle，以及宽依赖如groupByKey为何触发shuffle。详细解释了Spark如何根据依赖类型划分Stage，以及不同类型的task如何生成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark stage划分和宽窄依赖

- 宽窄依赖
- Stage的划分

宽窄依赖

RDD之间的有一系列的关系，主要分为宽依赖和窄依赖。下面是各自的定义，以及图解。

窄依赖
父RDD partition 和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的
partition情况下的父RDD和子RDD关系是多对一的。不会有shuffle的产生。例如 map，filter，union等算子。

宽依赖
父RDD partition 和子RDD partition之间的关系是一对多。会有shuffle的产生。例如groupByKey等算子。

在这里插入图片描述

Stage的划分

spark划分stage的整体思路是：从后往前推，遇到宽依赖就断开，划分为一个stage；遇到窄依赖就将这个RDD加入该stage中。
在这里插入图片描述

Spark中task分为两类ShuffleMapTask和ResultTask，DAG最后一个阶段会为每个结果的partition生成一个ResultTask，所以每个Stage的task数量是由该Stage中最后一个RDD的Partition的数量所决定的，而其余所有阶段都会生成ShuffleMapTask。之所以称之为ShuffleMapTask是因为它需要将自己的计算结果通过shuffle到下一个stage中。