Spark stage划分和宽窄依赖

本文深入解析了Spark中RDD的宽窄依赖概念及其对Stage划分的影响,阐述了窄依赖如map、filter操作如何避免shuffle,以及宽依赖如groupByKey为何触发shuffle。详细解释了Spark如何根据依赖类型划分Stage,以及不同类型的task如何生成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark stage划分和宽窄依赖

宽窄依赖

RDD之间的有一系列的关系,主要分为宽依赖和窄依赖。下面是各自的定义,以及图解。

窄依赖
父RDD partition 和 子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的
partition情况下的父RDD和子RDD关系是多对一的。不会有shuffle的产生。例如 map,filter,union等算子。

宽依赖
父RDD partition 和 子RDD partition之间的关系是一对多。会有shuffle的产生。例如groupByKey等算子。

在这里插入图片描述

Stage的划分

spark划分stage的整体思路是:从后往前推,遇到宽依赖就断开,划分为一个stage;遇到窄依赖就将这个RDD加入该stage中。
在这里插入图片描述

Spark中task分为两类ShuffleMapTask和ResultTask,DAG最后一个阶段会为每个结果的partition生成一个ResultTask,所以每个Stage的task数量是由该Stage中最后一个RDD的Partition的数量所决定的,而其余所有阶段都会生成ShuffleMapTask。之所以称之为ShuffleMapTask是因为它需要将自己的计算结果通过shuffle到下一个stage中。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值