Spark依赖关系与Stage划分简介

Spark Stage 的划分 想了解Shuffle 的处理流程,首先要了解Spark是如何划分Stage的。下面,让我们看看 Spark 是如何根据RDD 的依赖关系来划分Stage。      首先 我们必须要理解 Spark 中RDD的依赖关系.            1.Rdd的依赖关系:           Rdd的依赖有两种:                1.宽依赖(Wide Dependency) 阅读详情

Spark会在用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系,同时这个计算链也就生成了逻辑上的DAG(有向无环图)。

RDD之间的关系可以从两个维度来理解:一个是当前RDD是从哪些RDD转换而来,也就是parent RDD(s)是什么;还有就是依赖于parent RDD的哪些Partition。这个关系,就是RDD之间的依赖。根据依赖parent RDD的Partitions的依赖情况,spark将依赖分为两种,一种是窄依赖,一种是宽依赖。

RDD之间的依赖关系

窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用。

宽依赖指的是多个子RDD的Partition会依赖同一个parent RDD的Partition。

对于窄依赖而言,它们只是将Partition的数据根据转换的规则进行转化,并不涉及其他处理,可以简单的认为只是将数据从一个形式转换到另一个形式。因此对于窄依赖,并不会引入昂贵的shuffle。所以执行效率会很高。如果整个DAG中存在多个连续的窄依赖,则可以将这些连续的窄依赖整合到一起连续执行,中间不执行shuffle从而提高效率,这样的优化方式称之为流水线优化。此外,针对于窄依赖,如果子RDD的某个分区数据丢失,只需要找到父RDD对应依赖的分区恢复即可。

对于宽依赖而言,子RDD的Partition是parent RDD的所有Partition是parent  RDD的所有Partition Shuffle的结果。

DAG的生成

原始的RDD通过一系列转换就形成了DAG。RDD之间的依赖关系,包含了RDD由哪些Parent RDD转换而来和它依赖parent RDD的哪些Partitions,是DAG的重要属性。

借助这些依赖关系,DAG可以认为这些RDD之间形成了Lineage(血缘关系)。借助Lineage,能保证一个RDD被计算前,它所依赖的parent RDD都已经完成了计算;同时,也是实现了RDD的容错性,即如果一个RDD的部分或者全部的计算结果丢失了,那么就需要重新计算这部分数据。

Spark中的stage

Spark在处理任务时,会根据依赖关系,将DAG划分为不同的阶段(Stage)。

处理的流程是:

        1.Spark在执行Transformation类型的操作时时,都不会立即执行,而是懒执行; 

        2.执行若干步的Transformation类型的操作后,一旦遇到Action类型的操作时,才会真正触发执行

        3.执行时,从当前Action方法向前回溯,如果遇到窄依赖则应用流水线优化,继续向前找,直到碰到某一个宽依赖

        4.因为宽依赖必须要进行shuffle操作,无法实现优化,所以将这一次段执行过程组装成一个stage

        5.再从当前宽依赖开始继续向前寻找。重复刚才步骤,从而将整个DAG划分成若干个stage

         

如上图所示,RDD(A)在生成RDD(B)的过程中执行了groupBy操作,A和B之前的依赖关系为宽依赖,所以RDD(A)划分为Stage1。RDD(C)生成RDD(D)以及RDD(D)和RDD(E)在进行union操作,生成RDD(F)的过程中,其依赖关系均为窄依赖,这两个过程可以划分为stage2。

RDD(B)与RDD(F)进行join操作,生成RDD(G)的过程,存在宽依赖,所以这个过程划分为stage3。

【Spark系列1】DAG中Stage和Task的划分全流程 上面已经介绍,在一个Stage中,RDD的依赖关系是窄依赖,所以最后一个RDD的分区数量取决于其依赖的RDD的分区数量,一直依赖到该阶段的开始的RDD的分区。 阅读详情

相关推荐

[Spark源码剖析] DAGScheduler划分stage

本文基于Spark 1.3.1 先上一些stage相关的知识点: DAGScheduler将Job分解成具有前后依赖关系的多个stage DAGScheduler是根据ShuffleDependency划分stage的 stage分为ShuffleMapStage和ResultStage;一个Job中包含一个ResultStage及多个ShuffleMapStage 一个stage包含多个tasks

Bbbbbbbbbbbbig data~ 2032

Spark的宽窄依赖

浅谈宽窄依赖及流水线优化

Buutoorr的博客 3727

Spark_Spark中 Stage, Job 划分依据 , Job, Stage, Task 高阶知识

Task内部有一个成员变量:preferredLocations表明了这个Task的位置偏好,这个变量的值是根据Task的数据的位置得到的,可以是一个hostName或者execotorId。例如,如果Task的数据是在192.168.5.101和192.168.5.102这两台机器上,那么:forExecutor是一个HashMap,key为executorId,value是preferredLocations为这个executor的所有task的taskId。

迎难而上 3596

spark基础知识选择、判断、简答题。

** # spark相关题目 ** 1、 持久化RDD的存储级别中,将RDD分区全部存储到磁盘上的存储级别是()。 A、MEMORY_ONLY B、MEMORY_AND_DISK C、DISK_ONLY D、MEMORY_ONLY_SER 参考答案: C 答案解析: 暂无解析 2、 当MemStore存储的数据达到一个阀值()时,数据就会被进行flush操作,将数据写入到StoreFile文件。 A、64M B、128M C、256M D、512M 参考答案: B 答案解析: 暂无解析 3、 下列选项中

weixin_43793040的博客 1万+

我的面试--spark中如何划分stage

2.spark中如何划分stage窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区两个父RDD的分区对应于一个子RDD 的分区。宽依赖指子RDD的每个分区都要依赖于父RDD的所有分区,这是shuffle类操作Stage:一个Job会被拆分为多组Task,每组任务被称为一个Stage就像Map Stage, Reduce Stage。Stag...

忍哥的博客 7145

【Spark】Stage生成和Stage源码浅析

引入上一篇文章《DAGScheduler源码浅析》中,介绍了handleJobSubmitted函数,它作为生成finalStage的重要函数存在,这一篇文章中,我将就DAGScheduler生成Stage过程继续学习,同时介绍Stage的相关源码。Stage生成Stage的调度是由DAGScheduler完成的。由RDD的有向无环图DAG切分出了Stage的有向无环图DAG。Stage的DAG通过

Jason Ding的专栏 2657

Spark的任务调度

DAG(Direted Aeyelie Grph,有向无环图)Sprk中的RDD通过一系列的转换算子操作和行动算子操作形成了一个DAG。 如果一个有向图无法从任意顶点出发经过若干条边回到该点,则这个图就是有向无环图。

m0_57781407的博客 1432

SAP MM采购合同创建全解析:ME31K操作与后台逻辑

在SAP ERP的物料管理模块中,采购合同作为框架协议的核心,定义了企业与供应商之间的长期供货关系。它与采购订单不同,合同不直接产生收货或发票,而是为后续采购订单提供数据源。创建合同(事务码ME31K)时,需要区分数量合同与金额合同,并维护抬头、行项目、有效期、价格条件和税码等关键信息。SAP通过源确定机制在创建采购订单时自动匹配合同,同时审批策略、编码范围和输出类型也会影响合同的实际可用性。掌握合同创建逻辑,能有效解决采购订单无法带出合同、审批未触发、价格缺失等高频问题。从ME31K实操出发,系统梳理采购

weixin_30000735的博客 201

SparkCore:RDD-DAG的生成和划分Stage

DAG介绍 DAG(Directed Acyclic Graph有向无环图)指的是数据转换执行的过程有方向,无闭环(其实就是RDD执行的流程) 原始的RDD通过一系列的转换操作就形成了DAG有向无环图,任务执行时,可以按照DAG的描述,执行真正的计算(数据被操作的一个过程) DAG的边界 开始:通过SparkContext创建的RDD 结束:触发Action,一旦触发Action就形成了一个完整的...

4520

Unity ECS 之 Entitas 的简单介绍,插件下载、导入,和简单使用(一篇文入门搞懂ECS是什么)

Unity ECS 之 Entitas 的简单介绍,插件下载、导入,和简单使用(一篇文入门搞懂ECS是什么) 目录 Unity ECS 之 Entitas 的简单介绍,插件下载、导入,和简单使用(一篇文入门搞懂ECS是什么) 一、简单介绍 二、一些专有项简介 Entity Context Group Collector Matcher System Feature 三、注意实现 四、ECS 的下载 Github 上下载 Unity Asset Store 中下载 U...

仙魁XAN 7781

Python | 集合(set)运算之intersection()

简介 在做力扣题的时候,有一个思路是要求解两个字符串的交集。 一般来说,求解交集的思路是遍历两个字符串,判断有无相等,有相等则添加到交集中,直到循环结束。 但是这样做,会增加很多的不必要的遍历:比如说,当一个字符串中有多个相同的元素时,该元素会被遍历多次。 因此,在求解时,我们可以先将字符串转换为set集合类型。集合中存储的元素没有顺序,且互异(即元素不可重复)。 算例 求字符串m“abcdaaa” 与 字符串n“bcddses”是否存在交集 首先将字符串转换为set类型: m = set(m) n

lovetaozibaby的博客 1万+

Spark中DAG是什么, DAG中Stage如何划分 12

1. 什么是DAG DAG(Directed Acyclic Graph)叫做有向五环图, 原始的RDD通过一系统的转换就形成了DAG. 根据RDD之间依赖关系的不同, 将DAG换分成不同的Stage(调度阶段). 对于窄依赖, parition的转换处理在一个Stage中完成计算 对于宽依赖,由于有Shuffle的存在,只能在Parent RDD处理完成后,才能开始计算接下来的计算.宽依赖是划...

啊策策大数据社区 1580

Python-OPCUA 实现西门子PLC数据批量读写与自动化监控

本文详细介绍了如何使用Python结合OPC UA协议,实现对西门子PLC数据的批量读写与自动化监控。通过搭建开发环境、利用KEPserverEX作为通信桥梁,并配合Python代码实战,读者可以掌握高效的数据采集、批量写入以及构建带报警功能的监控系统的方法,从而大幅提升工业自动化场景下的数据处理效率和系统灵活性。

www00的博客 183

Spark 划分 Stage

本篇主要阐述 DAGSchedule 划分 Stage 的过程,其主要目的是为了了解 Stage 划分的原理;同时对源码分析更能清楚过程,当某个任务出现运行时间较长时;如果可以清楚其 Stage 划分的过程,就可以大概清楚是什么算子导致运行时间较长,从而可以进行优化提高 Spark 任务运行的效率。...

Small_Ran的博客 1992

robomimic实验复现全流程指南:从数据集下载到训练视频生成

本文提供了RoboMimic实验复现的完整实战指南,重点解析了从数据集下载、配置文件定制到模型训练与评估的全流程。以tool_hang任务为例,详细说明了环境准备、数据获取、训练监控及视频生成等关键步骤,并针对常见问题给出了排查方案,帮助研究者高效完成机器人模仿学习实验的闭环验证。

2w3e4r5t6y的博客 1034

Cursor 使用教程(2025年更新版)

官方Cursor详细使用教程在“扩展学习”

我是赛博AI Lewis 7082

spark中Stage的划分

窄依赖和宽依赖窄依赖:指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区,和两个父RDD的分区对应于一个子RDD 的分区。图中,map/filter和union属于第一类,对输入进行协同划分(co-partitioned)的join属于第二类。宽依赖:指子RDD的分区依赖于父RDD的所有分区,这是因为shuffle类操作,如图中的groupByKey

spark的自由牧场的博客 1万+

告别乱码!ESP32+LVGL显示中文的保姆级教程(基于ESP-IDF,附7000字库生成)

本文详细介绍了如何在ESP32上使用LVGL显示中文的完整解决方案,包括中文字库生成、ESP-IDF工程集成和优化技巧。通过7000字库生成和实战案例,帮助开发者彻底解决中文乱码问题,适用于智能家居、智能手表等嵌入式设备开发。

weixin_28740299的博客 397

[源码] Spark如何划分Stage

[源码] Spark如何划分Stage 文章目录[源码] Spark如何划分Stage大家好,我是一拳就能打爆你A柱的猛男1、Stage的介绍1.1 Stage是什么概念以及Stage的划分1.3 Stage的意义2、从SparkPi定位Stage划分代码3、Spark划分Stage代码解读4、总结 大家好,我是一拳就能打爆你A柱的猛男 太久不写博客了,今天写的博客可能有点生疏,各位将就看一下。不知道有没有人跟我一样好奇Spark如何划分Stage的,今天翻一下源码给大家看看。 1、Stage的介绍 这部分

Alian_W的博客 2784

基于FPGA的时间数字转换(TDC)设计(五:基于Carry4的高精度TDC设计)

基于FPGA的时间数字转换(TDC)设计,此为第五篇:基于Carry4的高精度TDC设计。提供工程文件及MATLAB测试分析代码

sdau2005的博客 8808

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

spark的stage划分的原理

在收到作业时,会从最后的Action开始,通过递归函数newStage,根据 RDD 的依赖关系逐步向上遍历。当遇到shuffle依赖时,会将其划分为不同的stage,每个shuffle依赖会产生一个。所有的窄依赖 RDD 操作则合并为一个stage,在同一个stage中执行。负责将划分好的stage发送给 TaskScheduler,TaskScheduler 则进一步调度任务到集群执行。窄依赖操作:操作在同一个stage中执行,尽可能合并,减少shuffle。宽依赖操作。

goTsHgo的博客 1522

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Spark内核之Driver的工作流程(Stage划分、Task划分、Task调度)

fff

TRX的博客 3823

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Spark作业调度中stage的划分

目录(1)Spark作业调度(2)RDD依赖关系(3)Stage的划分 (1)Spark作业调度 (2)RDD依赖关系 (3)Stage的划分

蔡政洁的博客 3410

Spark stage如何划分

指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区,和两个父RDD的分区对应于一个子RDD 的分区。图中,map/filter和union属于第一类,对输入进行协同划分(co-partitioned)的join属于第二类。指子RDD的分区依赖于父RDD的所有分区,这是因为shuffle类操作,如图中的groupByKey和未经协同划分的join。一个Job会被拆分为多组Task,每组任务被称为一个Stage就像Map Stage, Reduce Stage。

jast 2477

Spark Stage的划分

RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务,任务是一个个的task 。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的一个分区去到子RDD的...

精益求精 2万+

Spark DAG、Stage 划分与 Task 调度底层原理深度剖析

本文深入剖析了Spark的DAG构建与Stage划分机制,以及Task调度的底层原理。主要内容包括:1) DAG构建过程基于RDD的转换操作形成逻辑执行计划,通过行动操作触发计算;2) Stage划分依据RDD依赖类型,窄依赖可管道化执行,宽依赖成为Stage边界;3) Task数量主要由RDD分区数决定,受Shuffle配置、数据源特性等影响。文章详细解析了窄/宽依赖的特点及Stage划分逻辑,并分析了Task并行度的关键影响因素,为Spark性能优化提供理论基础。

m0_73889530的博客 2045
上一篇: 关于Linux中的文件权限那些事
下一篇: SpringBoot集成Mybatis
VogtZhao
博客等级 码龄11年 1粉丝 20原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VogtZhao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值