通俗易懂理解spark的DAG

已于 2023-07-11 09:27:35 修改
阅读量1.9k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark最佳实战与性能优化 文章标签： spark 大数据 DAG
于 2023-05-15 14:47:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/130679269
Spark的DAG（有向无环图）是其执行模型的关键，将作业分解为Stage和Task实现并行处理。DAG调度器负责转换操作为DAG，通过血缘关系实现容错。理解并优化DAG有助于提升Spark作业的性能和容错能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DAG简介

百度百科对DAG的解释用一句话概括：无回路有向图。

Spark的DAG（有向无环图）是一个基本概念，在Spark执行模型中起着至关重要的作用。DAG是“定向的”，因为操作是按特定顺序执行的，而“非循环的”是因为执行计划中没有循环或循环。这意味着每个阶段都取决于前一阶段的完成情况，并且一个阶段中的每个任务都可以独立运行。
在这里插入图片描述

在高层，DAG表示Spark作业的逻辑执行计划。提交Spark应用程序时，Spark会将应用程序代码中指定的高级操作（如transformation和action）转换为stage和task的DAG。

DAG在Spark中的重要性

Spark中对DAG的需求源于这样一个事实，即Spark是一个分布式计算框架，这意味着它被设计为在多台服务器组成的集群上运行。为了在集群中有效地执行Spark作业

了解本专栏 订阅专栏 解锁全文 超级会员免费看
通俗理解贝叶斯网络(BNN)
AI天才研究院
08-24 1878
本文的主要目的是为读者提供一个直观、易懂的贝叶斯网络(Bayesian Network, BNN)介绍。我们将从基本概念出发，逐步深入到实际应用，帮助读者建立对贝叶斯网络的全面认识。贝叶斯网络的基本概念和组成元素贝叶斯网络的工作原理和推理过程贝叶斯网络的构建方法和应用场景贝叶斯网络在实际问题中的应用示例贝叶斯网络的优势和局限性通过本文，读者将能够理解贝叶斯网络如何模拟复杂系统中的不确定性和因果关系，以及如何利用这一工具进行概率推理和决策支持。背景介绍：概述文章的目的、范围和预期读者。
【深入浅出flink】第3篇：多图讲解flink核心概念（通俗易懂）Job、Task、SubTask、Slot、Slotsharing、Parallelism、Operator Chains
雷恩Layne
01-07 6918
本文是理解flink整个架构的核心，是最基础也是必须要掌握的知识，只有完全理解了它们，你才会在以后学习flink时游刃有余，才能更好的进阶flink高阶知识。
Spark 的 DAG（有向无环图）是如何生成的？它在任务调度中的作用是什么？
weixin_45422672的博客
02-17 883
在 Spark 中，DAG（有向无环图）是任务调度的核心机制之一。DAG 用于表示 RDD（弹性分布式数据集）之间的依赖关系和计算任务的执行流程。以下是 DAG 的生成过程及其在任务调度中的作用：解析逻辑计划：优化逻辑计划：生成 RDD 依赖关系：划分 Stage：生成 TaskSet：优化执行计划：并行执行：容错性：资源管理：以下是一个简单的示例，展示了如何在 Spark 中生成和执行一个 DAG：
Spark DAG与RDD
Deegue
09-17 7298
1、DAG DAG图中，每个节点都是RDD 窄依赖（也叫narrow依赖） 从父RDD角度看：一个父RDD只被一个子RDD分区使用。父RDD的每个分区最多只能被一个Child RDD的一个分区使用 从子RDD角度看:依赖上级RDD的部分分区     精确知道依赖的上级RDD分区，会选择和自己在同一节点的上级RDD分区，没有网络IO开销，高效。 窄依赖包括： OneToOneDepen...
Spark中的DAG
shuijing_dong的博客
03-20 276
Job是DAG中的一个个子任务，Action是返回值不是rdd的算子（行动算子），当一个Action开启时，其之前的所有rdd依赖链条就会开始执行，进而产生一个DAG，所以Action也可以说是一个触发开关，一个Action会产生一个DAG图。1个Application中可以有多个Job，每一个Job中包含一个DAG，同时每一个Job都是一个Action产生的。1个Action会产生一个DAG，且会在程序的运行过程中产生一个Job，而一个Action会产生一个Job（一个应用程序内的子任务）
Spark中的DAG介绍
weixin_41655296的博客
04-25 7810
1 DAG的介绍 DAG:全称为 Directed Acyclic Graph 中文为：有向无环图 在spark中，使用DAG来描述我们的计算逻辑。 2 Spark中的DAG DAG是一组顶点与边的组合，顶点代表RDD，边代表对RDD的一系列操作。 DAG Sheduler根据RDD的不同transformation操作，讲DAG分为不同的stage，每个stage中又分为多个task。 3 DAG解决的问题 DAG的出现主要是为了解决MapReduce框架的局限性。MapReduce框架
什么是SparkDAG
python的博客
06-23 8210
对于DAG这个概念现在很多上面都有所应用 概念 在spark里每一个操作生成一个RDD，RDD之间连一条边，最后这些RDD和他们之间的边组成一个有向无环图，这个就是DAG。 在spark的应用 Spark内核会在需要计算发生的时刻绘制一张关于计算路径的有向无环图，也就是DAG。 有了计算的DAG图，Spark内核下一步的任务就是根据DAG图将计算划分成任务集，也就是Stage，这样可
Spark基础 DAG
热门推荐
zhangvalue的博客
12-03 1万+
      为什么使用spark的原因是早期的编程模式MapReduce缺乏对数据共享的高效元语，会造成磁盘I/O 以及序列号等开销，spark提出了统一的编程抽象---弹性分布式数据集（RDD）,该模型可以令并行计算阶段间高效地进行数据共享。spark处理数据时，会将计算转化为一个有向无环图(DAG)的任务集，RDD能够有效的恢复DAG中故障和慢节点执行的任务，并且RDD提供一种基于粗粒度变换的...
Spark构建DAG（有向无环图）
swg321321的博客
07-06 4489
Spark构建RDDDAG，将RDDDAG的拆分，拆分后DAGScheduler，DAGScheduler转换为TaskScheduler，TaskScheduler到具体的Worker和Task执行。
大数据学习（三十二）一分钟了解spark（通俗易懂版）
weixin_44702289的博客
02-18 653
spark原理
Spark性能调优（原理篇）
qq_43303296的博客
01-21 979
2020年6月，Spark正式发布了新版本，从2.4直接跨越到了3.0。这次大版本升级的亮点就在于性能优化，它添加了诸如自适应查询执行（AQE）、动态分区裁剪（DPP）、扩展的Join Hints等特性。**Spark已经成为了各大头部互联网公司的标配，在海量数据处理上，扮演着不可获取的关键角色。**比如，字节跳动基于Spark构建的数据仓库去服务几乎所有的产品线，包括抖音、今日头条、西瓜视频、火山视频等。再比如，百度基于Spark推出BigSQL，为海量用户提供次秒级的即席查询。可以预见的是，
Spark 内核调度之DAG
不忘初欣丶的博客
04-06 1479
spark DAG有向无环图和宽窄依赖划分
Spark DAG概述
pre_tender的博客
10-04 1158
文章目录概要基础概念 概要 DAG，有向无环图，Directed Acyclic Graph的缩写，常用于建模。Spark中使用DAG对RDD的关系进行建模，描述了RDD的依赖关系，这种关系也被称之为lineage，RDD的依赖关系使用Dependency维护。参考Spark RDD之Dependency，DAG在Spark中的对应的实现为DAGScheduler。 基础概念 ...
Spark之DAG
ChengYanan的博客
05-06 423
DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。 任务...
Spark的DAG
lds_include
04-12 460
Spark的DAG 什么是DAG DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Sta...
Spark之RDD依赖关系及DAG逻辑视图
weixin_30436891的博客
06-17 331
　　RDD依赖关系为成两种：窄依赖（Narrow Dependency）、宽依赖（Shuffle Dependency）。窄依赖表示每个父RDD中的Partition最多被子RDD的一个Partition所使用；宽依赖表示一个父RDD的Partition都会被多个子RDD的Partition所使用。 一、窄依赖解析 　　RDD的窄依赖（Narrow Dependency）是RDD中最常见的依赖...
spark中dag的介绍
newchitu的博客
06-18 6285
目录 什么是DAG DAG 解决了什么问题 DAG 是怎么工作的 工作流程 注意点 DAG，全称 Directed Acyclic Graph， 中文为：有向无环图。 在 Spark 中， 使用 DAG 来描述我们的计算逻辑。 什么是DAG DAG 是一组顶点和边的组合。顶点代表了 RDD， 边代表了对 RDD 的一系列操作。 DAG Scheduler 会根据 RDD 的 t...
大数据之 Spark DAG
代妈炼金术师
02-01 591
Spark Directed Acyclic Graph (DAG) 是 Apache Spark 中的核心概念，它用于描述作业（job）的计算逻辑。在 Spark 中，用户通过对 RDD（Resilient Distributed Datasets）的操作构建一系列转换和动作，这些操作会形成一个有向无环图结构。：DAG 中的边表示节点间的依赖关系。如果一个节点的输出是另一个节点的输入，则它们之间存在一条边。：DAG 中的每个节点代表了对数据的一次转换或动作。等函数应用于 RDD 时创建新的节点；
Spark DAG执行过程
最新发布
04-30
### Spark 中 DAG 的执行过程和原理 #### 1. DAG 的定义与作用 在 Spark 中，DAG（Directed Acyclic Graph，有向无环图）表示的是 RDD 之间的依赖关系。这些依赖关系通过 Transformation 和 Action 操作构建而成[^1]。当用户对 RDD 进行一系列 Transformation 操作时，Spark 只会记录下这些操作的轨迹，并不会立即触发实际计算。只有当遇到 Action 操作时，才会触发底层的任务调度机制。 #### 2. DAG 的划分原则 DAGScheduler 是负责将整个 DAG 划分为多个 Stage 的组件。其划分的核心依据是 **宽依赖** 和 **窄依赖**： - **窄依赖**：父 RDD 的分区一对一映射到子 RDD 的分区，数据可以在同一个节点上处理，无需跨节点传输。 - **宽依赖**：父 RDD 的分区会被打散并重新组合成子 RDD 的分区，通常涉及 Shuffle 操作，需要跨节点的数据交换。 DAGScheduler 的划分规则是从后往前遍历 DAG 图，遇到窄依赖则将其纳入当前 Stage；一旦遇到宽依赖，则在此处切断，形成一个新的 Stage[^3]。 #### 3. DAG 的执行流程 以下是 Spark 中 DAG 的主要执行阶段及其对应的组件功能： ##### (1) Job 提交 当用户调用某个 Action 操作（如 `collect` 或 `saveAsTextFile`），SparkContext 会生成一个 Job 并提交给 DAGScheduler 处理[^2]。 ##### (2) Stage 划分 DAGScheduler 接收到 Job 请求后，分析该 Job 对应的 RDD 血缘关系，按照宽依赖的位置将整个 DAG 划分为若干个 Stage。每个 Stage 包含一组可以并行执行的任务（Task）[^3]。 ##### (3) TaskSet 创建 对于每一个 Stage，DAGScheduler 会为其生成一个 TaskSet，并将此 TaskSet 提交给 TaskScheduler 进行进一步调度[^1]。 ##### (4) Task 调度与执行 TaskScheduler 收到 TaskSet 后，负责将其中的具体任务分配至 Worker 节点上的 Executor 上运行。Executor 执行完任务后，将结果反馈给 Driver 程序[^2]。 ##### (5) 完成回调 当所有 Stage 成功完成后，Driver 程序会接收到最终的结果或状态更新，标志着本次 Job 的结束[^3]。 #### 4. 关键概念解析 为了更好地理解上述过程，这里补充几个重要概念： - **Shuffle**: 发生在宽依赖的情况下，用于重新分布数据以便后续计算。 - **Stage**: 由一组可并行执行的任务构成，代表了一个独立的计算单元。 - **Task**: 最小的计算单位，在单个 Partition 上执行特定的操作。 #### 5. 总结 综上所述，Spark 的 DAG 执行过程是一个从高层抽象到底层实现的过程。它通过对 RDD 的血缘关系建模，利用 DAGScheduler 实现高效的 Stage 划分策略，再借助 TaskScheduler 完成具体任务的分布式调度。这种设计不仅提高了系统的灵活性，还最大限度地减少了不必要的网络开销。 ```python # 示例代码展示如何触发 Action 导致 DAG 执行 rdd = sc.parallelize([1, 2, 3, 4]) mapped_rdd = rdd.map(lambda x: x * 2) result = mapped_rdd.collect() # 此处触发 Action，启动 DAG 执行 print(result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值