【Spark】-- DAG 和宽窄依赖的核心

最新推荐文章于 2025-07-31 17:04:46 发布
最新推荐文章于 2025-07-31 17:04:46 发布
阅读量312 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Apache Spark 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/147999101

目录

Spark DAG 和宽窄依赖的核心

一、什么是 DAG？

示例：WordCount 程序的 DAG

二、宽依赖与窄依赖

1. 窄依赖

2. 宽依赖

三、DAG 与宽窄依赖的性能优化

1. 减少 Shuffle 操作

2. 合理划分 Stage

3. 使用缓存机制

四、实际案例分析：同行车判断

五、总结

Spark DAG 和宽窄依赖的核心

Apache Spark 是当前主流的大数据处理框架之一，其高效的内存计算和灵活的编程模型使其在大数据处理领域占据重要地位。在 Spark 的核心架构中，DAG（有向无环图）和宽窄依赖是关键概念，直接影响任务的执行效率和性能优化策略。本文将深入解析这两个概念，并结合实际案例和图示，帮助读者更好地理解和应用。

一、什么是 DAG？

DAG，全称 Directed Acyclic Graph（有向无环图），在 Spark 中用于表示 RDD（弹性分布式数据集）之间的依赖关系。每个节点代表一个 RDD，边表示 RDD 之间的转换操作。Spark 通过构建 DAG 来规划任务的执行路径，从而实现高效的任务调度和容错机制。

示例：WordCount 程序的 DAG

以经典的 WordCount 程序为例，其 DAG 如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark 核心概念与宽窄依赖的详细解析
天冬忘忧的博客
11-12 1293
通过对 Spark 中的 ClusterManager、Worker、Application、Driver、Executor、Job、Stage、Task 等核心概念的详细解析，以及对 Spark 应用提交流程和宽窄依赖特性的深入探讨，我们可以看到 Spark 构建了一个复杂而高效的分布式计算框架。理解这些概念和机制对于正确使用 Spark 进行大数据处理至关重要。
Spark------------宽窄依赖
mono的博客
04-21 3708
窄依赖 窄依赖（NarrowDependency） 官方解释:“Base class for dependncies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution.” 中文意思：“如果新生成的 child RDD 中的每个分区都依赖parent RDD 中的一
spark-宽窄依赖
DCHAO的博客
10-20 3117
这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算
Spark---宽窄依赖
shall潇の菜园
05-07 547
RDD论文：第11页 原文摘录 This distinction is useful for two reasons. First, narrow dependencies allow for pipelined execution on one cluster node, which can compute all the parent partitions. For example, one can apply a map followed by a filter on an element-by-
Spark---RDD依赖关系
weixin_47109902的博客
01-11 1356
如上述代码所示，words的形成依赖于lines，wordGroup依赖于words，wordToCount依赖于wordGroup。通过合理地设计RDD的转换和动作操作，可以避免不必要的Shuffle操作，提高计算效率。1.对DAG进行反向解析，遇到宽依赖（ShuffleDependency）就断开，遇到窄依赖就把当前的RDD加入到当前的阶段中。由于RDD中是不存储数据的，当计算发生错误的时候，很难重新计算丢失的数据分区。4.一个阶段中的最后一个RDD的分区个数就是Task的个数。
Spark-RDD宽窄依赖及Stage划分
xiaopeigen的专栏
09-01 2575
1.术语解释： Master(Standalone):资源管理的主节点（进程） Cluster Manager：在集群上获取资源的外部服务（例如standalone，Mesos，Yarn） Worker Node(standalone):资源管理的从节点（进程）或者说管理本机资源的进程 Application：基于Spark的用户程序，包含了Driver程序和运行在集群上的executor程序 Driver Program：用来连接工作进程（Worker）的程序 Executor：是在一个Wor
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2953
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
Spark-RDD的宽窄依赖以及Shuffle优化
weixin_58305115的博客
10-11 1526
spark的shuffle的两个部分shuffle wirte 写shuffle read 读会进行文件的读写，影响spark的计算速度spark的shuffle方法类是spark封装好的处理shuffle的方法hashshuffle 类进行的是hash计算spark1.2版本前主要使用，之后引入了sortshufflespark2.0之后，删除了hashshuffle ，从2.0版本开始使用sortshuffle类优化的hashshufulle和未优化。
Spark-RDD的宽窄依赖
Colin_lqk的博客
10-08 208
RDD窄依赖和宽依赖 RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 窄依赖 父RDD和子RDD partition之间的数据关系是一对一的。 或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。 宽依赖 父RDD与子RDD partition之间的数据关系是一对多。会有shuffle的产生。 宽窄依赖图理解 Stage 提交Application是会创建来那个对象DAGSchedul
Spark之RDD内核原理，RDD的依赖关系，宽窄依赖的算子，DAG有向无环图
qq_55006020的博客
10-10 1167
Spark之RDD内核原理，RDD的依赖关系，宽窄依赖的算子，DAG有向无环图
Spark的宽窄依赖
Buutoorr的博客
09-20 3200
浅谈宽窄依赖及流水线优化
Sort Merge Join为什么是Spark中最优的join
主要写大数据集群一线运维和学习工作经验
07-31 877
Sort Merge Join 通过 “先分区（聚合同 Key）→ 再排序（整理顺序）→ 最后合并（线性匹配）” 的流程，将分布式环境下的大表连接转化为可并行的局部有序数据匹配，在内存有限、数据量大的场景中展现出远超 Hash Join 或 Broadcast Join 的稳定性和效率，因此成为 Spark 等框架处理大表连接的首选策略。
91-基于Spark的空气质量数据分析可视化系统
qq_53846367的博客
07-30 1068
本文介绍了一个基于Spark的空气质量大数据分析可视化系统。该系统采用分布式计算架构，整合了数据采集、分析、预测和可视化功能，覆盖全国12个主要城市的空气质量监测。系统技术栈包括Django、Spark、Hive、MySQL等，实现了从数据爬取到可视化展示的完整流程。核心功能包含多城市数据采集、Spark分布式分析、机器学习预测及交互式可视化。项目特色在于采用Spark 3.x进行高效计算，构建了完整的数据科学流程，并提供了直观的Web界面展示分析结果。该系统为空气质量监测提供了科学高效的技术解决方案。
Spark SQL 的 SQL 模式和 DSL模式
不辉放弃的博客
07-31 653
摘要：本文介绍了使用SparkSQL实现WordCount功能的两种方法：SQL模式和DSL模式。在SQL模式中，通过注册临时视图并编写SQL语句实现单词拆分、过滤和计数；DSL模式则利用DataFrame API的方法链完成相同功能。两种方法均涉及关键函数split、explode和groupBy的使用。文章对比了两者的特点：SQL模式适合熟悉SQL的用户处理复杂查询，而DSL模式更适合开发者进行程序化数据处理。最后提供了完整的PySpark代码示例，展示了两种实现方式的具体应用和相同输出结果。
HDFS Block与Spark的partition对比
专注大数据、云计算、人工智能、机器人领域技术传播
07-28 1260
HDFS与Spark的核心概念对比 HDFS的Block和Spark的Partition是大数据处理中的两个关键概念。HDFS采用固定大小的Block（默认128MB）作为存储单元，通过多副本机制保证数据可靠性，但存在空间浪费问题。Spark的Partition则是动态调整的计算单元，通过并行处理提高效率，依靠RDD的血统依赖实现容错。存储层面，Block位于DataNode磁盘，而Partition主要驻留内存；数据处理上，Block侧重顺序读取，Partition支持算子并行计算。两者相辅相成，共同构建
Spark的累加器（Accumulator）
不辉放弃的博客
07-30 350
摘要：PySpark累加器是用于分布式计算中安全聚合数据的共享变量，支持数值型和集合型内置累加器，也可通过继承AccumulatorV2类实现自定义逻辑。累加器具有单向通信、分布式安全、惰性执行和容错性等特点，适用于计数、求和等聚合操作。使用时需注意不要在转换操作中读取值，更新可能重复执行等问题。合理使用累加器能有效简化分布式状态聚合，提升代码效率。内置累加器包括数值型和集合型，自定义累加器则能扩展功能满足特定需求。
pyspark使用
最新发布
qinbaby的专栏
07-31 723
在处理同一批数据（130w条样本测试）时，使用pyspark（local模式）处理需要0.05s，而pandas的apply函数则需要15s，快了300倍！pandas的自定义函数applyreturn 1else:return 0pyspark的自定义函数udf。
spark宽窄依赖
04-24
### Spark 中宽依赖与窄依赖的概念及区别 #### 窄依赖 (Narrow Dependency) 窄依赖是指子 RDD 的每个分区最多依赖于父 RDD 的一个分区。这意味着数据可以在不需要 shuffle 的情况下直接从父 RDD 转移到子 RDD。由于不存在跨分区的数据交换，因此可以高效地进行流水线操作[^1]。 例如，在 `map` 或 `filter` 操作中，输入数据的每一个分区只会映射到输出的一个分区，不会引发大规模的数据重分布。这种特性使得窄依赖下的任务能够快速完成，因为它们只需要顺序读取本地磁盘上的数据即可[^2]。 ```python rdd = sc.parallelize([1, 2, 3]) mapped_rdd = rdd.map(lambda x: x * 2) # 这是一个典型的窄依赖例子 ``` --- #### 宽依赖 (Wide Dependency) 宽依赖则是指子 RDD 的某个分区可能会依赖于父 RDD 的多个分区甚至全部分区。这种情况通常发生在需要对数据进行重新分区或者聚合的操作时，比如 `groupByKey` 和 `reduceByKey`。为了实现这样的转换，必须通过 shuffle 将来自不同节点的数据集中起来再分配给新的分区[^3]。 在宽依赖的情况下，Spark 需要将整个 DAG 划分为不同的 Stage 来管理复杂的计算流程。每当遇到一次 shuffle 操作时，就会创建一个新的 Stage 边界[^4]。 ```python rdd = sc.parallelize([(1, 'a'), (2, 'b'), (1, 'c')]) reduced_rdd = rdd.reduceByKey(lambda a, b: a + b) # 属于宽依赖的例子 ``` --- #### 主要区别总结如下表所示： | 特性 | 窄依赖 | 宽依赖 | |-----------------|---------------------------------|--------------------------------| | 数据流动模式 | 不涉及 Shuffle | 必须经过 Shuffle | | 分区依赖 | 子分区仅依赖单个父分区 | 子分区可依赖多个父分区 | | Fault Tolerance | 可以只重算丢失的那个分区链条 | 需要回溯至共同祖先并重做更多工作 | | 性能影响 | 更加轻量级 | 开销较大 | --- ### 实际应用中的意义 了解这两种依赖类型有助于优化 Spark 应用程序性能。尽量减少不必要的 shuffles 是提高效率的关键之一。可以通过调整逻辑设计来避免过多使用那些容易引起宽依赖的操作符(如 join)，转而寻找替代方案降低整体复杂度[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值