spark宽依赖与窄依赖

最新推荐文章于 2024-11-20 18:46:12 发布
最新推荐文章于 2024-11-20 18:46:12 发布
阅读量999 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark内核
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/monkeysheep1234/article/details/69361382

窄依赖：Narrow Dependency

父RDD和子RDD是一对一的依赖关系，如map，filter

宽依赖：Shuffle Dependency

本质如其名，本质就是shuffle。如reduceByKey，groupyByKey

以wordcount为例，剖析图如下：


Spark【理论篇】03：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2534
Spark【理论篇】03：宽依赖和窄依赖以及Spark任务三种提交模式
Spark的宽窄依赖
Buutoorr的博客
09-20 3328
浅谈宽窄依赖及流水线优化
每次进步一点点——Spark 中的宽依赖和窄依赖
热门推荐
housir的专栏
09-13 3万+
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应
Spark 宽窄依赖
weixin_30955341的博客
04-17 416
面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。 看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。 原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 748
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
Spark中的宽依赖和窄依赖
微信公众号：一颗向上的草莓
05-04 644
Spark中RDD的高效与DAG（有向无环图）图有着莫大的关系， 在DAG调度中需要对计算过程划分Stage， 而划分的依据就是就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 和宽依赖（Wide Depencency，也称为Shuffle Depencency）。 窄依赖： 指父RDD的每个分区只被子RDD的一个分区...
spark的宽依赖，窄依赖
山水青一人尤
12-13 886
在 Apache Spark 中，依赖关系是指 RDD（弹性分布式数据集）之间的关系。依赖关系的类型对于理解 Spark 的任务调度、分区和故障恢复等方面至关重要。Spark 中主要有两种类型的依赖关系：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。
Spark宽依赖窄依赖的区别
话数Science
10-03 2101
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 2451
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
Spark RDD 的宽依赖和窄依赖
z1941563559的博客
11-20 1205
每个团队只需要关注自己的分工，完成自己的任务。例如，一个人将纸张折好，直接传递给下一个人装订，每个步骤只依赖于上一个人完成的内容。这种方式下，任务之间关系简单，直接传递，效率较高。例如，一个人需要从三个不同团队拿到原料，然后再组合成一个产品。这种情况下，团队之间的协调工作多，传递的过程复杂，时间和资源的开销更大。：一个 RDD 的每个分区（partition）仅依赖于父 RDD 中的一个分区。：一个 RDD 的某个分区依赖于父 RDD 中的多个分区。）的数据会被重新分组到一个分区，触发。
宽依赖和窄依赖_Spark --【宽依赖和窄依赖】
weixin_34304211的博客
02-12 2956
1.前言《上一节Spark DAG概述》Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wid...
Spark RDD的依赖于DAG的工作原理
qq_43012693的博客
11-10 886
目录RDD的依赖RDD的宽窄依赖DAG工作原理划分Stage的原因Spark Shuffler过程 在进行本篇之前，如果还有对Spark的一些基础概念不太明白的可以参考一下这篇博文： Spark核心组件、运行架构 RDD的依赖 RDD是一种弹性分布式数据集，我们以图示的形式来展示一下它的原理： RDD的宽窄依赖 Lineage:血统、遗传 RDD最重要的特性之一，保存了RDD的依赖关系； RDD实现了基于Lineage的容错机制； 依赖关系 宽依赖：一个父RDD的分区被子RDD的多个分区使用； 窄依
Spark --【宽依赖和窄依赖】
weixin_33717117的博客
05-05 183
前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, ...
Spark 的宽依赖和窄依赖
龙大的博客
01-24 1236
Apache Spark 中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。依赖关系分为两类：宽依赖（Wide Dependency）和窄依赖（Narrow Dependency）。窄依赖指的是每个父分区最多被一个子分区使用，这意味着子分区的计算只依赖于父RDD的一个分区。因此，在窄依赖中，每个父RDD的分区只需要发送到一个子RDD的分区。
聊聊Spark中的宽依赖和窄依赖
夜阑听风
07-08 1万+
开门见山，本文就针对一个点，谈谈Spark中的宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet：上图：一张网上的图：基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖：我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。同样...
Spark：宽依赖与窄依赖
简单随风的博客
09-02 5742
窄依赖(Narrow Dependency):指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，RDD的每个partition仅仅依赖于父RDD 中的一个partition，父RDD和子RDD的partition之间的对应关系，是一对一的。 宽依赖(Shuffle Dependency):父RDD的每个分区都可能被子RDD的多个分区使用，例如groupByKey、 reduceByKey，sortBykey等算子，这些算.
Spark内核深度剖析之宽依赖和窄依赖
talent_curry的博客
09-22 809
在之前提到了DAGScheduler会将job划分为多个stage，而划分依据就是RDD之间的依赖关系。RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.窄依赖：窄依赖是指一个RDD对它的父RDD只有简单的一对一的依赖关系，即RDD的每个partition只依赖于父RDD中的一个partiti
Spark宽依赖与窄依赖关系的特点
最新发布
07-04
### 三、Spark 宽依赖与窄依赖的区别与特点 #### 窄依赖（Narrow Dependency） 在 Spark 中，**窄依赖**是指子 RDD 的每个分区只依赖于父 RDD 的一个分区。这种依赖关系通常出现在如 `map`、`filter`、`union` 等操作中。由于每个子分区的数据来源唯一，因此可以实现高效的流水线式计算，不需要进行数据的重新洗牌（shuffle）[^2]。 常见的窄依赖包括： - **OneToOneDependency**：子 RDD 分区与父 RDD 分区一一对应。 - **RangeDependency**：用于 `union` 操作后生成的 RDD，其分区是父 RDD 分区的连续子集。 窄依赖的优势在于： - 数据流简单，易于并行处理。 - 不涉及 shuffle，执行效率高。 - 在故障恢复时更高效，因为只需重新计算失败的分区及其依赖的父分区。 ```java JavaRDD<String> lines = sc.textFile("hdfs://..."); JavaRDD<String> filtered = lines.filter(line -> line.contains("spark")); ``` 上述代码中的 `filter` 是典型的窄依赖操作，子 RDD 的每个分区只依赖于父 RDD 的对应分区[^4]。 #### 宽依赖（Wide Dependency） **宽依赖**是指子 RDD 的一个分区可能依赖于父 RDD 的多个分区。这种情况通常发生在需要进行数据重分布的操作中，例如 `groupByKey`、`reduceByKey`、`sortByKey` 和部分形式的 `join`。宽依赖会导致 shuffle 操作，即跨节点的数据传输和重新分组，从而带来较高的网络 I/O 开销[^1]。 常见的宽依赖包括： - **ShuffleDependency**：当子 RDD 的分区器（Partitioner）与父 RDD 不一致或需要聚合操作时，会触发 shuffle。 宽依赖的特点如下： - 子 RDD 的每个分区依赖于多个父 RDD 分区。 - 触发 shuffle 操作，增加执行时间。 - 在调度上需要划分不同的 stage，每个 stage 内部由窄依赖组成，stage 之间通过 shuffle 边界隔开[^3]。 ```java JavaPairRDD<String, Integer> pairs = lines.mapToPair(s -> new Tuple2<>(s, 1)); JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b); ``` 上述代码中，`reduceByKey` 操作导致宽依赖，因为每个键值对的归并操作需要将相同 key 的数据集中到同一个分区中[^5]。 #### 总结对比 | 特性 | 窄依赖 | 宽依赖 | |----------------|----------------------------|----------------------------------| | 是否触发 shuffle | 否 | 是 | | 分区依赖关系 | 子分区仅依赖一个父分区 | 子分区依赖多个父分区 | | 执行效率 | 高 | 相对较低 | | 故障恢复 | 只需恢复失败分区及父分区 | 需要恢复多个父分区 | | 常见算子 | map、filter、union | groupByKey、reduceByKey、join | 在实际开发中，应尽量使用窄依赖操作来优化性能，减少 shuffle 的发生[^2]。同时，合理设计分区策略（如使用合适的 Partitioner）也能有效降低宽依赖带来的性能瓶颈。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值