Spark学习笔记 --- Spark中宽依赖（Wide deps）与窄依赖（Narrow deps）

最新推荐文章于 2024-11-20 18:46:12 发布
最新推荐文章于 2024-11-20 18:46:12 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Scala 大数据挖掘与大数据应用案例 Object-Oriented Programming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012965373/article/details/60879891
本文详细探讨了Spark中的宽依赖与窄依赖概念。宽依赖中，每个子Partition依赖于父RDD的全部Partition，而窄依赖保证每个父Partition只被一个子Partition使用。这种依赖关系对Spark的并行计算和任务调度至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

宽依赖（wide dependency）：

宽依赖指的是每一个parent RDD 的 Partition会依赖同一个parent RDD的Partition使用。

窄依赖（narrow dependency）：

窄依赖是指每一个parent RDD 的 Partition最多被子RDD的一个Partition所使用。


如下图所示：




浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 2453
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
Spark 宽窄依赖
weixin_30955341的博客
04-17 416
面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。 看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。 原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 750
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
Spark RDD的依赖于DAG的工作原理
qq_43012693的博客
11-10 887
目录RDD的依赖RDD的宽窄依赖DAG工作原理划分Stage的原因Spark Shuffler过程 在进行本篇之前，如果还有对Spark的一些基础概念不太明白的可以参考一下这篇博文： Spark核心组件、运行架构 RDD的依赖 RDD是一种弹性分布式数据集，我们以图示的形式来展示一下它的原理： RDD的宽窄依赖 Lineage:血统、遗传 RDD最重要的特性之一，保存了RDD的依赖关系； RDD实现了基于Lineage的容错机制； 依赖关系 宽依赖：一个父RDD的分区被子RDD的多个分区使用； 窄依
spark宽依赖与窄依赖
汴水流的博客
04-05 999
窄依赖：Narrow Dependency 父RDD和子RDD是一对一的依赖关系，如map，filter 宽依赖：Shuffle Dependency 本质如其名，本质就是shuffle。如reduceByKey，groupyByKey 以wordcount为例，剖析图如下：
Spark RDD 的宽依赖和窄依赖
最新发布
z1941563559的博客
11-20 1205
每个团队只需要关注自己的分工，完成自己的任务。例如，一个人将纸张折好，直接传递给下一个人装订，每个步骤只依赖于上一个人完成的内容。这种方式下，任务之间关系简单，直接传递，效率较高。例如，一个人需要从三个不同团队拿到原料，然后再组合成一个产品。这种情况下，团队之间的协调工作多，传递的过程复杂，时间和资源的开销更大。：一个 RDD 的每个分区（partition）仅依赖于父 RDD 中的一个分区。：一个 RDD 的某个分区依赖于父 RDD 中的多个分区。）的数据会被重新分组到一个分区，触发。
Spark宽依赖窄依赖的区别
话数Science
10-03 2101
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
spark中宽依赖和窄依赖
05-29
在Spark中，根据RDD之间的依赖关系不同，可以将其分为宽依赖和窄依赖两种类型。 窄依赖是指每个父RDD的每个分区最多被子RDD中一个分区所依赖。也就是说，一个父RDD的一个分区只会被一个子RDD的一个分区所依赖。这种...
Spark中的宽依赖和窄依赖
微信公众号：一颗向上的草莓
05-04 646
Spark中RDD的高效与DAG（有向无环图）图有着莫大的关系， 在DAG调度中需要对计算过程划分Stage， 而划分的依据就是就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 和宽依赖（Wide Depencency，也称为Shuffle Depencency）。 窄依赖： 指父RDD的每个分区只被子RDD的一个分区...
Spark 的宽依赖和窄依赖
weixin_45417821的博客
09-26 1277
针对不同函数，Spark 分为宽依赖和窄依赖， 窄依赖是一个父RDD 分区对应一个子RDD 分区，或者说是多个父RDD分区对应一个子RDD分区，比如map，flapmap，filter 宽依赖是一个父RDD分区对应多个子RDD分区，groupByKey，reduceByKey，sortByKey。 总体来说，如果父RDD 对应一个 子RDD ，那么它就是窄依赖，否则就是宽依赖。 ...
Spark基础知识04——窄依赖、宽依赖、DAG、缓存
01-07
一、宽窄依赖 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖： 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 总结：宽依赖我们形象的比喻为超生 ps:Spark中产生宽窄依赖的依据是shuffle，当发生shuffle时，会产生宽依赖，基本上shuffle算子都会产生宽依赖，但是join除外，在执行join算子之前
聊聊Spark中的宽依赖和窄依赖
热门推荐
夜阑听风
07-08 1万+
开门见山，本文就针对一个点，谈谈Spark中的宽依赖和窄依赖，这是Spark计算引擎划分Stage的根源所在，遇到宽依赖，则划分为多个stage，针对每个Stage，提交一个TaskSet：上图：一张网上的图：基于此图，分析下这里为什么前面的流程都是窄依赖，而后面的却是宽依赖：我们仔细看看，map和filter算子中，对于父RDD来说，一个分区内的数据，有且仅有一个子RDD的分区来消费该数据。同样...
spark的宽依赖，窄依赖
山水青一人尤
12-13 888
在 Apache Spark 中，依赖关系是指 RDD（弹性分布式数据集）之间的关系。依赖关系的类型对于理解 Spark 的任务调度、分区和故障恢复等方面至关重要。Spark 中主要有两种类型的依赖关系：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。
Spark中narrow dependency和wide dependency
weixin_34085658的博客
03-08 651
为什么80%的码农都做不了架构师？>>> ...
Spark的宽窄依赖
Buutoorr的博客
09-20 3384
浅谈宽窄依赖及流水线优化
Spark【理论篇】03：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2535
Spark【理论篇】03：宽依赖和窄依赖以及Spark任务三种提交模式
Spark中宽依赖和窄依赖
小江专栏
07-12 647
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）。 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个
【Spark】窄依赖和宽依赖区别
zkq_1986的博客
12-07 687
窄依赖：     一个父分区只能发往一个子分区，虽然一个子分区可以来自多个父分区； 宽依赖（其过程称为shuffle）：     一个父分区需要发往多个子分区。 窄依赖和宽依赖的作用：一是容错，二是宽依赖作为stage的划分点。 如果是窄依赖，子分区若是出错，其父rdd数据已丢失，那么只需重新计算子分区依赖的若干个父分区就行。 如果是宽依赖，子分区若是出错，其父rdd数据已丢失
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值