RDD的依赖关系（宽依赖和窄依赖）

最新推荐文章于 2024-11-28 10:36:05 发布
原创 最新推荐文章于 2024-11-28 10:36:05 发布 · 966 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #设计模式

本文深入解析了RDD的窄依赖和宽依赖概念，窄依赖表现为一对一或多对一的分区关系，如map、filter操作；宽依赖则表现为一对多的分区关系，如groupByKey操作，涉及shuffle过程。这些概念对于理解Spark作业的Stage划分至关重要。

窄依赖

父RDD的一个分区被一个子RDD的一个分区使用，分区是一对一或多对一的对应关系。
如，map、filter等操作。

宽依赖

父RDD的分区被多个子RDD的分区使用，分区是一对多的对应关系，那么就会有如何分配的问题（shuffle过程）。
如，groupByKey等操作。

宽依赖、窄依赖是理解划分Stage的重要概念。
了解Stage的划分

SparkRDD数据窄依赖与宽依赖
AI天才研究院
06-29 888
《Spark RDD 数据窄依赖与宽依赖》 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Spark RDD，窄依赖，宽依赖，数据并行处理，MapReduce 1. 背景介绍
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 783
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
Spark RDD的宽依赖和窄依赖
chuangxinge123的博客
04-01 2609
系列文章目录 Spark RDD 的宽窄依赖关系 文章目录系列文章目录Spark RDD 的宽窄依赖关系前言一、RDD的依赖关系？二、如何区分宽依赖和窄依赖？三、为什么要设计宽窄依赖？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、RDD的依赖关系？ 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数
深度解读sparkRDD宽窄依赖
qq_68076599的博客
11-28 1482
深度解读RDD的宽窄依赖、以及为什么要标记宽窄依赖有什么优势。
Spark中RDD的宽依赖和窄依赖详解
SOARING
04-25 9466
宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。 下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。 宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分...
Spark2.3.2源码解析： 6. RDD 依赖关系：宽依赖与窄依赖
张伯毅的专栏
12-12 6277
    Spark中RDD的高效与DAG（有向无环图）有很大的关系，在DAG调度中需要对计算的过程划分Stage，划分的依据就是RDD之间的依赖关系。RDD之间的依赖关系分为两种，宽依赖(wide dependency/shuffle dependency)和窄依赖（narrow dependency）   1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常...
Spark RDD 的宽依赖和窄依赖
z1941563559的博客
11-20 1287
每个团队只需要关注自己的分工，完成自己的任务。例如，一个人将纸张折好，直接传递给下一个人装订，每个步骤只依赖于上一个人完成的内容。这种方式下，任务之间关系简单，直接传递，效率较高。例如，一个人需要从三个不同团队拿到原料，然后再组合成一个产品。这种情况下，团队之间的协调工作多，传递的过程复杂，时间和资源的开销更大。：一个 RDD 的每个分区（partition）仅依赖于父 RDD 中的一个分区。：一个 RDD 的某个分区依赖于父 RDD 中的多个分区。）的数据会被重新分组到一个分区，触发。
Spark-core：RDD依赖关系、持久化
qq_36996018的博客
11-17 1083
RDD依赖、持久化
Spark宽依赖窄依赖的区别
话数Science
10-03 2172
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
Spark系列——RDD的宽依赖和窄依赖，以及Spark的运行架构，运行流程，框架的特点
Cxf2018的博客
11-01 1417
一、窄依赖（narrow dependency） 窄依赖是指：每一个父RDD的一个partition最多被子RDD的一个partition所使用，例如：map,filter,union等操作会产生窄依赖，相当于父母和独生子女的关系 二、宽依赖(shuffle denpendency) 宽依赖是指：每一个父RDD的一个partition多个子RDD的一个partition所使用，每一个父RDD的一个partition有可能传输部份数据到子RDD的每一个partition中，子RDD的多个partition依赖
RDD宽依赖、窄依赖&DAG
记录
07-25 621
窄依赖：每个父RDD中的partition最多被子RDD中的一个Partition所使用； （1）父RDD与子RDD是一对一的依赖关系（OneToOneDependency）：map、filter、join with inputs co-partitioned； 注：子RDD只依赖父RDD中相同partitionID的partition （2）父RDD与子RDD是一对一的范围内依赖关系（Range...
RDD 窄依赖和宽依赖
qq_36392254的博客
04-16 209
RDD宽依赖和窄依赖理解
raven_41的专栏
07-25 1840
1）RDD概念：Resilient Distributed Datasets 弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显示的将数据存储到磁盘和内存中，并且能控制数据分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区集合，只能通过在其他RDD执行确定的转换操作(transformation)而创建。RDD可看作一个spark对象，他本身存在于内存中，如对文件计算是一个RDD。 一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以相互依赖。如
Spark学习之路(七)：RDD窄依赖与宽依赖深度剖析
萧邦主的城邦
07-11 656
内容简介一、窄依赖与宽依赖剖析二、窄依赖与宽依赖的区别三、窄依赖算子与宽依赖算子四、总结 一、窄依赖与宽依赖剖析 在之前的文章中曾对RDD进行剖析，详情看Spark学习之路(三)：剖析RDD的概念及用三种方式创建RDD，知道RDD与RDD之间是存在依赖关系(也叫血缘关系)的，每当RDD调用transform算子生成另一个RDD时，这两个RDD之间就存在依赖关系，事实上，还可以对两个RDD之间的依...
spark core之 RDD 之间的依赖关系
wjl7813的博客
09-10 387
什么是RDD之间的依赖关系? 什么是关系(依赖关系) ? 从算子视角上来看,splitRDD通过map算子得到了tupleRDD, 所以splitRDD和tupleRDD之间的关系是map 但是仅仅这样说, 会不够全面, 从细节上来看,RDD只是数据和关于数据的计算, 而具体执行这种计算得出结果的是一个神秘的其它组件, 所以, 这两个RDD的关系可以表示为splitRDD的数据通过map操作, 被传入tupleRDD, 这是它们之间更细...
宽依赖和窄依赖_对spark rdd 宽窄依赖的理解
weixin_42364609的博客
01-07 426
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency)。窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD...
spark宽依赖与窄依赖的理解
东城庞太师
05-30 476
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用 相应的，宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用 窄依赖对优化的优势： 宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内完成转换。 当RDD分区丢失时（某个节点故障），spark会对数据进行重算。 对于窄依赖，由于父RDD的一个分区只对应一个
Spark RDD 宽窄依赖——顿悟篇
weixin_44519468的博客
05-16 846
1.宽窄依赖 ●两种依赖关系类型 RDD和它依赖的父RDD的关系有两种不同的类型，即 ·宽依赖(wide dependency/shuffle dependency) ·窄依赖(narrow dependency) ●图解 ●如何区分宽窄依赖 窄依赖:父RDD的一个分区只会被子RDD的一个分区依赖 宽依赖:父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle) 2.为什么要设计宽窄依赖 2.1对于窄依赖 Spark可以并行计算 如果有一个分区数据丢失，只需要从父RDD的对应1个分区重新计
RDD 宽依赖 ， 和窄依赖
qiezikuaichuan的专栏
05-10 2040
RDD 宽依赖------    一个子Rdd 依赖很多父RDD 也就是说这个 子RDD  是由很多父RDD 来组成的，所以， 他不好做优化，一般是需要做shuffle的操作， 这个shuffle的操作，很浪费时间，希望spark也做了优化把。。嗯嗯，   RDD  窄依赖------ 一个子的RDD  只有一个父亲，不是这么说，应该说是一个父亲 RDD 有且只传递给一个子RDD，   对吧，嗯
Spark 中 RDD 的窄依赖和宽依赖有什么区别？
最新发布
07-24
在 Spark 的 RDD 模型中，依赖关系分为**窄依赖**和**宽依赖**，这两者的核心区别在于父 RDD 的分区数据如何流向子 RDD 的分区。 #### 窄依赖 窄依赖是指父 RDD 的每个分区最多被子 RDD 的一个分区所使用。这种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值