RDD的宽依赖和窄依赖

最新推荐文章于 2024-11-20 18:46:12 发布
原创 最新推荐文章于 2024-11-20 18:46:12 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RDD #依赖 #spark

1、RDD的宽依赖和窄依赖的区别
是否有shuffle操作，也叫洗牌操作
在这里插入图片描述
在这里插入图片描述

窄依赖：
一对一 或者 多对一
在这里插入图片描述

在这里插入图片描述

宽依赖：
一对多
在这里插入图片描述

窄依赖可以进行流水线优化，宽依赖不可以
优化：fork/join 机制
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
一个作业可以划分成多个阶段 每个阶段都是一次fork/join，多次fork/join就是宽依赖
一个作业也可以直接一个阶段完成，这就是窄依赖
宽依赖：有shuffle操作的时候 需要落到磁盘，需要等待，没有办法形成管道型的流水化处理。

在这里插入图片描述

RDD的运行过程：
在这里插入图片描述

Spark面试整理-解释RDD的宽依赖和窄依赖以及它们对Spark任务调度的影响
不务正业的猿
03-22 499
在Apache Spark中，RDD（弹性分布式数据集）的依赖关系分为两种类型：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。在窄依赖的情况下，Spark可以优化执行计划，减少网络传输和数据移动，从而提高性能。在宽依赖的情况下，Spark需要创建新的阶段来处理混洗后的数据，这可能会增加作业的总执行时间。窄依赖允许更精细的任务划分和更有效的资源利用，而宽依赖可能导致更大的任务和更多的资源需求。在宽依赖中，子RDD的单个分区可能依赖于父RDD的多个分区。
Spark【理论篇】03：宽依赖和窄依赖以及Spark任务三种提交模式
weixin_40612128的博客
03-09 2628
Spark【理论篇】03：宽依赖和窄依赖以及Spark任务三种提交模式
Spark宽依赖窄依赖的区别
话数Science
10-03 2186
子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。NarrowDependency ：parent RDD 的一个或多个分区的数据全部流入到 child RDD 的一个或多个分区；ShuffleDependency： parent RDD 的每个分区的不同部分，分别流入到 child RDD 的不同分区。
RDD理解及宽依赖和窄依赖
热门推荐
小白成小黑
08-03 1万+
1）RDD概念：Resilient Distributed Datasets  弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（transformation操作）而创建。RDD可看作一个spark的对象，它本身存在于内
Spring各个jar包之间的依赖关系
.
10-24 9752
在用maven搭建web项目的时候，引用大量的jar包，经常会出现jar的版本冲突，这主要是因为不了解各个jar之间的依赖关系导致的，所以整理一些常用的jar之间的依赖关系。 spring的主要模块:IOC core：资源访问，类型转换 beans：bean工厂 expression：${}获取属性 context：核心接口ApplicationContext AOP aop：面向切面编程的实现
Spark系列——RDD的宽依赖和窄依赖，以及Spark的运行架构，运行流程，框架的特点
Cxf2018的博客
11-01 1434
一、窄依赖（narrow dependency） 窄依赖是指：每一个父RDD的一个partition最多被子RDD的一个partition所使用，例如：map,filter,union等操作会产生窄依赖，相当于父母和独生子女的关系 二、宽依赖(shuffle denpendency) 宽依赖是指：每一个父RDD的一个partition多个子RDD的一个partition所使用，每一个父RDD的一个partition有可能传输部份数据到子RDD的每一个partition中，子RDD的多个partition依赖
SparkCore（14）：RDD宽依赖和窄依赖
小蚯蚓的博客
10-25 409
一、两者区别的架构 1.宽依赖和窄依赖操作算子的区别 2.宽依赖和窄依赖类型区别 二、概念 1.窄依赖 （1）概念 子RDD的每个分区的数据来自常数个父RDD分区；父RDD的每个分区的数据到子RDD的时候在一个分区中进行处理。即，父依赖的每个分区都分到子依赖的一个分区中 （2）对应算子 （a）输入输出一对一的算子，且结果 RDD 的分区结构不变，主要是...
Spark RDD 的宽依赖和窄依赖
最新发布
z1941563559的博客
11-20 1302
每个团队只需要关注自己的分工，完成自己的任务。例如，一个人将纸张折好，直接传递给下一个人装订，每个步骤只依赖于上一个人完成的内容。这种方式下，任务之间关系简单，直接传递，效率较高。例如，一个人需要从三个不同团队拿到原料，然后再组合成一个产品。这种情况下，团队之间的协调工作多，传递的过程复杂，时间和资源的开销更大。：一个 RDD 的每个分区（partition）仅依赖于父 RDD 中的一个分区。：一个 RDD 的某个分区依赖于父 RDD 中的多个分区。）的数据会被重新分组到一个分区，触发。
Spark RDD的宽依赖和窄依赖
chuangxinge123的博客
04-01 2612
系列文章目录 Spark RDD 的宽窄依赖关系 文章目录系列文章目录Spark RDD 的宽窄依赖关系前言一、RDD的依赖关系？二、如何区分宽依赖和窄依赖？三、为什么要设计宽窄依赖？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、RDD的依赖关系？ 在 Spark 中，RDD 分区的数据不支持修改，是只读的。如果想更新 RDD 分区中的数
RDD宽依赖和窄依赖理解
raven_41的专栏
07-25 1843
1）RDD概念：Resilient Distributed Datasets 弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显示的将数据存储到磁盘和内存中，并且能控制数据分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区集合，只能通过在其他RDD执行确定的转换操作(transformation)而创建。RDD可看作一个spark对象，他本身存在于内存中，如对文件计算是一个RDD。 一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以相互依赖。如
Spark RDD的窄依赖和宽依赖
mcdull213的博客
05-03 616
前言 RDD的五大特性之一就是RDD之间有依赖关系，描述了RDD如何从源头计算过来的。 这样可以做到容错，如果某一个RDD分区出现错误，可以根据依赖关系重新计算相关的分区，而不需要全部重新计算。 如果链路关系太长，可以checkpoint下来 本文主要介绍下窄依赖和宽依赖 一、窄依赖 一个父RDD的分区至多被子RDD的某个分区使用一次 1）一个父RDD和一个子RDD的分区是唯一映射的...
Spark宽依赖与窄依赖的区别
鸿爸爸
11-09 917
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区。这其中又分两种情况：1个子RDD分区对应1个父RDD分区（如map、filter等算子），1个子RDD分区对应N个父RDD分区（如co-paritioned（协同划分）过的Join）。 宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区。这其中又分两种...
Spark学习之路(七)：RDD窄依赖与宽依赖深度剖析
萧邦主的城邦
07-11 662
内容简介一、窄依赖与宽依赖剖析二、窄依赖与宽依赖的区别三、窄依赖算子与宽依赖算子四、总结 一、窄依赖与宽依赖剖析 在之前的文章中曾对RDD进行剖析，详情看Spark学习之路(三)：剖析RDD的概念及用三种方式创建RDD，知道RDD与RDD之间是存在依赖关系(也叫血缘关系)的，每当RDD调用transform算子生成另一个RDD时，这两个RDD之间就存在依赖关系，事实上，还可以对两个RDD之间的依...
宽依赖与窄依赖区别
weixin_34121282的博客
04-17 771
为什么80%的码农都做不了架构师？>>> ...
窄依赖和宽依赖
yjgithub的博客
07-23 1万+
目录： 一.简介 二.区别 三.stage划分 一.简介 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency） 二.区别 窄依...
spark 中 宽依赖 和 窄依赖的 区别及优缺点
gjkxd的博客
04-26 1059
spark 中 宽依赖 和 窄依赖的 区别及优缺点 原创it_liangsir 最后发布于2018-06-29 17:58:02 阅读数 3315 收藏 展开 窄依赖与宽依赖的概述： rdd 中的–宽依赖—父RDD每个分区的数据可能被多个子RDD分区使用 ，子RDD分区通常对应所有的父RDD分区，这其中分为两种情况：1，一个父RDD的分区对应所有的子RDD的分区（没有core-patitione...
RDD的依赖关系（宽依赖和窄依赖）(学习笔记)
SX的博客
07-13 1677
RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用，例如map、filter、union等操作会产生窄依赖。 总结：窄依赖我们形象的比喻为独生子女 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同...
血缘和宽窄依赖
醉与浮的博客
11-21 283
spark血缘关系和款窄依赖浅析
Spark中RDD的宽依赖和窄依赖详解
SOARING
04-25 9469
宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。 下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。 宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分...
RDD的宽依赖、窄依赖？
04-04
RDD的宽依赖和窄依赖是指RDD之间的关系。 窄依赖：指父RDD的每个分区最多只被子RDD的一个分区所依赖，也就是父RDD的每个分区只会被一个子RDD的分区所使用。这种依赖关系可以在同一个节点上进行计算，不需要进行数据的重分区。 宽依赖：指父RDD的一个分区被多个子RDD的分区所依赖，也就是父RDD的某个分区会被多个子RDD的分区所使用。这种依赖关系需要进行数据的重分区，通常会导致性能的下降。 因此，我们尽量避免宽依赖的产生，优化RDD的依赖关系，减少数据的重分区，提高计算性能。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值