RDD的依赖关系, 宽依赖, 窄依赖, Lineage血统 10

最新推荐文章于 2023-06-06 11:21:03 发布
最新推荐文章于 2023-06-06 11:21:03 发布
阅读量330 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark社区 文章标签： RDD的依赖关系 宽依赖 窄依赖 Lineage血统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42641909/article/details/95166543
博客介绍了RDD和其父RDD的依赖关系，包括窄依赖和宽依赖。窄依赖指父RDD的Partition最多被子RDD一个Partition使用；宽依赖指多个子RDD的Partition依赖同一父RDD的Partition。还阐述了Lineage（血统），它记录RDD元数据和转换行为，可用于恢复丢失分区，且缓存和设置检查点对血统有不同影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. RDD的依赖关系

RDD和它依赖的父RDD的关系有两种不同的类型,

  • 窄依赖(narrow dependency)
  • 宽依赖(wide dependency)
    在这里插入图片描述

2. 窄依赖 narrow dependency

窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用.
总结: 窄依赖可以形象的比喻为独生子女.

3. 宽依赖

宽依赖指的的是多个子RDD的Parition会依赖同一个父RDD的Parition
总结: 宽依赖我们形象的比喻为超生

4. Lineage(血统)

  • RDD只支持粗粒度转换,即只记录单个块上执行的单个操作. 将**创建RDD的一系列Lineage(血统)**记录下来, 一边回复丢失的分区.
  • RDD的Lineage会记录RDD的元数据信息和转换行为, 当该RDD的部分分区数据丢失时, 它可以根据这些信息来重新运算和恢复丢失的数据分区.
  • 可以使用rdd.persist()或者rdd.checkpoint()将血统保存下来
    • 缓存后,血统不变
    • 设置检查点后,血统改变.

RDD的容错详解, 请看下篇

Spark—RDD依赖&血缘关系
weixin_42570840的博客
06-19 968
Spark-core中的RDD依赖和血缘关系
Spark基础【RDD依赖关系--源码解析】
weixin_43923463的博客
08-17 312
主要为shuffle设计，如果存在shuffle，需要一个完整的阶段（resultStage）一分为二，前一个阶段（shuffleMapStage）用于写数据和进行数据的落盘，前一个阶段执行完成才可以进行下一个阶段，resultStage包含shuffleMapStage。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。相邻两个RDD之间的关系，称之为依赖关系，多个连续的依赖关系称之为血缘关系。...
（RDD）Lineage 血缘关系 和 Dependence 依赖关系
qq_30130043的博客
05-15 3335
1）Lineage 说明    Lineage  保存了RDD的依赖关系    如：有这样的依赖关系：A =map=> B =filter=>C            假设B的RDD某个分区挂了，就可以通过血缘关系重新计算map的函数获取回来            即：一个RDD是如何从父RDD计算过来的 2）假如某RDD的分区是通过几个分区reducebykey算出来的，这时候得几个...
RDD依赖关系Lineage_大数据培训
zjjcchina的博客
09-05 264
将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。注意：RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。（3）查看“wordAndOne”的Lineage。（6）查看“wordAndCount”的依赖类型。（5）查看“wordAndOne”的依赖类型。
Spark RDD到底是个什么东西
weixin_30423977的博客
08-03 152
前言 　　用Spark有一段时间了，但是感觉还是停留在表面，对于Spark的RDD的理解还是停留在概念上，即只知道它是个弹性分布式数据集，其他的一概不知 有点略显惭愧。下面记录下我对RDD的新的理解。 官方介绍 　　弹性分布式数据集。RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。 问题 只要你敢问度...
Spark-RDD Lineage
zax_java的博客
07-23 820
文章目录spark RDD面试详解（血统关系）RDD的概念RDD容错 spark RDD面试详解（血统关系） RDD的概念 Spark计算中一个重要的概念就是可以跨越多个节点的可伸缩分布式数据集 RDD（resilient distributeddataset） Spark的内存计算的核心就是RDD的并行计算。RDD可以理解是一个弹性的，分布式、不可变的、带有分区的数据集合，所谓的Spark的批处...
SparkCore之RDD之间的依赖关系(血缘)详解
LBJ_小松鼠的博客
01-15 1483
1-什么是依赖关系(血缘关系) 通过构建依赖关系可以实现RDD的容错 子RDD依赖于父RDD 2-为什么需要依赖关系 因为Spark是基于RDD的并行计算框架 RDD不可变 可分区 可并行计算的集合 通过划分为宽依赖和窄依赖可以在窄依赖过程中实现RDD分区的并行计算 但是在宽依赖的部分需要从上一个RDD的不同分区拉取数据，在Shuffle阶段无法实现并行计算 3-依赖关系有几种？ 窄依赖：NarrowDependency 宽依赖：ShuffleDependency 4-如何判断一个依赖是.
SparkCore 运行过程剖析（基本运行流程， DAG，Lineage(血缘关系) 宽依赖和窄依赖）
南国的技术栈
12-08 1274
之前的Spark总结，我提到了Spark的学习主要分为四个部分： 1.Spark Core用于离线计算； 2.Spark SQL用于交互式查询 3.Spark Streaming用于实时流式计算 4.Spark MLlib用于机器学习 这一篇博客我来讲讲Spark内部的运行过程剖析，比较偏理论 但是绝对值得你一看。 spark中的专业术语 1.Application： 基于Spark的用户程...
Spark深入解析（十三）： SparkCore之RDD依赖关系、DAG生成、划分Stage
wzc8961661的博客
05-02 2116
目录Lineage宽窄依赖如何区分宽窄依赖为什么要设计宽窄依赖DAG（有向无环图）DAG划分Stage Lineage   RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 （1）...
Spark-RDD的依赖关系
自律
12-27 597
RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖和宽依赖。 窄依赖 子rdd对应一个或有限个父rdd 宽依赖 子rdd对应所有父rdd 宽依赖就会发生shuffle过程 Lineage(血统) 将创建RDD的一系列Lineage（即血统） 记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部 分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 DAG有向无环图 RDD任务的切分 并行度：程序同一时间执行作业的线程个数。 原
RDD的Lineage和Cache
大唐帝国—前营
01-25 618
RDD A---RDD B---RDD C---RDD D中，如果RDD D中的分区数据丢失，是只需要在RDD C的分区上重算，还是需要从 RDDA开始从头重新计算？ 答： 1. 如果 A-B-C-D 他们在一个Stage中，也就是说 RDD-D 与RDD-C 依赖关系属于 窄依赖，不产生Shuffle的话，RDD-D的某个分区数据 将会从 RDD-C 重新计算，此时需要判断RDD
Spark的 RDD 和 RDD血统依赖
weixin_45417821的博客
09-25 421
什么是RDD ? RDD是一个弹性和复原的分步式数据集。 可以解决数据容错时的高效性，以及划分任务起到的重要作用。 RDD 是混合型的编程模型, 可以支持迭代计算, 关系查询, MapReduce, 流计算 RDD 不可变，可分区。是只读的 RDD 之间有依赖关系, 根据执行操作的操作符的不同, 依赖关系可以分为宽依赖和窄依赖 就是在大量记录上执行的单个文件操作，将创建的RDD的一系列的血缘记录下来，以便恢复丢失的数据，相邻两个RDD之间的关系称为依赖关系，新的RDD依赖旧的RDD，多个连续的RDD 相互依
Spark Core之RDD依赖关系及血缘
CyAurora的博客
08-12 342
目录 一、RDD的依赖关系 1.1窄依赖 1.2宽依赖 查看源码 二、Lineage(⾎统)&容错性 Lineage 容错性 一、RDD的依赖关系 RDD和它依赖的⽗RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 注： 使⽤代码 rdd.toDebugString 可打印依赖关系 1.1窄依赖 说明:⽗RDD的每个分区只被⼀个⼦RDD分区使⽤...
spark2.0原理分析--RDD血缘（RDD Lineage）
zg_hover的专栏
06-13 5947
本文介绍了RDD的血缘基本概念和形成。血缘是由于RDD的转换操作形成的多个RDD的依赖关系。RDD的血缘不依赖数据的计算。每个RDD都有一个依赖的父RDD的引用的列表，通过这个列表来找到依赖的父RDD，多个RDD的依赖形成了一个DAG图（有向无环图）。这就是RDD的血缘（RDD Lineage）。
16-如何理解spark的血统（RDD）概念
huaxing_ba的博客
06-13 321
如何理解spark血统概念
Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
智海观潮的博客
11-24 564
    RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。     RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resili...
RDD的依赖关系、窄依赖、宽依赖、RDD的缓存、RDD缓存方式、DAG的生成、RDD容错机制之Checkpoint
涂作权的博客
07-08 3392
1、RDD的依赖关系RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 1.1、窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女1.2、宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Parti
spark中的血统
qq_35248703的博客
07-21 939
为什么会有血统？ Lineage定义 Lineage：用来记录不同RDD之间的依赖关系。 RDD在Lineage方面主要分为两种：窄依赖和宽依赖。 那什么是窄依赖和宽依赖呢？ 窄依赖：父RDD中的每个分区最多被子RDD的一个分区使用。 宽依赖：父RDD中的每个分区被子RDD中的多个分区使用。 血统解决了什么问题？ 在spark的容错机制中，当一个节点宕机了，进行容错恢复时， 对窄依赖来讲：计算时只要把丢失的父RDD相应的分区重新计算即可，其他分区不用计算，不依赖于其他的节点。 例如：图1，如果RDD_1中
Spark RDD容错机制
梁辰兴的博客
06-06 1612
Spark建议，在将RDD标记为检查点之前，最好将RDD持久化到内存，因为Spark会单独启动一个任务将标记为检查点的RDD的数据写入文件系统，如果RDD的数据已经持久化到了内存，将直接从内存中读取数据，然后进行写入，提高数据写入效率，否则需要重复计算一遍RDD的数据。cache()或者persist()是将数据存储于机器本地的内存或磁盘，当机器发生故障时无法进行数据恢复，而检查点是将RDD数据存储于外部的共享文件系统（例如HDFS），共享文件系统的副本机制保证了数据的可靠性。因此，广播变量是只读的。
Spark RDD：分布式数据集详解
5. **容错机制**：RDD的容错是通过血统（Lineage）来实现的。如果某个分区数据丢失，Spark可以通过其转换历史重新计算该分区，确保数据的完整性。 在实际应用中，RDD的转换操作（Transformation）如`map`、`filter`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值