Spark(12) -- SparkCore(3) -- RDD的依赖关系、缓存以及容错机制-CheckPoint

最新推荐文章于 2024-11-23 20:43:28 发布
原创 最新推荐文章于 2024-11-23 20:43:28 发布 · 307 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文深入探讨Spark中的RDD依赖关系，包括窄依赖和宽依赖，以及为何需要依赖结构。同时，介绍了RDD的缓存机制，如cache和persist，强调其在容错和性能提升中的作用。此外，详细讲解了RDD的Checkpoint功能，作为更可靠的持久化和容错手段。

1. RDD的依赖

 RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖(narrow dependency)和宽依赖(wide dependency)。
在这里插入图片描述
在这里插入图片描述
注意:join操作比较特殊,可能同时存在宽、窄依赖

1.1 窄依赖

阅读源码：
在这里插入图片描述

 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。
总结:窄依赖我们形象的比喻为独生子女

1.2 宽依赖

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark避坑系列（三）（Spark Core-RDD 依赖关系&持久化&共享变量）
艺术架构
01-11 713
该篇章主要介绍spark的编程核心RDD的其他概念，依赖关系，持久化，广播变量，累加器等
SparkCore之RDD依赖关系_RDD缓存_RDD CheckPoint
Faded1573606285的博客
11-09 436
一 RDD依赖关系 1 Lineage RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 （1）读取一个HDFS文件并将其中内容映射成一个个元组 scala> va...
SparkCore:RDD容错机制Checkpoint
04-23 3723
RDD容错机制Checkpoint 引入: 持久化的局限 持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。 问题解决 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在HDFS上t，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错...
Apache Spark RDD容错机制Checkpoint
大数据流浪法师的学习笔记与分享
04-04 327
持久化的局限 持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。 问题解决 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错和高可用 使用步骤 1.SparkConte...
Spark RDD的缓存机制、CheckPoint机制（容错机制）和RDD的依赖关系
wlk_328909605的博客
09-20 2099
RDD的缓存机制 RDD通过cache方法或者persist方法可以将前面的计算结果缓存，但并不是立即缓存，而是在接下来调用Action类的算子的时候，该RDD将会被缓存在计算节点的内存中，并供后面使用。 注意：缓存结束后，不会产生新的RDD 缓存有可能丢失，或者存储存储于内存的数据由于内存不足而被删除，RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换，丢失...
Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 遇到的坑
wd_boy的博客
11-03 7206
前几天公司的集群从 Hadoop 2.7 + Spark 2.4 + Hive 2.X + Scala2.11 直接干到了Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 + Scala 2.12 ，然后项目就要跟着升级啦，结果问题就来了一堆了，此篇记录下遇到的几个问题以及解决办法。 使用 mvn package 打包的时候发现 df.foreachPartition内部报错：Error:(83, 19) value hasNext is not a member of...
Spark-core：RDD依赖关系、持久化
qq_36996018的博客
11-17 1093
RDD依赖、持久化
【大数据学习 | Spark-Core】RDD的缓存(cache and checkpoint)
最新发布
2301_80912559的博客
11-23 1439
首先存储到直接内存中，可以使得jvm的内存使用量减少，效率更高，但是比较危险，jvm中存在GC，可以清空垃圾，但是如果使用直接内存的话，垃圾多了我们可以删除，但是如果应用程序异常退出，这个时候内存是没有人可以管理的。仅内存并且是序列化的方式 _deserialized = true，将存储的jvm中的对象进行二进制byte[]，存储起来，以内存的方式，序列化完毕的数据更能够减少存储空间。先以内存为主，然后再使用磁盘，存储空间不够不会报错，会存储一部分数据，可以不序列化，不序列化指的时候内存的部分。
【SparkCore篇05】RDD缓存和checkpoint1
08-04
本篇文章主要探讨Spark中的RDD缓存和checkpoint机制。 首先，RDD缓存是Spark提升性能的关键特性。通过调用`persist()`或`cache()`方法，我们可以将一个RDD的计算结果存储在内存中，以便后续的操作可以快速访问，...
RDD的依赖关系、窄依赖、宽依赖、RDD的缓存、RDD缓存方式、DAG的生成、RDD容错机制之Checkpoint
涂作权的博客
07-08 3446
1、RDD的依赖关系RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 1.1、窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女1.2、宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Parti
Spark之【RDD编程】详细讲解(No6)——《RDD缓存与CheckPoint》
热门推荐
大数据梦想家
02-26 1万+
        本篇博客是Spark之【RDD编程】系列第六篇，为大家介绍的是RDD缓存与CheckPoint。         该系列内容十分丰富，高能预警，先赞后看! 文章目录7.RDD缓存8.RDD CheckPoint 7.RD...
Spark之持久化与存储级别
qq_34382453的博客
12-25 2480
一、持久化cache()与persist()   根据spark官方文档，Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据。这样会让以后的 action 操作计算速度加快（通常运行速度会加速 10 倍）。缓存...
spark基础知识三
weixin_42575593的博客
10-07 309
主要围绕spark的底层核心抽象RDD和原理进行理解。主要包括以下几个方面 RDD弹性分布式数据集的依赖关系 RDD弹性分布式数据集的lineage血统机制 RDD弹性分布式数据集的缓存机制 spark任务的DAG有向无环图的构建 spark任务如何划分stage spark任务的提交和调度流程 1. RDD的依赖关系...
Spark SQL，DataFrames和Datasets Guide （spark 2.4.3）
shareing
05-29 551
文章目录概述SQLDatasets and DataFramesDatasetsDataFrames开始SparkSession创建DataFrameDataFrame操作备注 概述 Spark SQL是Spark的一个组件，用于结构化数据的计算。与基本Spark RDD API不同，Spark SQL提供的接口为Spark提供了关于数据和正在执行的计算的结构的更多信息。在内部，Spark使用这些...
大数据【Scala】【Spark SQL】error: object read is not a member of package org.apache.spark
sunshine77_的博客
03-11 5820
1. 在创建DataFrame的时候出现了一个问题 scala> val df3 = spark.read.json("/usr/local/tmp_files/people.json") <console>:17: error: not found: value spark val df3 = spark.read.json("/usr/l...
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2357
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
Kafka高级(6) -- Kafka配额限速机制（Quotas）
erainm
09-16 2137
生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。 1. 限制producer端速率 2. 限制consumer端速率 3. 取消Kafka的Quota配置
Scala(6) -- scala类(成员变量、成员方法、修饰符)和对象
erainm
09-19 2026
1. 类和对象 2. 定义和访问成员变量 3. 下划线初始化成员变量 4. 定义和访问成员变量 5. 访问权限修饰符 6. 类的构造器 7. 单例对象 8. main方法 9. 伴生对象 10. 案例
Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1719
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
Spark Core核心技术与RDD API详解
Spark通过将数据集保存为RDD来实现容错机制。RDD通过一系列的转换操作从原始数据生成，每个转换都是一个新的RDD实例。如果一个节点失败，可以通过RDD的转换链恢复丢失的数据。 - **检查点(Checkpoint)**: 通过创建...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值