Spark得checkPoint和Cache

最新推荐文章于 2024-11-23 20:43:28 发布
原创 最新推荐文章于 2024-11-23 20:43:28 发布 · 270 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了Spark中的缓存(cache)和检查点(checkpoint)机制。介绍了当RDD缓存数据超过内存容量时的处理方式，以及Spark如何在硬盘故障时进行数据恢复。阐述了检查点的作用和使用方法，以及在使用前建议先进行缓存的原因。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Cache

举例子：
rdd2依赖rdd1
rdd3依赖rdd2
rdd3.cache()//会把rdd3存入内存中，以后可以非常快得直接从内存中取

问题1：如果rdd3.cache()存入得数据是50G而我们实际内存可能只有32G 他会只存一部分，下次你再用rdd3得时候 50G其中32G会直接从内存中取，剩下得18G从新计算得出，依旧会比50G计算快得多。这里只是举个例子。

阅读源码得知：
如果硬盘坏了，spark会做数据恢复。
优先级：1.从cache中开始计算。
2.如果没有存入cache，则从checkpoint开始恢复计算
3.如果没有checkpoint，则从头开始计算，这是代价最大得

CheckPoint

做一个记忆断点
使用：是一个transformation，在action之后才会真的使用。
首先sc.setCheckpointDir(“hdfs路径”)
设置一个断点目录
rdd2依赖rdd1
rdd3依赖rdd2
rdd3.checkPoint()
rdd3.collect()
此时会产生两个计算，一个计算到rdd3得计算结果
另一个从新开始计算 计算到rdd3得结果然后放入checkPoint中

通过阅读checkPoint得源码得知
checkpoint做了之后，前面得依赖全部会被删掉
checkpoint做之前，建议cache一下，先cache在checkpoint不会产生两个计算结果，checkpoint会直接从内存中做断点

Spark Cache 和 Checkpoint 区别
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-22 608
cache checkpoint rdd.persist(StorageLevel.DISK_ONLY) 使用场景 会被重复使用的（但不能太大） 运算时间很长或运算量太大才能得到的 RDD，computing chain 过长或依赖其他 RDD 很多的 RDD 存储位置 内存 磁盘或HDFS 磁盘或HDFS 是否保存血缘关系 保存血缘关系（内存不可靠，cache丢失时可以重新计算） 不保存血缘关系（HDFS可靠保存） ...
spark-Checkpoint容错恢复(超级详细)
互联网知识分享
05-16 391
而checkpoint执行完之后，rdd已经没有之前所谓的依赖rdd了，而只有⼀个强⾏为其设置的checkpointRDD，checkpoint之后rdd的lineage就改变了。）checkpoint的元数据会记录jar的序列化的二进制文件，因为你改动过代码，然后重新编译，新的序列化jar文件，在checkpoint的记录中并不存在。（1）当我们spark 的容错机制使得某个任务或数据块丢失，都可以从最开始的数据源重新获取数据计算，然后恢复数据块和任务，如果计算比较多，计算链比较长，这个恢复过程就很长。
七个pdf理解spark系列_6-CacheAndCheckpoint
07-02
GitHub上某位大牛JerryLead对Spark的理解，大量图示，生动形象，总共7个pdf，看完对spark的原理，运行机制以及后续性能调优有很大的帮助，这是第六个pdf，讲述了cache、checkpoint的实现、使用等常见问题
Spark的Cache和checkpoint
SOARING
05-09 750
Checkpoint： 有时候我们对RDD的计算会复杂很多，而且可能耗时很多费很大仅才会计算出来的结果，这个结果是来之不易的，以后可能还需要使用。所以希望进行持久化的操作，一遍日后使用的时候直接调用这个中间结果，不用在进行一次复杂耗时的计算。 如果persist()或者cache到内存，虽然最快速但是也是最不可靠的。磁盘相对比内存更可靠些。 Checkpoint 可以指定把数据放在本地并且是...
Spark中的cache和checkpoint
qq_38052208的博客
11-07 538
RDD中的缓存cache：Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其它动作中重用。这使得后续的动作变得更加迅速。RD D相关的持久化和缓存，是Spark最重要的特征之一。可以说，缓存是Spark构建迭代式算法和快速交互式查询的关键。如果希望节点故障的情况不会...
Spark cache和checkpoint
freefish_yzx的博客
08-26 1190
本文阐述了Spark中几种数据持久化方法Cache/Persist/Checkpoint的用法以及区别和联系，对于计算链条过长或者数据量较大的Spark任务有指导意义。原文来自：https://github.com/JerryLead/SparkInternals/blob/master/markdown/6-CacheAndCheckpoint.md           作为区
Spark中的cache() persist() checkpoint()之间的区别
ImBetter的博客
04-20 2895
cache与persist的区别/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() /** * Set this RDD's storage level to persist its values across operations...
Spark 中 cache、persist 和 checkpoint 优化数据处理的三种重要机制介绍
z1941563559的博客
11-19 1539
是优化数据处理的三种重要机制。它们都旨在减少数据重算和优化性能，但有各自的应用场景和实现原理。下面从源码角度分析其原理、作用和适用场景。会将 RDD 的数据保存到可靠存储（如 HDFS），并将 RDD 的依赖链打断，从而减少 DAG 深度，增强容错能力。，默认将数据存储在内存中，如果内存不足，则溢写到磁盘。的增强版，允许用户选择存储级别（的简化版，其底层实现直接调用。在 Spark 中，
【大数据学习 | Spark-Core】RDD的缓存(cache and checkpoint)
最新发布
2301_80912559的博客
11-23 1337
首先存储到直接内存中，可以使得jvm的内存使用量减少，效率更高，但是比较危险，jvm中存在GC，可以清空垃圾，但是如果使用直接内存的话，垃圾多了我们可以删除，但是如果应用程序异常退出，这个时候内存是没有人可以管理的。仅内存并且是序列化的方式 _deserialized = true，将存储的jvm中的对象进行二进制byte[]，存储起来，以内存的方式，序列化完毕的数据更能够减少存储空间。先以内存为主，然后再使用磁盘，存储空间不够不会报错，会存储一部分数据，可以不序列化，不序列化指的时候内存的部分。
spark batch checkpoint jar
12-20
- 结合其他容错机制：如Tungsten的Shuffle Write Cache和RDD的持久化策略，以进一步优化性能。 综上所述，Spark Batch Checkpointing是提升Spark批处理作业稳定性和效率的重要手段，理解其原理并合理配置，能帮助...
spark缓存cache和checkpoint理解代码演示
weixin_47699191的博客
03-31 342
cache cache缓存适用于多次重复使用的RDD,并且数据量不是特别大.可以将这个RDD的分区数据缓存到内存中,下次调用这个RDD进行操作,就不用从头去读取数据,直接从内存中读取然后计算. rdd.cache()后需要遇到action才会将RDD分区数据缓存到内存中. 在此次action操作后再调用被缓存的RDD进行其它操作.然后遇到第二个action会从内存中读取被缓存的RDD数据然后进行其它操作运算. cache图解: checkpoint 使用于逻辑链条长的RDD,并且数据量特大,然后可以使用c
spark（三）缓存与checkpoint
heroking
04-05 1229
一、应用场景 缓存：将rdd所需的数据缓存到Executor的内存中，主要用于空间换时间，如某个spark任务期望执行时间在xx以内，目前达不到，此时在内存充足的情况下可以查看是否有重复利用的rdd数据，可以对该数据进行cache checkpoint：主要用于任务容错，比如机器学习进行迭代式计算，需要计算10小时才能出结果，如果在第9个小时任务出错，重新提交需要重新跑所有数据。可以在某些节点对...
Spark_Spark 中 checkpoint 的正确使用方式 以及 与 cache区别
迎难而上
06-14 5712
1.Spark性能调优：checkPoint的使用 https://blog.youkuaiyun.com/leen0304/article/details/78718346 概述 checkpoint的意思就是建立检查点，类似于快照，例如在spark计算里面，计算流程DAG特别长，服务器需要将整个DAG计算完成得出结果，但是如果在这很长的计算流程中突然中间算出的数据丢失了，spark又会根据RDD的依赖关系从头到尾计算一遍，这样子就很费性能，当然我们可以将中间的计算结果通过cache或者persi...
Spark持久化以及checkpoint剖析
不清不慎的博客
09-06 638
在Spark 的持久化使用中，我们会将一些经常使用到的数据进行持久化，比如使用cache()或者persist()方法进行持久化操作，但是当某个节点或者executor挂掉之后，持久化的数据会丢失，因为我们的数据是保存在内存当中的，这时就会重新计算RDD，如果某个之前的RDD需要大量的计算时间，这时将会浪费很多时间，因此，我们有时候需要使用checkpoint操作来将一些数据持久化可容错文件系统中...
Spark Core ---- RDD持久化
m0_48639280的博客
01-26 278
1、Cache和CheckPoint区别Cache是轻量化保存RDD数据，可存储在内存和硬盘，是分散存储，设计上数据是不安全的（保留RDD血缘关系）CheckPoint是重量级保存RDD数据，是集中存储，只能存储在HDFS上，设计上是安全的（不保留血缘关系）2、Cache和CheckPoint的性能对比Cache性能更好，因为是分散存储，多个Executor并行执行，效率高，但是风险大。可以保存到内存中（比较占内存），更快。
spark中的cache和checkpoint
JustinMars的博客
07-30 1727
spark总结
spark的cache和checkpoint的区别
wyn1175397098zt的博客
04-15 1746
要知道区别，就要首先知道实现的原理和使用的场景    cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。    checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上，他的实现原理是：                首先找打stage最后的finalRDD，然后按照RDD的依赖关系回溯，找到使用checkpoint的RDD。                然后...
Spark中的RDD持久化缓存 cache()、persist()（附案例）
奇迹虎虎的博客
02-20 2762
我们可以使用缓存函数：cache()、persist() 来持久化存储某个RDDn的数据集到内存或磁盘中，方便后期复用该RDD时无需从头计算。
Spark中的checkpoint作用与用法
热门推荐
allen的博客
07-27 3万+
checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面 计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中,但是这样也不能保证数据完全不会丢失,存储的这个内存出问题
spark中cache persis checkpoint的区别
04-26
在Spark中，cache、persist和checkpoint这三个操作都可以用来提高RDD的计算性能，但它们的...总的来说，cache和persist操作适合用于需要多次使用的数据集的缓存，而checkpoint操作适合于较大的数据集的备份和容错需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值