第142课：Spark面试经典系列之Cache和Checkpoint

最新推荐文章于 2022-09-03 21:53:58 发布

tom_8899_li

最新推荐文章于 2022-09-03 21:53:58 发布

阅读量541

点赞数

分类专栏： Scala Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/tom_8899_li/article/details/71214152

版权

Spark 同时被 2 个专栏收录

69 篇文章

订阅专栏

Scala

7 篇文章

订阅专栏

本文详细介绍了Spark中Cache和Checkpoint两种重要的数据复用机制。Cache用于将数据存储在内存中以便快速复用，而Checkpoint则作为Cache的补充，将数据持久化到容错文件系统中，确保数据不会因故障丢失。合理使用这两种机制可以显著提高Spark应用的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark面试经典系列之Cache和Checkpoint

1、Cache
2、Checkpoint

Cache：当我们想复用数据的时候一般都会进行Cache，在实际生产环境下复用RDD是最重要的性能优化手段之一（当然，如果能够实现优良的RDD的复用，一定是建立在同时驾驭业务和技术的基础之上的）。所谓的Cache其实是把数据经过第一次计算放在了BlockManager中。

Checkpoint：相当于Cache的备胎，Checkpoint的数据会放在容错的文件系统中，进行Checkpoint的RDD一般都会首先进行Cache来避免数据的重复计算

图142-1 Cache和Checkpoint

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tom_8899_li

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

第142课： Spark面试经典系列之Cache和Checkpoint

段智华的博客

07-11

1629

第142课： Spark面试经典系列之Cache和Checkpoint 1 cache 2 checkpoint

Spark面试问题总结

最新发布

weixin_41367158的博客

03-07

519

在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；

参与评论您还未登录，请先登录后发表或查看评论

cache和checkpoint的区别及使用

FlatTiger的博客

03-23

813

cache缓存的说明 RDD通过调用cache方法将前面的计算结果缓存到内存或磁盘，默认缓存到JVM内存中。如果后面的计算还有需要此RDD的计算结果，可以直接从缓存中获取，而不用重新计算。 cache缓存不会切断原有血缘关系，只会增加血缘关系。 cache不会立即执行，当第一次遇到action算子时才会真正执行。 cache缓存不管存储到内存还是存储到磁盘，都会随着程序执行结束而销毁。 cache缓存的使用 val conf: SparkConf = new SparkConf().setAppNa

spark的cache和checkpoint的区别

wyn1175397098zt的博客

04-15

1730

要知道区别，就要首先知道实现的原理和使用的场景 cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。 checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上，他的实现原理是：首先找打stage最后的finalRDD，然后按照RDD的依赖关系回溯，找到使用checkpoint的RDD。然后...

大数据面试杀招——Spark高频考点，必知必会!

大数据梦想家

10-24

4656

关于大数据面试中Spark的高频考点，快来学习!

【总结】论spark中的cache/persist/checkpoint

一寒惊鸿

06-23

2万+

1. cache与persist cache 能够让重复数据在同一个 application 中的 jobs 间共享。RDD的cache()方法其实调用的就是persist方法，缓存策略均为MEMORY_ONLY。下面简单引入一下cache的机制：哪些 RDD 需要 cache？会被重复使用的（但不能太大）。用户怎么设定哪些 RDD 要 cache？因为用户只与 driver

spark面试题

Summer2381的博客

09-19

1582

一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...

大数据分析工程师面试37题 ◀ Spark

给我一点温度

09-05

534

为什么考察Spark？ Spark作为大数据组件中的执行引擎，具备以下优势特性。（《Spark一文读懂》：https://blog.youkuaiyun.com/sinat_26811377/article/details/100046929）高效性。内存计算下，Spark 比 MapReduce 快100倍。Spark使用最先进的DAG调度程序、查询优化程序和物理执行引擎，实现批量和流式数据的高性...

大数据技术之高频面试题

XIAOMO__的博客

11-12

1万+

第一章项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令序号命令命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .

spark 中的Cache和Checkpoint，超级受用~

贾慧玉的博客

04-27

1332

以下github上别人写的，通过问答的方式解决了很多疑问，讲的特别透彻。spark 中的Cache和Checkpoint设置检查点的意义：将计算代价较大的 RDD checkpoint 一下，这样，当下游 RDD 计算出错时，可以直接从 checkpoint 过的 RDD 那里读取数据继续算。 Cache和checkpoint的区别主要有以下两点：（2）检查点是一个job来完成的，是执行的完一

Spark面试题(二)

inner Peace的博客

09-13

6321

一、spark streaming和storm有何区别？一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行程序的main方法，创建sparkcontext对象。 Spark context：控制整个applica...

Spark cache和checkpoint

freefish_yzx的博客

08-26

1175

本文阐述了Spark中几种数据持久化方法Cache/Persist/Checkpoint的用法以及区别和联系，对于计算链条过长或者数据量较大的Spark任务有指导意义。原文来自：https://github.com/JerryLead/SparkInternals/blob/master/markdown/6-CacheAndCheckpoint.md 作为区

spark checkpoint机制简述

简单就好

11-02

4423

本文主要简述spark checkpoint机制，快速把握checkpoint机制的来龙去脉，关于源码方面可以看参考文章。 1、Spark core的checkpoint 1）为什么checkpoint？分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage信息常用来在task失败后重计算使用，为了防止计算失败后从头开始计算造成的大量开销，RDD会chec...

Spark面试问题整理（持续更新中......）

林夕

08-07

1万+

Spark应用转换流程 1、spark应用提交后，经历了一系列的转换，最后成为task在每个节点上执行 2、RDD的Action算子触发Job的提交，生成RDD DAG 3、由DAGScheduler将RDD DAG转化为Stage DAG，每个Stage中产生相应的Task集合 4、TaskScheduler将任务分发到Executor执行 ...

spark相关面试题

热门推荐

號先生的博客

03-18

2万+

spark面试问题收集 spark面试问题 1、spark中的RDD是什么，有哪些特性 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset：就是一个集合，用于存放数据的 Distributed：分布式，可以并行在集群计算 Resilient：表...

spark高频面试题

libaowenBlog的博客

09-03

1722

一、Spark 的运行流程？二、Spark 有哪些组件？三. Spark 中的 RDD 机制理解吗？四、RDD的操作分类五、如何区分 RDD 的宽窄依赖？为什么要设计宽窄依赖？六、RDD 持久化原理？七、Checkpoint 检查点机制？八、Checkpoint 和持久化机制的区别？九、RDD中reduceBykey与groupByKey哪个性能好，为什么十. Spark SQL 是如何将数据写到 Hive 表的？十一、Spark RDD转换成DataFrame的两种方式

Cache缓存和checkpoint检查点的区别

weixin_43520450的博客

09-25

2279

（1）Cache缓存只是将数据保存起来，不切断血缘依赖。Checkpoint检查点切断血缘依赖。（2）Cache缓存的数据通常存储在磁盘、内存等地方，可靠性低。Checkpoint的数据通常存储在HDFS等容错、高可用的文件系统，可靠性高。（3）建议对checkpoint()的RDD使用Cache缓存，这样checkpoint的job只需从Cache缓存中读取数据即可，否则需要再从头计算一次RDD。（4）如果使用完了缓存，可以通过unpersist（）方法释放缓存。 ...

Spark部分：checkpoint和persist，cache的区别：

wyqwilliam的博客

08-12

1183

checkpoint：是写入到文档中，默认情况下不会程序执行完毕之后不会清空，cache和persist在程序执行完毕之后会清空。

Spark中的cache() persist() checkpoint()之间的区别

ImBetter的博客

04-20

2877

cache与persist的区别/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() /** * Set this RDD's storage level to persist its values across operations...

spark中cache persis checkpoint的区别

04-26

在Spark中，cache、persist和checkpoint这三个操作都可以用来提高RDD的计算性能，但它们的作用并不完全相同。 cache操作是把RDD数据缓存在内存中，以便重复使用，可以提高计算速度。 persist操作跟cache操作类似，也是把数据缓存在内存中，但persist还可以指定存储级别，包括MEMORY_ONLY、MEMORY_AND_DISK、DISK_ONLY等，以满足不同场景的需求。而checkpoint操作则是把RDD的数据写到磁盘上，以便在程序出错的情况下可以恢复数据。当RDD进行checkpoint操作时，需要慎重考虑数据写入磁盘的成本，以及与后续操作可能产生的冲突。总的来说，cache和persist操作适合用于需要多次使用的数据集的缓存，而checkpoint操作适合于较大的数据集的备份和容错需求。