spark的cache和checkpoint的区别

本文介绍了Spark中Cache与Checkpoint的区别及应用场景。Cache用于缓存共用或重复使用的RDD,而Checkpoint则用于缓存业务逻辑长的中间结果到HDFS,以减少冗余计算。通过合理的使用这两种机制可以显著提升Spark应用程序的性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

要知道区别,就要首先知道实现的原理和使用的场景

    cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。

    checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上,他的实现原理是:

                首先找打stage最后的finalRDD,然后按照RDD的依赖关系回溯,找到使用checkpoint的RDD。

                然后标记这个checkpoint的RDD

                重新启动一个线程将checkpoint之前的RDD缓存到HDFS上面。

                最后RDD的依赖关系从checkpoint的位置切断

  为了更好提高spark的性能。可以在使用checkpoint之前,先cache一下。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值