cach、persist、checkpoint的区别

最新推荐文章于 2022-03-03 15:25:04 发布

一个不会写代码的小黑

最新推荐文章于 2022-03-03 15:25:04 发布

阅读量940

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_37332702/article/details/90260147

Spark 专栏收录该内容

23 篇文章

订阅专栏

本文探讨了Spark中cache与persist的区别，persist方法允许自定义存储级别，适用于重复使用且大小适中的RDD。同时，对比了persist与checkpoint的不同，后者能跨driver程序持久化RDD，而persist的RDD在driver程序结束后会丢失。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cache与persist的区别

cache 底层调用的是 persist 方法，存储等级为: memory only，persist 的默认存储级别也是 memory only，persist 与 cache 的主要区别是 persist 可以自定义存储级别。哪些 RDD 需要 cache ？会被重复使用的(但是)不能太大的RDD需要cache，cache 只使用 memory。

persist与checkpoint的区别

rdd.persist(StorageLevel.DISK_ONLY) 与 checkpoint 也有区别。前者虽然可以将 RDD 的 partition 持久化到磁盘，但该 partition 由 blockManager 管理。一旦 driver program 执行结束，也就是 executor 所在进程 CoarseGrainedExecutorBackend stop，blockManager 也会 stop，被 cache 到磁盘上的 RDD 也会被清空（整个 blockManager 使用的 local 文件夹被删除）。而 checkpoint 将 RDD 持久化到 HDFS 或本地文件夹，如果不被手动 remove 掉，是一直存在的，也就是说可以被下一个 driver program 使用，而 cached RDD 不能被其他 dirver program 使用。