Spark 中容错( checkpoint )和持久化( cache )的异同：

最新推荐文章于 2025-10-12 02:38:26 发布

原创最新推荐文章于 2025-10-12 02:38:26 发布 · 496 阅读

1 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

19 篇文章

订阅专栏

本文详细对比了Spark中CheckPoint与Cache机制的不同之处，包括它们在数据存储位置、血统处理、缓存清除方式及管理上的差异。CheckPoint将数据持久化到HDFS，适用于长时间运行的任务，而Cache则将数据缓存在内存或磁盘，由BlockManager管理，适合于短时高频的计算任务。

checkpornt 是一个job来完成的，是执行完一个job之后，新建一个新的 job 来完成的，并不像 cache ，是 job 执行过程中进行。
checkpornt 是将数据的血统(DAG)截断，只保存了想要保存的 RDD 在HDFS 中，而 cache 的是计算血统的数据在内存中。
缓存的清除方式也不一样，checkpornt 到HDFS中的RDD需要手动清除，如果不手动清除，会一直存在，可以被下一个驱动程序所使用；而 cache 到内存和persist到磁盘的partition，由 blockManager 管理。一旦 driver program 执行结束，也就是 executor 所在进程 CoarseGrainedExecutorBackend stop，blockManager 也会 stop，被 cache 到磁盘上的 RDD 也会被清空（整个 blockManager 使用的 local 文件夹被删除）。
自己的理解：
1. checkpornt 的数据是写在 HDFS 上的，而 cache 的数据是写在 executor 所在的节点上的内存或者磁盘上。