spark 中的Cache和Checkpoint，超级受用~

1以下github上别人写的，通过问答的方式解决了很多疑问，讲的特别透彻。

spark 中的Cache和Checkpoint

设置检查点的意义：将计算代价较大的 RDD checkpoint 一下，这样，当下游 RDD 计算出错时，可以直接从 checkpoint 过的 RDD 那里读取数据继续算。
Cache和checkpoint的区别主要有以下两点：
（1）检查点是一个job来完成的，是执行的完一个job之后，新建一个来完成的，并不想cache，是job执行过程中进行。
（2）检查点对RDD的checkpoint是将数据的血统截断，只保存了想要保存的RDD在HDFS中，而cache的是计算血统的数据在内存中。
（3）缓存的清除方式也不一样，checkpoint到HDFS中的RDD需要手动清除，如果不手动清除，会一直存在，可以被下一个驱动程序所使用；而cache到内存和persist到磁盘的partition， 由 blockManager 管理。一旦 driver program 执行结束，也就是 executor 所在进程 CoarseGrainedExecutorBackend stop，blockManager 也会 stop，被 cache 到磁盘上的 RDD 也会被清空（整个 blockManager 使用的 local 文件夹被删除）。