补充——spark RDD序列化和持久化

目录

RDD序列化

闭包检查：

序列化方法和属性

Kryo序列化框架：

RDD持久化（RDD persistence）

RDDCache缓存

RDD persist缓存

什么时候使用persist()?

RDD CheckPoint 检查点

缓存和检查点区别

---

RDD序列化

闭包检查：

从计算的角度来看，算子以外的代码都在Driver端执行，算子里面的代码都是在Executor端执行。那么在scala函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，也就意味着无法值给Executor端执行，就会发生错误，所以需要在执行任务计算前，检测闭包中的对象是否可以进行序列化，这个操作我们称之为闭包检测。

序列化方法和属性

  从计算的角度，算子以外的代码都是Driver端执行，算子里面的代码都是在Executor端执行。

Kryo序列化框架：

java的序列化能够序列化任何的类，但是比较重，比较繁杂，字节多，序列化后，对象的提交也比较大。Spark为了提升性能，开始使用Kryo框架机制。Kryo是Serializable的十倍。当RDD在shuffle数据时，简单数据类型，数组和字符串已经在spark内部使用Kryo来序列化。

注意：即使使用 Kryo 序列化，也要继承 Serializable 接口。