Spark Dataframe, Dataset, rdd persist cache触发的巨坑

由于Spark操作都是底层rdd，所以这里仅以rdd做介绍，dataset和daraframe原理一样。

 

由于rdd的懒加载机制，官方文档说明在rdd.persist时需要用rdd的action来触发其执行。

 

有时我们为了追求性能，会选用一些性能高的操作，如rdd.take(1),rdd.isEmpty()来触发。

 

但是！！！

 

如果rdd具有多个partition，这些高性能操作并不会将所有partition全部persist下来，而是仅persist一个partition。

若想全部persist下来，则要用rdd.count，rdd.foreachParition等遍历所有parition的操作！