YZY_001的博客

cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。 cache和persist的区别 基于Spark 2.3.2 的源码，可以看到 /** * Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): t...

在SparkConf中设置一个属性，spark.serializer，org.apache.spark.serializer.KryoSerializer类；注册你使用到的，需要通过Kryo序列化的， 一些自定义类，SparkConf.registerKryoClasses() SparkConf.set(“spark.serializer”, “org.apache.spark.serializ...