Spark调优之Kryo序列化

在Spark中，默认序列化用的java的序列化机制。

使用java的序列化机制好处是：处理起来比较方便；也不需要手动去做什么事情，只是在算子里面使用的变量，必须是实现Serializable接口的，可序列化即可。

使用java的序列化机制缺点也是显而易见的：默认的序列化机制的效率不高，序列化的速度比较慢；序列化以后的数据，占用的内存空间相对还是比较大。

Spark为了解决上面的java序列化的缺点提供了一种新的序列化机制也就是Kryo序列化。

Kryo序列化机制，比默认的Java序列化机制，速度要快，序列化后的数据要更小，大概是Java序列化机制的1/10。

所以Kryo序列化优化以后，可以让网络传输的数据变少；在集群中耗费的内存资源大大减少。

Kryo序列化如何启用？

Kryo序列化启用方式也很简单，只需要两个步骤

（1）在SparkConf配置spark.serializer参数

sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

（2）注册你使用到的，需要通过Kryo序列化的自定义类

sparkConf.registerKryoClasses(new Class[]{CustomClass.class})

 

Kryo序列化机制，一旦启用以后，会生效的三个地方：

（1）算子函数中使用到的外部变量

算子函数中使用到的外部变量，使用Kryo以后：优化网络传输的性能，可以优化集群中内存的占用和消耗

（2）持久化RDD时进行序列化，StorageLevel.MEMORY_ONLY_SER

持久化RDD，优化内存的占用和消耗；持久化RDD占用的内存越少，task执行的时候，创建的对象，就不至于频繁的占满内存，频繁发生GC。

（3）shuffle

在进行stage间的task的shuffle操作时，节点与节点之间的task会互相大量通过网络拉取和传输文件，此时，这些数据既然通过网络传输，也是可能要序列化的，就会使用Kryo