Spark序列化问题 java.io.NotSerializableException:org.apache.hadoop.hbase.io.ImmutableBytesWritable

最新推荐文章于 2023-03-01 11:27:06 发布

Iamarookie999

最新推荐文章于 2023-03-01 11:27:06 发布

阅读量1.1k

点赞数 2

CC 4.0 BY-SA版权

文章标签： Spark

原文链接：https://blog.youkuaiyun.com/qq_39141486/article/details/98479659

本文探讨了在Spark中遇到java.io.NotSerializableException错误的原因，即ImmutableBytesWritable类未实现序列化。介绍了序列化的必要性及Spark提供的两种序列化方式：JavaSerialization和KryoSerialization，并推荐使用后者。通过代码示例展示了如何设置SparkConf来指定序列化格式为Kryo，并注册需要序列化的类。

java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable
在这里插入图片描述
错误原因是因为 ImmutableBytesWritable不能进行序列化（在Java中，如果类需要序列化需要实现Serializable）

而文件在经过网络传输时需要序列化（网络传输是二进制传输）

在这里插入图片描述
（上图为Spark的官方文档 http://spark.apache.org/docs/2.2.0/index.html ）
在官方文档中，提供了两种序列化的方式
Java serialization和Kryo serialization
并且推荐使用第二种序列化方式

代码实现

val sparkConf = new SparkConf()
      .setAppName("ReadHBaseTableDataSpark")
      .setMaster("local[2]")
      //指定序列化格式，默认是java序列化
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      //告知哪些类型需要序列化
      .registerKryoClasses(Array(classOf[ImmutableBytesWritable], classOf[Result]))