Java序列化(创建可复用的Java对象)、序列化协议
序列化就是将一个对象转换成字节序列,方便存储和传输
- 序列化:ObjectOutputStream.writeObject()
- 反序列化:ObjectInputStream.readObject()
不会对静态变量进行序列化,因为序列化只是保存对象的状态,静态变量属于类的状态
保存(持久化)对象及其状态到内存或者磁盘
Java平台允许我们在内存中创建可复用的Java对象,但一般情况下,只有当JVM处于运行时,这些对象才可能存在,即,这些对象的生命周期不会比JVM的生命周期更长。但在现实应用中,就可能要求在JVM停止运行之后能够保存(持久化)指定的对象,并在将来重新读取被保存的对象。Java对象序列化就能够帮助我们实现该功能
序列化对象以字节数组保持-静态成员不保存
使用Java对象序列化,在保存对象时,会把其状态保存为一组字节,在未来,再将这些字节组装成对象。必须注意地是,对象序列化保存的是对象的”状态”,即它的成员变量。由此可知,对象序列化不会关注类中的静态变量
序列化用户远程对象传输
除了在持久化对象时会用到对象序列化之外,当使用RMI(远程方法调用),或在网络中传递对象时,都会用到对象序列化。Java序列化API为处理对象序列化提供了一个标准机制,该API简单易用
Serializable
序列化的类需要实现 Serializable 接口,它只是一个标准,没有任何方法需要实现,但是如果不去实现它的话而进行序列化,会抛出异常
ObjectOutputStream和ObjectInputStream对对象进行序列化及反序列化
通过ObjectOutputStream和ObjectInputStream对对象进行序列化及反序列化
writeObject 和 readObject自定义序列化策略
在类中增加writeObject 和 readObject 方法可以实现自定义序列化策略
public static void main(String[] args) throws IOException, ClassNotFoundException {
A a1 = new A(123, "abc");
String objectFile = "file/a1";
ObjectOutputStream objectOutputStream = new ObjectOutputStream(new FileOutputStream(objectFile));
objectOutputStream.writeObject(a1);
objectOutputStream.close();
ObjectInputStream objectInputStream = new ObjectInputStream(new FileInputStream(objectFile));
A a2 = (A) objectInputStream.readObject();
objectInputStream.close();
System.out.println(a2);
}
private static class A implements Serializable {
private int x;
private String y;
A(int x, String y) { this.x = x; this.y = y; }
@Override
public String toString() { return "x = " + x + " " + "y = " + y; }
}
序列化ID
虚拟机是否允许反序列化,不仅取决于类路径和功能代码是否一致,一个非常重要的一点是两个类的序列化 ID 是否一致(就是 private static final long serialVersionUID)
序列化子父类说明
要想将父类对象也序列化,就需要让父类也实现Serializable 接口
transient
transient 关键字可以使一些属性不会被序列化.
- 在变量声明前加上Transient 关键字,可以阻止该变量被序列化到文件中,在被反序列化后,transient变量的值被设为初始值,如int型的是 0,对象型的是null
- 服务器端给客户端发送序列化对象数据,对象中有一些数据是敏感的,比如密码字符串等,希望对该密码字段在序列化时,进行加密,而客户端如果拥有解密的密钥,只有在客户端进行反序列化时,才可以对密码进行读取,这样可以一定程度保证序列化对象的数据安全
ArrayList 中存储数据的数组 elementData 是用 transient 修饰的,因为这个数组是动态扩展的,并不是所有的空间都被使用,因此就不需要所有的内容都被序列化。通过重写序列化和反序列化方法,使得可以只序列化数组中有内容的那部分数据
private transient Object[] elementData;
序列化协议
影响序列化性能的关键因素
- 序列化后的码流大小(网络带宽的占用)
- 序列化的性能(CPU资源占用)
- 是否支持跨语言(异构系统的对接和开发语言切换)
1.XML
XML(Extensible Markup Language)是一种常用的序列化和反序列化协议,历史悠久,从1998年的1.0版本被广泛使用至今
优点
- 人机可读性好
- 可指定元素或特性的名称
缺点
- 序列化数据只包含数据本身以及类的结构,不包括类型标识和程序集信息。
- 类必须有一个将由XmlSerializer序列化的默认构造函数。
- 只能序列化公共属性和字段
- 不能序列化方法
- 文件庞大,文件格式复杂,传输占带宽
使用场景
- 当做配置文件存储数据
- 实时数据转换
2.JSON
JSON(JavaScript Object Notation, JS 对象标记) 是轻量级的数据交换格式。它基于ECMAScript (w3c制定的js规范)的一个子集, JSON采用与编程语言无关的文本格式,但是也使用了类C语言(包括C, C++, C#, Java, JavaScript, Perl, Python等)的习惯,简洁和清晰的层次结构使得JSON成为理想的数据交换语言
1.优点
- 前后兼容性高
- 数据格式比较简单,易于读写
- 序列化后数据较小,可扩展性好,兼容性好
- 与XML相比,其协议比较简单,解析速度比较快
2.缺点
- 数据的描述性比XML差
- 不适合性能要求为ms级别的情况
- 额外空间开销比较大
3.适用场景(可替代XML)
- 跨防火墙访问
- 可调式性要求高的情况
- 基于Web browser的Ajax请求
- 传输数据量相对小,实时性要求相对低(例如秒级别)的服务
3.Fastjson
Fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法,把JSON Parse的性能提升到极致
1.优点
- 接口简单易用
- 目前java语言中最快的json库
2.缺点
- 过于注重快,而偏离了“标准”及功能性
- 代码质量不高,文档不全
3.适用场景
- 协议交互
- Web输出
- Android客户端
4.Thrift
Thrift并不仅仅是序列化协议,而是一个RPC框架。它可以让你选择客户端与服务端之间传输通信协议的类别,即文本(text)和二进制(binary)传输协议, 为节约带宽,提供传输效率,一般情况下使用二进制类型的传输协议
1.优点
- 序列化后的体积小, 速度快
- 支持多种语言和丰富的数据类型
- 对于数据字段的增删具有较强的兼容性
- 支持二进制压缩编码
2.缺点
- 使用者较少
- 跨防火墙访问时,不安全
- 不具有可读性,调试代码时相对困难
- 不能与其他应用层协议共同使用(例如HTTP)
- 无法支持向持久层直接读写数据,即不适合做数据持久化序列化协议
3.适用场景
- 分布式系统的RPC解决方案
5.Avro
Avro属于Apache Hadoop的一个子项目。Avro提供两种序列化格式:JSON格式或者Binary格式。Binary格式在空间开销和解析性能方面可以和Protobuf媲美,Avro的产生解决了JSON的冗长和没有IDL的问题
1.优点
- 支持丰富的数据类型
- 简单的动态语言结合功能
- 具有自我描述属性
- 提高了数据解析速度
- 快速可压缩的二进制数据形式
- 可以实现远程过程调用RPC
- 支持跨编程语言实现
2.缺点
- 对于习惯于静态类型语言的用户不直观
3.适用场景
- 在Hadoop中做Hive、Pig和MapReduce的持久化数据格式
6.Protobuf
protocol buffers 由谷歌开源而来,在谷歌内部久经考验。它将数据结构以.proto文件进行描述,通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性
1.优点
- 序列化后码流小,性能高
- 结构化数据存储格式(XML JSON等)
- 通过标识字段的顺序,可以实现协议的前向兼容
- 结构化的文档更容易管理和维护
2.缺点
- 需要依赖于工具生成代码
- 支持的语言相对较少,官方只支持Java 、C++ 、Python
3.适用场景
- 对性能要求高的RPC调用
- 具有良好的跨防火墙的访问属性
- 适合应用层对象的持久化
7.其它
- protostuff基protobuf协议,但不需要配置proto文件,直接导包即
- Jboss marshaling 可以直接序列化java类, 无须实java.io.Serializable接口
- Message pack 一个高效的二进制序列化格式
- Hessian 采用二进制协议的轻量级remoting onhttp工具
- kryo 基于protobuf协议,只支持java语言,需要注册(Registration),然后序列化(Output),反序列化(Input)
8.性能对比图解
时间
空间
分析
- XML序列化(Xstream)无论在性能和简洁性上比较差
- Thrift与Protobuf相比在时空开销方面都有一定的劣势
- Protobuf和Avro在两方面表现都非常优越
9.不同的场景适用的序列化协议:
- 对于公司间的系统调用,如果性能要求在100ms以上的服务,基于XML的SOAP协议是一个值得考虑的方案
- 基于Web browser的Ajax,以及Mobile app与服务端之间的通讯,JSON协议是首选。对于性能要求不太高,或者以动态类型语言为主,或者传输数据载荷很小的的运用场景,JSON也是非常不错的选择
- 对于调试环境比较恶劣的场景,采用JSON或XML能够极大的提高调试效率,降低系统开发成本
- 当对性能和简洁性有极高要求的场景,Protobuf,Thrift,Avro之间具有一定的竞争关系
- 对于T级别的数据的持久化应用场景,Protobuf和Avro是首要选择。如果持久化后的数据存储在Hadoop子项目里,Avro会是更好的选择
- 由于Avro的设计理念偏向于动态类型语言,对于动态语言为主的应用场景,Avro是更好的选择
- 对于持久层非Hadoop项目,以静态类型语言为主的应用场景,Protobuf会更符合静态类型语言工程师的开发习惯
- 如果需要提供一个完整的RPC解决方案,Thrift是一个好的选择
- 如果序列化之后需要支持不同的传输层协议,或者需要跨防火墙访问的高性能场景,Protobuf可以优先考虑