【RPC 专栏】深入理解RPC之序列化篇--总结篇

OpenCV安装配置教程VS2022(超级顺利) 博主最开始没打算写这篇博客,只是想简单的在网上找一下最新版的OpenCV的安装配置教程,适用于VS2022的,但是我搜了一早上,也没搜到一个能让我成功安装配置的,看了很多很多文章,根本就没有几篇有用的。所以没办法了,只能自己研究了,于是就整理了这篇博客,希望能帮到和我一样的人,这就是博主一直信奉的利他精神! 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

上一篇《深入理解RPC之序列化篇–Kryo》,介绍了序列化的基础概念,并且详细介绍了Kryo的一系列特性,在这一篇中,简略的介绍其他常用的序列化器,并对它们进行一些比较。序列化篇仅仅由Kryo篇和总结篇构成可能有点突兀,等待后续有时间会补充详细的探讨。

定义抽象接口

public interface Serialization {
  byte[] serialize(Object obj) throws IOException;
  <T> T deserialize(byte[] bytes, Class<T> clz) throws IOException;
}

RPC框架中的序列化实现自然是种类多样,但它们必须遵循统一的规范,于是我们使用 Serialization 作为序列化的统一接口,无论何种方案都需要实现该接口。

Kryo实现

Kryo篇已经给出了实现代码。

public class KryoSerialization implements Serialization {
   @Override
   public byte[] serialize(Object obj) {
       Kryo kryo = kryoLocal.get();
       ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
       Output output = new Output(byteArrayOutputStream);
       kryo.writeObject(output, obj);
       output.close();
       return byteArrayOutputStream.toByteArray();
   }
   @Override
   public <T> T deserialize(byte[] bytes, Class<T> clz) {
       Kryo kryo = kryoLocal.get();
       ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
       Input input = new Input(byteArrayInputStream);
       input.close();
       return (T) kryo.readObject(input, clz);
   }
   private static final ThreadLocal<Kryo> kryoLocal = new ThreadLocal<Kryo>() {
       @Override
       protected Kryo initialValue() {
           Kryo kryo = new Kryo();
           kryo.setReferences(true);
           kryo.setRegistrationRequired(false);
           return kryo;
       }
   };
}

所需依赖:

<dependency>
   <groupId>com.esotericsoftware</groupId>
   <artifactId>kryo</artifactId>
   <version>4.0.1</version>
</dependency>

Hessian实现

public class Hessian2Serialization implements Serialization {
   @Override
   public byte[] serialize(Object data) throws IOException {
       ByteArrayOutputStream bos = new ByteArrayOutputStream();
       Hessian2Output out = new Hessian2Output(bos);
       out.writeObject(data);
       out.flush();
       return bos.toByteArray();
   }
   @Override
   public <T> T deserialize(byte[] bytes, Class<T> clz) throws IOException {
       Hessian2Input input = new Hessian2Input(new ByteArrayInputStream(bytes));
       return (T) input.readObject(clz);
   }
}

所需依赖:

<dependency>
   <groupId>com.caucho</groupId>
   <artifactId>hessian</artifactId>
   <version>4.0.51</version>
</dependency>

大名鼎鼎的 Hessian 序列化方案经常被RPC框架用来作为默认的序列化方案,可见其必然具备一定的优势。其具体的优劣我们放到文末的总结对比中与其他序列化方案一起讨论。而在此,着重提一点Hessian使用时的坑点。

BigDecimal的反序列化

使用 Hessian 序列化包含 BigDecimal 字段的对象时会导致其值一直为0,不注意这个bug会导致很大的问题,在最新的4.0.51版本仍然可以复现。解决方案也很简单,指定 BigDecimal 的序列化器即可,通过添加两个文件解决这个bug:

resources\META-INF\hessian\serializers

java.math.BigDecimal=com.caucho.hessian.io.StringValueSerializer

resources\META-INF\hessian\deserializers

java.math.BigDecimal=com.caucho.hessian.io.BigDecimalDeserializer

Protostuff实现

public class ProtostuffSerialization implements Serialization {
   @Override
   public byte[] serialize(Object obj) throws IOException {
       Class clz = obj.getClass();
       LinkedBuffer buffer = LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
       try {
           Schema schema = RuntimeSchema.createFrom(clz);
           return ProtostuffIOUtil.toByteArray(obj, schema, buffer);
       } catch (Exception e) {
           throw e;
       } finally {
           buffer.clear();
       }
   }
   @Override
   public <T> T deserialize(byte[] bytes, Class<T> clz) throws IOException {
       T message = objenesis.newInstance(clz); // <1>
       Schema<T> schema = RuntimeSchema.createFrom(clz);
       ProtostuffIOUtil.mergeFrom(bytes, message, schema);
       return message;
   }
   private Objenesis objenesis = new ObjenesisStd(); // <2>
}

所需依赖:

<!-- Protostuff -->
<dependency>
   <groupId>com.dyuproject.protostuff</groupId>
   <artifactId>protostuff-core</artifactId>
   <version>1.0.9</version>
</dependency>
<dependency>
   <groupId>com.dyuproject.protostuff</groupId>
   <artifactId>protostuff-runtime</artifactId>
   <version>1.0.9</version>
</dependency>
<!-- Objenesis -->
<dependency>
   <groupId>org.objenesis</groupId>
   <artifactId>objenesis</artifactId>
   <version>2.5</version>
</dependency>

Protostuff 可以理解为 google protobuf 序列化的升级版本,protostuff-runtime 无需静态编译,这比较适合RPC通信时的特性,很少见到有人直接拿 protobuf 作为RPC的序列化器,而 protostuff-runtime 仍然占据一席之地。

<1> 使用 Protostuff 的一个坑点在于其反序列化时需用户自己实例化序列化后的对象,所以才有了 T message = objenesis.newInstance(clz); 这行代码。使用 objenesis 工具实例化一个需要的对象,而后使用 ProtostuffIOUtil 完成赋值操作。

<2> 上述的 objenesis.newInstance(clz) 可以由 clz.newInstance() 代替,后者也可以实例化一个对象,但如果对象缺少无参构造函数,则会报错。借助于objenesis 可以绕开无参构造器实例化一个对象,且性能优于直接反射创建。所以一般在选择 Protostuff 作为序列化器时,一般配合 objenesis 使用。

Fastjson实现

public class FastJsonSerialization implements Serialization {
   static final String charsetName = "UTF-8";
   @Override
   public byte[] serialize(Object data) throws IOException {
       SerializeWriter out = new SerializeWriter();
       JSONSerializer serializer = new JSONSerializer(out);
       serializer.config(SerializerFeature.WriteEnumUsingToString, true);//<1>
       serializer.config(SerializerFeature.WriteClassName, true);//<1>
       serializer.write(data);
       return out.toBytes(charsetName);
   }
   @Override
   public <T> T deserialize(byte[] data, Class<T> clz) throws IOException {
       return JSON.parseObject(new String(data), clz);
   }
}

所需依赖:

<dependency>
   <groupId>com.alibaba</groupId>
   <artifactId>fastjson</artifactId>
   <version>1.2.28</version>
</dependency>

<1> JSON序列化注意对枚举类型的特殊处理;额外补充类名可以在反序列化时获得更丰富的信息。

序列化对比

在我的PC上对上述序列化方案进行测试:

测试用例:对一个简单POJO对象序列化/反序列化100W次


serialize/msdeserialize/ms
Fastjson28322242
Kryo29751987
Hessian45983631
Protostuff29442541

测试用例:序列化包含1000个简单对象的List,循环1000次


serialize/msdeserialize/ms
Fastjson25512821
Kryo19511342
Hessian18282213
Protostuff14092813

对于耗时类型的测试需要做到预热+平均值等条件,测试后效果其实并不如人意,从我不太严谨的测试来看,并不能明显地区分出他们的性能。另外,Kryo关闭Reference可以加速,Protostuff支持静态编译加速,Schema缓存等特性,每个序列化方案都有自身的特殊性,启用这些特性会伴随一些限制。但在RPC实际地序列化使用中不会利用到这些特性,所以在测试时并没有特别关照它们。

序列化包含1000个简单对象的List,查看字节数


字节数/byte
Fastjson120157
Kryo39134
Hessian86166
Protostuff86084

字节数这个指标还是很直观的,Kryo拥有绝对的优势,只有Hessian,Protostuff的一半,而Fastjson作为一个文本类型的序列化方案,自然无法和字节类型的序列化方案比较。而字节最终将用于网络传输,是RPC框架非常在意的一个性能点。

综合评价

经过个人测试,以及一些官方的测试结果,我觉得在 RPC 场景下,序列化的速度并不是一个很大考量标准,因为各个序列化方案都在有意优化速度,只要不是 jdk 序列化,速度就不会太慢。

Kryo:专为 JAVA 定制的序列化协议,序列化后字节数少,利于网络传输。但不支持跨语言(或支持的代价比较大)。dubbox 扩展中支持了 kryo 序列化协议。github 3018 star。

Hessian:支持跨语言,序列化后字节数适中,API 易用。是国内主流 rpc 框架:dubbo,motan 的默认序列化协议。hessian.caucho.com 未托管在github

Protostuff:提起 Protostuff 不得不说到 Protobuf。Protobuf可能更出名一些,因为其是google的亲儿子,grpc框架便是使用protobuf作为序列化协议,虽然protobuf与语言无关平台无关,但需要使用特定的语法编写 .prpto 文件,然后静态编译,这带了一些复杂性。而 protostuff 实际是对 protobuf 的扩展,protostuff-runtime 模块继承了protobuf 性能,且不需要预编译文件,但与此同时,也失去了跨语言的特性。所以 protostuff 的定位是一个 JAVA 序列化框架,其性能略优于 Hessian。tip :protostuff 反序列化时需用户自己初始化序列化后的对象,其只负责将该对象进行赋值。github 719 star。

Fastjson:作为一个 json 工具,被拉到 RPC 的序列化方案中似乎有点不妥,但 motan 该 RPC 框架除了支持 hessian 之外,还支持了 fastjson 的序列化。可以将其作为一个跨语言序列化的简易实现方案。github 11.8k star。



RK3588与FPGA高速PCIe通信:从理论带宽到实战优化的全流程解析 本文深入解析了瑞芯微RK3588与FPGA之间基于PCIe Gen2的高速通信全流程。从理论带宽计算(约1640MB/s)出发,详细拆解了硬件连接、驱动加载、DMA配置等关键步骤,并重点分享了中断优化、内存管理及高级调优等实战技巧,旨在帮助开发者从“跑通”到“跑好”,实现接近理论极限的稳定高效数据传输。 阅读详情

相关推荐

家庭宽带IPv6避坑指南:如何通过DHCPv6-PD获取公网地址(附OpenWRT配置)

本文详细解析了家庭宽带IPv6的地址分配机制,重点介绍了通过DHCPv6-PD获取公网地址的方法,并提供了OpenWRT路由器的具体配置步骤。从路由器通告(RA)标记位到前缀委派(PD)流程,帮助用户解决IPv6部署中的常见问题,实现稳定高效的IPv6网络连接。

backprop5master的博客 1273

自己动手实现rpc框架(一) 实现点对点的rpc通信

RPC是远过程调用(Remote Procedure Call)的缩写形式,其区别于一个程序内部基本的过程调用(或者叫函数/方法调用)。随着应用程序变得越来越复杂,在单个机器上中仅通过一个进程来运行整个应用程序的方式已经难以满足现实中日益增长的需求。开发者对应用程序进行模块化的拆分,以分布式部署的方式来降低程序整体的复杂度和提升性能方面的可拓展性(分而治之的思想)。拆分后部署在不同机器上的各个模块无法像之前那样通过内存寻址的方式来互相访问,而是需要通过网络来进行通信。

Gefangenes的博客 830

STM32无线遥控小车的设计

基于SPI通信的无线摇杆小车的设计

weixin_69414084的博客 2934

RPC原理加手写源码

徒手撸一个简单的RPC框架 Java RMI 和 RPC 的区别(转载这篇) RPC 远程过程调用 RPC(Remote Procedure Call Protocol)远程过程调用协议,通过网络从远程计算机上请求调用某种服务。一次RPC调用的过程大概有10步: 1.执行客户端调用语句,传送参数 2.调用本地系统发送网络消息 3.消息传送到远程主机 4.服务器得到消息并取得参数 5.根据调用请求以及参数执行远程过程(服务) 6.执行过程完毕,将结果返回服务器句柄 7.服务器句柄返回结果.

a_higher的博客 253

ControlCAN.dll开发适配USBCAN_E/2E_U设备

摘要:本文提供了USBCAN_E/2E_U设备的配置指南:1)安装专用驱动;2)获取最新的ControlCAN.dll文件;3)修改VCI调用顺序,新增VCI_SetReference函数设置波特率;4)使用工具计算波特率配置值,并给出了常见波特率对应的代码参考值(如500K对应0x060007)。配置过程强调使用特定工具计算精确的波特率参数,并提供了相关软件下载链接。

weixin_43969033的博客 394

std::map看来可以被淘汰了?可以用vector来替代,而且更好

vector的优势在于内存连续,可以先std::sort,然后std::lower_bound,或者std::binary_search。而std::map,insert的时候,需要new出内存。

tumu_C的博客 1021

一起写RPC框架(五)RPC网络模块的搭建三 序列化

说到序列化,这在RPC的层面上也是很重要的一个环节,因为在我们的业务层面,你传输的一个对象,是一个Object,不过在网络上,却不管你传输的是Obj1,还是Obj2,网络只认byte,所以在代码层面上,如何将对象转化成byte数组,和如何将byte数组反序列化层对象,这也是很重要的,直接影响你的整个框架的性能 java原生态的java.io.Serializable就对序列化提供了支持,

BazingaLyncc 3943

交换机基本介绍(分类、性能指标、硬件构成及工作方式)

一、交换机的分类与性能指标 1.1交换机的分类 按照网络构成方式来分的话,交换机分为三类:接入层交换机、汇聚层交换机和核心层交换机。 按照OSI模型来划分的话,分为:二层交换机、三层交换机和四层交换机 还有一种按照硬件形态来划分,可以分成两类:盒式交换机和机框式交换机。 盒式交换机是一种有固定端口数,有时也会带有少量扩展槽的交换机。机架式交换机是一种插槽式的交换机,这种交换机扩展性较好,可支持不同的网络类型,可支持更大端口密度的网络。一般在数据中心的接入层都会采用盒式交换机,盒式...

monologuezjp的博客 4万+

从零开始实现简单 RPC 框架 1:RPC 框架的结构和设计

前言涵双小说网 https://www.yefu.info RPC 框架是后端攻城狮永远都绕不开的知识点,目前业界比较知名有 Dubbo、Spring Cloud 等。很多人都停留在了只会用的阶段,作为程序猿,拥有好奇心深入学习,才能有效提高自己的竞争力。再进一层的同学,会去翻源码,看功能是如何实现的,这是很好的开始。看源码过一段时间容易忘记,我觉得看完源码之后,更好的做法是自己动手开发一个出来,这样你对框架的理解会更深。我认为,"会用"、"会读源码"、"会写出来"是完全不一样的水平。 本系列 "造轮子系.

null_10086的博客 337

【XR技术介绍】深度解析|AI眼镜核心技术架构:从硬件层到端云AI全链路拆解

本文将逐层拆解AI眼镜完整技术架构,梳理硬件、感知、光学、端侧AI、软件云端五大核心层级,剖析核心数据流与行业技术瓶颈,同时附上标准化技术架构图,适合技术学习、方案汇报、行业科普使用。

houdou112358的博客 444

麒麟信安3.3-6C电网版虚拟机安装避坑指南:从ISO下载到SSH配置全流程

本文提供麒麟信安3.3-6C电网版虚拟机的详细安装与配置指南。针对电力行业仿真测试需求,重点解析从ISO镜像获取、虚拟机环境准备、安装过程中的三大“雷区”(如多管理员密码逻辑、分区方案、网络配置)到首次启动后的网络、SSH及root策略配置的全流程避坑要点,帮助技术人员高效、安全地完成部署。

rainy的博客 856

【RPC 专栏】深入理解RPC之序列化篇 —— Kryo

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 中文详细注释的开源项目Java 并发源码合集RocketMQ 源码合集Sharding-JDB...

芋道源码 1615

18、地下矿山中人工智能在区分真实微震事件与噪声信号的应用

本文提出一种基于遗传编程(GP)的新型经验模型,用于地下矿山中真实微震事件与噪声信号(特别是爆破信号)的自动区分。针对传统方法和常见机器学习算法存在的黑箱问题、过拟合及准确性不足等局限,GP模型通过符号回归和进化机制生成可解释的数学表达式,具备自动特征选择能力,有效提升了分类准确率。研究使用包含100个样本的真实数据库,结合敏感性分析优化模型参数,并与线性判别分析(LDA)进行对比,结果表明GP模型在分类性能上更具优势。该模型可应用于实时微震监测系统,提高矿山安全生产水平,降低误判带来的成本开销,具有良好的

assembly8low的博客 96

【RPC 专栏】深入理解 RPC 之传输篇

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 中文详细注释的开源项目Java 并发源码合集RocketMQ 源码合集Sharding-JDB...

芋道源码 2839

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【RPC 专栏】深入理解 RPC 之协议篇

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 中文详细注释的开源项目Java 并发源码合集RocketMQ 源码合集Sharding-JDB...

芋道源码 2587

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

为什么选 RPC 而不是 HTTP ?

去年我面试一位高级后端工程师的时候,看他简历上写着“熟练掌握RPC框架”,所以我就试探着问了他几个原理方面的问题,比如,“大概说下RPC框架的核心原理”“、描述下序列化部分的逻辑”。但聊...

java思维导图 595

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【RPC 专栏】深入理解 RPC 之动态代理篇

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 中文详细注释的开源项目Java 并发源码合集RocketMQ 源码合集Sharding-JDB...

芋道源码 1820

读者吐槽:Go 面试总被问到 RPC

‍最近一朋友和我吐槽,说看到几个不错的简历,一面试水分太高,这让我想起去年面的一个高级开发,简历上写着“熟练掌握 RPC 框架”,我就试探着问了几个问题“大概说下 RPC 框架的核心原理”...

梦醒人间 297

【Java报错已解决】com.alibaba.dubbo.rpc.RpcException RPC调用过程中的异常

本文围绕这个RPC调用过程中的异常展开了深入探讨。通过具体的代码示例展示了可能出现异常的场景,详细分析了导致该异常的原因,包括网络和注册中心相关问题、接口和方法调用问题、服务端相关问题以及序列化和反序列化问题。针对这些原因,我们提出了一系列的解决方法,如检查网络和注册中心、核对接口和方法、排查服务端问题、处理序列化和反序列化问题。此外,还介绍了其他相关的解决方法,如使用Dubbo的监控和管理功能、模拟和测试RPC调用场景。当再次遇到。

2401_86544677的博客 2467

基于muduo的rpc项目前言

0.前言 强烈建议看本专栏之前,先看看我一个专栏的集群服务器项目,这样,你会理解的更加深刻。 本项目是以rpc框架 为主,业务为辅。 1.技术栈要求 1.1集群和分布式概念以及原理 单机,集群,分布式,微服务服务器_@seven@的博客-优快云博客 1.2RPC远程过程调用原理以及实现 RPC通信原理,RPC(Remote Procedure Call Protocol)远程过程调用协议。 黄色部分:设计rpc方法参数的打包和解析,也就是数据的序列化和反序列化,使用Protobuf。

m0_46392035的博客 592

【Protobuf系列】:从序列化与反序列化到消息类与Service:深入理解Protobuf以及RPC调用机制

本文从网络通信中的序列化需求出发,对比分析了HTTP、JSON和Protobuf三种数据组织方式。文章首先阐述了HTTP协议的文本格式特点,解释了如何通过特定格式实现消息边界判断;然后深入剖析了JSON文本序列化方式的优缺点,指出其可读性强但数据体积较大的特点;最后引入Protobuf二进制序列化方案,通过对比说明Protobuf采用字段编号替代字段名、使用紧凑编码等机制带来的性能优势,为后续深入讲解Protobuf的核心原理做铺垫。 【关键点】 网络通信本质传输字节流,需要序列化/反序列化机制 HTTP通

努力努力再努力wz的博客 269

33.服务之间的调用之RPC、Restful深入理解

33.服务之间的调用之RPC、Restful深入理解 2018年05月08日 01:52:42郑学炜阅读数 13577更多 分类专栏:6.框架 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.youkuaiyun.com/u014590757/ar...

weixin_30853329的博客 188
上一篇: Java中高级面试题(4)
下一篇: 注册中心 Eureka 源码解析 —— 应用实例注册发现 (三)之下线
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值