dubbo典型协议、传输组件、序列化方式组合性能对比测试

最新推荐文章于 2023-04-17 07:50:45 发布
转载 最新推荐文章于 2023-04-17 07:50:45 发布 · 284 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/ywbrj042/blog/690691
文章标签：

#netty #java #json

本文基于Dubbo框架进行了详细的性能测试对比，涵盖了不同协议、传输框架和序列化方式，如dubbo、RMI、Hessian、HTTP等，并给出了具体的测试数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

前言

Dubbo作为一个扩展能力极强的分布式服务框架，在实现rpc特性的时候，给传输协议、传输框架和序列化方式提供了多种扩展实现，供开发者根据实际场景进行选择。

1、支持常见的传输协议：RMI、Dubbo、Hessain、WebService、Http等，其中Dubbo和RMI协议基于TCP实现，Hessian和WebService基于HTTP实现。

2、传输框架：Netty、Mina、grizzly以及基于servlet等方式。

3、序列化方式：Hessian2、dubbo、JSON（ fastjson 实现）、JAVA、SOAP、kryo和fst 等。

本文主要基于dubbox框架下的通讯协议进行性能测试对比。

文章模板参考了：http://www.cnblogs.com/lengfo/p/4293399.html?utm_source=tuicool&utm_medium=referral，在该文的基础上做了一些调整，测试数据是本人亲自测试的实际结果。

测试方案

基于dubbox 2.8.4框架，使用zookeeper作为注册中心，分别以单线程和多线程的方式测试以下组合。

分组名ProtocolTransporter  Serialization    Remark
Adubbonettyhessian2

 

Bdubbonettydubbo

 

Cdubbonettyjava

 

Ddubbonettyfst 
Edubbonettykryo 
Fdubbominahessian2 
Grminettyjava

 

Hrminettyhessian2

 

IHessianservlethessian2Hessian，基于tomcat8.0嵌入式容器     
JWebService servletSOAPCXF，基于tomcat8.0嵌入式容器
Khttpservletjson基于tomcat8.0嵌入式容器

测试环境

本次测试是所有组件都部署在同一台PC机上进行的，包括zookeeper，消费者和生产者都是在本机上。

机器的配置如下：

内存12G；

CPU是intel i5 2.5ghz 4核；

操作系统Windows visita6.1；

jdk1.6.0.25和jdk1.7.0_79；

JVM配置是默认值，最大堆64M,

传输测试数据

1、单POJO对象，嵌套复杂集合类型

2、POJO集合，包含100个单POJO对象

3、1K字符串

4、100K字符串

5、1M字符串 

服务接口和实现

1、服务接口相关代码： 

public interface DemoService {
    public Object sendRequest(Object requestObject);
}

2、服务实现相关代码，测试数据在服务器端不做任何处理原样返回：

public class DemoServiceImpl implements DemoService{
    ResponseObject responseObject = new ResponseObject(100);

    public Object sendRequest(Object request) {
        return request;
    }
}

3、测试框架介绍

本文是基于dubbo自带的benchmark性能测试框架进行测试的，对该框架做了简单的调整和修改，框架代码见：https://github.com/dangdangdotcom/dubbox/tree/master/dubbo-test/dubbo-test-benchmark

单线程测试

1、测试仅记录rpc调用时间，测试数据的读取组装以及首次建立连接等相关耗时时间不作统计，循环执行60秒钟取平均响应时间值。

2、服务消费方测试代码

输入复杂POJO测试代码

private static BidRequest request = new BidRequest();
    private static int size = 100;
    private static List<BidRequest> requests = new ArrayList<BidRequest>();
    
    static{
    	request.setId("ssss");
    	Geo geo = new Geo();
    	geo.setCity("beijing");
    	geo.setCountry("china");
    	geo.setLat(1.0f);
    	geo.setLon(5.3f);
    	
    	Device device = new Device();
    	device.setLang("中文");
    	device.setOs("windows 7");
    	device.setVersion("1.0.0");
    	device.setModel("dddddd");
    	device.setGeo(geo);
    	
    	request.setDevice(device);
    	
    	List<Impression> impressions = new ArrayList<Impression>();
    	for(int i=0; i<3; i++){
    		Impression impression = new Impression();
    		impression.setId("2333"+i);
    		impression.setBidFloor(2223.3333d);
    		impressions.add(impression);
    	}
    	request.setImpressions(impressions);
    	
    	
    	for(int i=0; i<size; i++){
    		requests.add(request);
    	}
    }

 @SuppressWarnings({ "unchecked"})
    @Override
    public Object invoke(ServiceFactory serviceFactory) {
        DemoService demoService = (DemoService) serviceFactory.get(DemoService.class);
        Object result = demoService.sendRequest(requests);
        return result;
    }

输入字符串测试代码

private static String message = null;
    private static int length = 1024000;
    static{
        message = new String(new byte[length]);
    }

public Object invoke(ServiceFactory serviceFactory) {
        DemoService demoService = (DemoService) serviceFactory.get(DemoService.class);
        Object result = demoService.sendRequest(requestObject);
        return result;
    }

3、测试数据耗时记录

A、dubbo 协议、netty 传输、hessian2 序列化

<dubbo:protocol name="dubbo" server="netty" port="20885" serialization="hessian2"  />

jdk1.6测试数据

单个POJO0.369ms
POJO集合 (100)3.326ms
1K String0.354ms
100K String17.804ms
1M String154.178ms

jdk1.7测试数据

单个POJO0.195ms
POJO集合 (100)1.207ms
1K String0.203ms
100K String4.901ms
1M String47.691ms

B、dubbo 协议、netty 传输、dubbo 序列化

<dubbo:protocol name="dubbo" server="netty" port="20885" serialization="dubbo" /> 

jdk1.6测试数据

单个POJO0.345ms
POJO集合 (100)6.663ms
1K String0.325ms
100K String17.756ms
1M String128.241ms

jdk1.7测试数据

单个POJO0.203ms
POJO集合 (100)2.47ms
1K String0.193ms
100K String3.917ms
1M String36.186ms

C、dubbo 协议、netty 传输、java 序列化

<dubbo:protocol name="dubbo" server="netty" port="20885" serialization="java" />

jdk1.6测试数据

单个POJO0.541ms
POJO集合 (100)4.194ms
1K String0.391ms
100K String26.561ms
1M String151.337ms

jdk1.7测试数据

单个POJO0.375ms
POJO集合 (100)1.839ms
1K String0.237ms
100K String5.691ms
1M String54.462ms

D、dubbo 协议、netty 传输、fst序列化

<dubbo:protocol name="dubbo" server="netty" port="20885" serialization="fst" />

jdk1.6测试数据

单个POJO0.273ms
POJO集合 (100)0.768ms
1K String0.31ms
100K String20.048ms
1M String353.594ms

jdk1.7测试数据

单个POJO0.187ms
POJO集合 (100)0.429ms
1K String0.281ms
100K String2.861ms
1M String30.599ms

E、dubbo 协议、netty 传输、kryo序列化

<dubbo:protocol name="dubbo" server="netty" port="20885" serialization="kryo" />

jdk1.6测试数据

单个POJO3.087ms
POJO集合 (100)3.749ms
1K String3.017ms
100K String33.283ms
1M String353.851ms

jdk1.7测试数据

单个POJO2.767ms
POJO集合 (100)2.869ms
1K String2.636ms
100K String5.804ms
1M String33.501ms

F、dubbo 协议、mina 传输、hessian2序列化

<dubbo:protocol name="dubbo" server="mina" port="20885" serialization="hessian2" />

jdk1.6测试数据

单个POJO0.378ms
POJO集合 (100)3.47ms
1K String6002.945ms
100K String6061.22ms
1M String5067.535ms

jdk1.7测试数据

单个POJO0.213ms
POJO集合 (100)6004.22ms
1K String6003.739ms
100K String6013.998ms
1M String3779.117ms

G、RMI 协议、netty 传输、java 序列化 

<dubbo:protocol name="rmi" server="netty" port="20885" serialization="java" />

jdk1.6测试数据

单个POJO0.349ms
POJO集合 (100)2.874ms
1K String0.203ms
100K String7.129ms
1M String136.697ms

jdk1.7测试数据

单个POJO0.203ms
POJO集合 (100)1.515ms
1K String0.138ms
100K String3.609ms
1M String35.188ms

H、RMI 协议、netty 传输、hessian2 序列化 

<dubbo:protocol name="rmi" server="netty" port="20885" serialization="hessian2"  /> 

jdk1.6测试数据

单个POJO0.338ms
POJO集合 (100)2.815ms
1K String0.196ms
100K String8.509ms
1M String134.098ms

jdk1.7测试数据

单个POJO0.213ms
POJO集合 (100)1.511ms
1K String0.139ms
100K String3.589ms
1M String36.322ms

I、Hessian协议、servlet（tomcat容器）、hessian2 序列化 

用到了tomcat-embed-core-8.0.11，需要用jdk1.7以上版本，所以本次测试使用jdk1.7

<dubbo:protocol name="hessian" port="20885" server="tomcat" serialization="hessian2" /> 

jdk1.7测试数据

单个POJO0.482ms
POJO集合 (100)3.201ms
1K String0.413ms
100K String6.893ms
1M String59.805ms

J、WebService协议、servlet（tomcat容器）、SOAP序列化

<dubbo:protocol name="webservice" port="20885" server="tomcat" />

jdk1.7测试数据

单个POJO0.598ms
POJO集合 (100)0.731ms
1K String11.603ms
100K String71.991ms
1M String81.596ms

H、http协议、servlet（tomcat容器）、json序列化

<dubbo:protocol name="http" port="20885" server="tomcat"  serialization="json"/>

jdk1.7测试数据

单个POJO0.586ms
POJO集合 (100)2.179ms
1K String0.722ms
100K String6.982ms
1M String59.848ms

4、性能对比

多线程测试

1、由于测试机器配置较低，为了避免达到CPU瓶颈，测试设定服务消费方Consumer并发10个线程，每个线程连续对远程方法执行60秒钟，超时时间设置为2000ms，要求所有事务都能正确返回没有异常。


 

性能分析

影响性能测试结果的因素太多了，本文只是做了非常局限的测试，测试用例覆盖率不够，测试环境和条件制约较大，因此本文的测试结果绝对是仅供参考。不能完全信任本文的测试数据和结论。

通过上述的对比测试分析可以看出：

1.内部应用之间的小尺寸的对象和字符串调用的场景推荐使用dubbo+netty+fst的组合较优。fst的性能要由于hessian2。

2.rmi协议在传输大尺寸字符串对象的时候表现更优，这超出了我们一般的认知。

3.mina框架不推荐使用，则测试中的表现非常差，深层次的原因还没有深究，大量的调用超时失败，dubbo的测试报告也指出它存在一些问题，因此该框架不建议使用。

4.kryo序列化组件的性能表现较差，这与其它的测试报告的出入较大，具体原因需要深层次的探究。

5.有部分测试失败，具体原因有待考究。

6.jdk1.6 和 jdk1.7对性能测试结果差异较大，jdk1.7测试性能好于1.6. 推荐使用jdk1.7. 以dubbo协议，默认的传输组件和序列化组件为例，jdk1.7的环境下性能提升接近于90%。

 

转载于:https://my.oschina.net/ywbrj042/blog/690691

Dubbo 高危漏洞！原来都是反序列化惹得祸
楼下小黑哥
07-09 1292
前言 这周收到外部合作同事推送的一篇文章，【漏洞通告】Apache Dubbo Provider默认反序列化远程代码执行漏洞（CVE-2020-1948）通告。 按照文章披露的漏洞影响范围，可以说是当前所有的 Dubbo 的版本都有这个问题。 无独有偶，这周在 Github 自己的仓库上推送几行改动，不一会就收到 Github 安全提示，警告当前项目存在安全漏洞CVE-2018-10237。 可以看到这两个漏洞都是利用反序列化进行执行恶意代码，可能很多同学跟我当初一样，看到这个一脸懵逼。好端端的反序列化
Dubbo 的自定义协议
最新发布
FireFox1997
07-23 949
Dubbo 是一个高性能的 Java RPC 框架，广泛用于构建分布式系统。在 Dubbo 的架构中，协议是核心组件之一，它负责定义服务的通信方式和数据格式。Dubbo 内置了多种协议，如 Dubbo 协议、HTTP 协议、RMI 协议等，但在实际应用中，有时需要根据特定的业务需求或技术要求自定义协议。本文将详细探讨 Dubbo 的自定义协议，包括其工作原理、实现机制以及如何在 Dubbo 中定义和使用自定义协议。
dubbo序列化以及各种序列化性能对比
Brady74的博客
06-06 4566
dubbo RPC是dubbo体系中最核心的一种高性能、高吞吐量的远程调用方式 dubbo RPC主要用于两个dubbo系统之间作远程调用，特别适合高并发、小数据的互联网场景 而序列化对于远程调用的响应速度、吞吐量、网络带宽消耗等同样也起着至关重要的作用 专门针对Java语言的：Kryo，FST等等 这些序列化方式的性能多数都显著优于hessian2（甚至包括尚未成熟的dubbo序列化...
java原生序列化和Kryo序列化性能比较
weixin_33896069的博客
01-22 552
简介 最近几年，各种新的高效序列化方式层出不穷，不断刷新序列化性能的上限，最典型的包括： 专门针对Java语言的：Kryo，FST等等 跨语言的：Protostuff，ProtoBuf，Thrift，Avro，MsgPack等等 这些序列化方式的性能多数都显著优于hessian2（甚至包括尚未成熟的dubbo序列化）。有鉴于此，我们为dubbo引入Kryo和FST这 两种高效Java序列化实现...
【JavaP6大纲】Dubbo篇：Dubbo 支持哪些序列化协议？说一下 Hessian 的数据结构？PB 知道吗？为什么 PB 的效率是最高的？
我是Java程序员廖志伟，感谢朋友们的支持！
04-08 1776
Dubbo 支持哪些序列化协议？说一下 Hessian 的数据结构？PB 知道吗？为什么 PB 的效率是最高的？ Dubbo协议：dubbo 缺省协议 采用单一长连接和NIO异步通讯，适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况，不适合传送大数据量的服务，比如传文件，传视频等，除非请求量很低。 连接个数：单连接 连接方式：长连接 传输协议：TCP 传输方式：NIO异步传输 序列化：Hessian 二进制序列化 适用范围：传入传出参数数据包较小（建议小于100K），消费者比
基于.NET CORE微服务框架 -谈谈surging 的messagepack、protobuffer、json.net 序列化
weixin_30642561的博客
11-18 226
1、前言 surging内部使用的是高性能RPC远程服务调用，如果用json.net序列化肯定性能上达不到最优，所以后面扩展了protobuf,messagepack序列化组件，以支持RPC二进制传输. 在这里需要感谢白纸无字Zonciu，新增了messagepack序列化，让surging 性能上跨了一大步。此篇文章我们来谈谈messagepack、protobuffer...
dubbo kryo序列化_Dubbo与Dubbox的区别
weixin_30010599的博客
12-21 185
Dubbo 是阿里巴巴公司开源的一个基于Java的高性能开源RPC框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。后来因为某些原因没有维护，于是当当网在这之上推出了自己的Dubbox。Dubbox 和Dubbo本质上没有区别，名字的含义扩展了Dubbo而已，以下扩展出来的功能，也是选择Dubbox很重要的考察点。支持REST风格远程调用(...
Dubbo协议解析：网络传输与序列化
4. **序列化方式**：将对象转换为可传输的字节流，常见的有Hessian2Serialization、DubboSerialization、JavaSerialization和JsonSerialization等。 **RPC协议的实现**通常涉及服务发现、负载均衡、容错机制和网络...
一站式了解分布式服务框架Dubbo细枝末节
热门推荐
张彦峰的博客
04-17 5万+
Dubbo 是一个高效的分布式服务框架，采用服务注册、订阅和调用机制，实现服务的高性能通信。服务提供者在注册中心注册服务，消费者通过订阅获取并调用这些服务。Dubbo 支持多种通信协议和序列化协议，包括高效的 Hessian。框架具备负载均衡、集群容错和动态代理策略，保证系统稳定性和高可用性。Dubbo 的 SPI 机制支持插件化扩展，增加系统灵活性。服务治理功能包括服务降级、失败重试和超时重试，确保系统可靠性。对于分布式服务，还需考虑幂等性和请求顺序性，采用唯一标识和一致性哈希等方法来解决这些问题。
Apache Dubbo专用Hessian Lite序列化工具的使用与维护
资源摘要信息:"dubbo-hessian-lite是一个针对Apache Dubbo框架优化的轻量级Hessian序列化工具，它是Apache Dubbo项目中的一个重要组件，用于提供对象序列化与反序列化的功能。Hessian协议是一种支持HTTP请求和TCP...
Dubbo原理及测试示例
wtf0712的博客
08-26 287
一·分布式理论基础 1.什么是分布式（定义） 分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统 2.出现的原因？分布式的好处？ 随着互联网的发展，网站应用的规模不断的扩大，常规的垂直架构已经无法应对，分布式服务架构以及流动计算架构势在必得，需要一个治理系统确保架构有条不紊的演进。 二·发展演变 ORM-----MVC------RPC——SOA ORM 单一应用架构：用户群体确定，访问量不大，开发简单部署也简单，也可以两（1-10）个服务器一起分担流量压力 缺点：
dubbo协议
Emily的博客
07-22 619
dbuuo包括协议，分别为：  达博协议 RMI协议 粗麻布协议 HTTP协议 网络服务协议 thirift协议  memcached的的协议 Redis的的协议   达博协议     达博协议采用单一长连接和NIO异步通讯，适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况。    反之，达博协议不适合传送大数据量的服务，比如传文件，传视频等...
Dubbo通信协议，序列化协议，Hessian数据结构以及PB效率为什么最高
玲珑骰子安红豆，入骨相思知不知
09-03 2196
前言 关于Dubbo，你必须要掌握的有dubbo的工作原理，至少要知道dubbo分成哪些层，然后平时怎么发起RPC请求的，注册，发现，调用，这些都是基本的，接着还需要对底层有一定的了解，需要知道序列化协议有哪些，平时RPC是怎么走的，支持哪些通信协议，Hessian的数据结构，PB的了解，以及为什么PB的效率是最高的？ 下面我对上述这些问题逐个做了整理总结 dubbo支持哪些通信协议 1、dubbo协议 默认就是走 dubbo 协议，单一长连接，进行的是 NIO 异步通信，基于 hessian 作为序列化协
序列化框架性能对比（kryo、hessian、java、protostuff）
weixin_33932129的博客
05-11 429
简介：   优点 缺点 Kryo 速度快，序列化后体积小 跨语言支持较复杂 Hessian 默认支持跨语言 较慢 Protostuff 速度快，基于protobuf 需静态编译 Protostuff-Runtime 无需...
简单的搭建dubbo
技术成就人生
02-24 216
主要是以下几个步骤： 1. 安装Zookeeper,启动； 2. 创建MAVEN项目，构建Dubbo+Zookeeper+Spring实现的简单Demo； 3. 安装Dubbo-admin，实现监控。一，配置文件dubbo-provider.xml:&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;beans xmlns="http://www.spr...
[转]dubbo序列化对象的一个坑
JAVA_HIGHNESS的专栏
05-04 1万+
最近工作中遇见了一个小问题，在此记录一下，大致是这样的，有一父类，有一个属性traceId，主要是记录日志号，这样可以把所有日志串起来，利于排查问题，所有的pojo对象继承于此，但是其中一同事在子类pojo中也增加了这一个属性，在消费者端给traceId设置了值，但经过序列化解析后，提供者端这个traceId时，值为空，解决问题很简单啊，把子类中的traceId属性去掉搞定。 虽然问题很好解决
几种Json序列化工具的性能对比
weixin_34292924的博客
06-23 451
现在Json这种轻量级的数据交换格式越来越广泛的得到运用，特别在移动互联网应用 中，移动终端和服务器的通信通常都是json。比较常用的几个json序列化工具有官方的jsonlib，还有google的gson，以及alibaba的fastjson。 特地写了点代码来测试这几个框架的性能，实验数据如下： 可以看出，fastjson的综合性能是最高的，不...
08、http协议和dubbo协议的区别
weixin_34507573的博客
03-17 5225
一、http协议介绍 HTTP是应用层协议，同其他应用层协议一样，是为了实现某一类具体应用的协议，并由某一运行在用户空间的应用程序来实现其功能。HTTP是一种协议规范，这种规范记录在文档上，为真正通过HTTP进行通信的HTTP的实现程序。 HTTP是基于B/S架构进行通信的，而HTTP的服务器端实现程序有httpd、nginx等，其客户端的实现程序主要是Web浏览器，例如Firefox、Internet Explorer、Google Chrome、Safari、Opera等，此外，客户端的命令行工具还有
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值