dubbo版本升级关于序列化问题

最新推荐文章于 2024-08-02 10:30:56 发布
原创 最新推荐文章于 2024-08-02 10:30:56 发布 · 5.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

本文概述了公司项目中Dubbo从2.5.6到2.6.12的升级过程，重点在于解决序列化漏洞并引入白名单机制，避免hessian默认序列化风险。升级至2.6.12时，Java.*类默认不再白名单，需明确配置。

最近两年公司项目dubbo进行升级，从2.5.6升级至2.6.9
至今又升级为2.6.10

主要升级的原因是序列化存在漏洞，需要使用hession协议进行序列化操作。

2.6.9

在2.6.9引入白名单，因为hessian默认支持java.*的所有类进行序列化，所以重写AbstractHessian2FactoryInitializer配置白名单参数
是否开启白名单

  *static String WHITELIST = "dubbo.application.hessian2.whitelist";*

白名单允许序列化的类路径

  *static String ALLOW = "dubbo.application.hessian2.allow";*

黑名单序列化的类路径

  *static String DENY = "dubbo.application.hessian2.deny";*

把所需要的类路径加上，否则会报错heesian序列化异常，如
严重:

com.sinosig.sl.sssc.dto.form.Page's interfaces: java.io.Serializable in blacklist or not in whitelist, deserialization with type 'HashMap' instead.
com.alibaba.com.caucho.hessian.io.HessianFieldException: com.sinosig.sl.sssc.dto.result.ResultDTO.resultValue: java.util.Map cannot be assigned from null

不在名单里，hessian无法进行序列化所以当作hashMap去处理序列化，失败。

升级为2.6.12

dubbo改写了序列化方式，优化了早期的序列化漏洞，引入文件默认配置读取一些文件不允许hessian序列化，本次默认不支持java.*的白名单，需写入自行配置，同2.6.9一样重写AbstractHessian2FactoryInitializer，只是将java.*加入白名单配置即可

10 Dubbo + Kryo 实现高速序列化
qq_24907431的博客
04-29 594
dubbo序列化
【面试场景题】dubbo可以使用自定义的序列化协议吗
最新发布
青鱼入云的博客
08-29 986
格式：协议名称=实现类全路径-- 服务提供者配置 --> < dubbo: protocol name = " dubbo " serialization = " custom " /> <!-- 或在服务级别指定 --> < dubbo: service interface = " com.example.DemoService " ref = " demoService " serialization = " custom " /> <!
Dubbo对匿名内部类不能序列化原因分析及问题解决
snowing
09-20 1226
之前为了图方便，对DTO采用匿名内部类的初始化方式之{{}}写法，最终导致了运行时异常，我们还是先看一下详细的console日志吧，server表示服务提供者，client表示服务消费者： 先看看代码是怎么写的： public class TestDTO implements Serializable { private String message; public String getMessage() { return message; } pu
dubbo报错：not support none serializable class org.springframework.security.web.servletapi.HttpServlet3
qq_57828911的博客
08-02 770
Dubbo 报错提示 not support none serializable class 表示 Dubbo 在尝试序列化某个对象时遇到了问题。这里的问题是类没有实现序列化接口，因此无法被正确地序列化。在微服务架构中，服务提供者和服务消费者之间需要传输对象时，这些对象必须是可以序列化的，这样才能在网络上传输。
dubbo常见的错误整合
dddddh的博客
11-16 734
dubbo常见的错误整合 java.net.ConnectException: Connection refused: no further information 有以下几种情况： 1.dubbo版本与zookeeper版本不兼容的问题 2.host与port地址是否错误（本机默认zookeeper地址为127.0.0.1:2181） 3.如果zookeeper构建在Linux系统上，有可能是防...
mybatis-plus的IPage分页，使用Feign调用，提示无法序列化
佬涛的博客
05-26 2099
解决方法：强转为IPage的实现类Page，以免api调用时，返回结果获取不到数据
Dubbo新版本（＞3.2）序列化问题
u010351766的专栏
11-05 2270
Dubbo >= 3.2时一些类序列化时会有异常。
HSF/Dubbo序列化时的LocalDateTime, Instant的性能问题
阿里云云栖号
06-18 2208
来源 在对Dubbo新版本做性能压测时，无意中发现对用例中某个TO（Transfer Object）类的一属性字段稍作修改，由Date变成LocalDateTime，结果是吞吐量由近5w变成了2w，RT由9ms升指90ms。 在线的系统，拼的从来不仅仅是吞吐量， 而是在保证一定的RT基础上，再去做其他文章的， 也就是说应用的RT是我们服务能力的基石所在， 拿压测来说， 我们能出的qps/tp...
Apache Dubbo Provider默认反序列化RCE(CVE-2020-1948)复现
玄道的网安博客
03-05 1469
简介 Apache Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 影响版本 Dubbo 2.7.0 - 2.7.6 Dubbo 2.6.0 - 2.6.7 Dubbo 2.5.x 环境搭建 docker 拉取环境 docker pull dsolab/dubbo:cve-2020-1948 docker启动 docker run -p 1...
Dubbo 高危漏洞！原来都是反序列化惹得祸
楼下小黑哥
07-09 1336
前言 这周收到外部合作同事推送的一篇文章，【漏洞通告】Apache Dubbo Provider默认反序列化远程代码执行漏洞（CVE-2020-1948）通告。 按照文章披露的漏洞影响范围，可以说是当前所有的 Dubbo 的版本都有这个问题。 无独有偶，这周在 Github 自己的仓库上推送几行改动，不一会就收到 Github 安全提示，警告当前项目存在安全漏洞CVE-2018-10237。 可以看到这两个漏洞都是利用反序列化进行执行恶意代码，可能很多同学跟我当初一样，看到这个一脸懵逼。好端端的反序列化
最新dubbo2.6.0-jar
05-14
从官网github上下载的官方代码，是标签2.6.0版本的打包
升级Dubbo3.2.6遇到的一个异常反序列化问题
cloudlu的专栏
12-18 2300
跟踪了半天，首先发现，如果在dubbo接口上显示声明抛出的异常的话，可以正常运行代码。跟踪源码发现，DecodeableRpcResult反序列化时，如果没有显示声明抛出异常的的话，反序列化的对象是个Hashmap，两种情况下入参的二进制流是一样的。继续跟踪，发现反序列化时候使用的是sticky模式，至此差不多清楚了。升级后新版本dubbo反序列化采用严格模式，接口上未声明的以及未涉及到的类都不会正常序列化。google和百度搜了半天，没发现和我一样的问题，有一篇类似的文章是早期版本的。
Dubbo项目消费者调用提供者报cannot be cast to com.baomidou.mybatisplus.core.metadata.IPage
药岩
10-13 2370
Dubbo项目消费者调用提供者控制台报 cannot be cast to com.baomidou.mybatisplus.core.metadata.IPage 异常： cannot be cast to com.baomidou.mybatisplus.core.metadata.IPage 原因：dubbo项目在controller层调用service时候报以上异常，service返回的是Page对象，但controller层是用IPage接收的，由于dubbo需要实体类序列化，但IPage却没有
dubbo缺省协议参数及返回值需实现 Serializable 接口
灵颖桥人的博客
07-14 1800
官方文档： http://dubbo.apache.org/zh-cn/docs/user/references/protocol/dubbo.htm 缺省协议，使用基于 mina1.1.7和 hessian3.2.1的 tbremoting 交互。 约束 参数及返回值需实现Serializable接口 参数及返回值不能自定义实现List,Map,Number,...
Dubbo 从 2.5.3 到 当下
晨猫
07-08 1158
从 2.5.3 到 当下从 2.5.3 到 当下资料2.5.x 版本2012.10.23 2.5.32017.09.07 2.5.4问题修复依赖升级优化2017.09.12 2.5.52017.10.12 2.5.6问题修复新特性支持2017.11.04 2.5.7发行说明重要说明2017.12.12 2.5.8发行说明2018.01.25 2.5.9问题修复增强功能漏洞补丁2018...
给dubbo接口添加白名单——dubbo Filter的使用
xiaomin1991222的专栏
04-21 757
在开发中，有时候需要限制访问的权限，白名单就是一种方法。对于Java Web应用，Spring的拦截器可以拦截Web接口的调用；而对于dubbo接口，Spring的拦截器就不管用了。 dubbo提供了Filter扩展，可以通过自定义Filter来实现这个功能。本文通过一个事例来演示如何实现dubbo接口的IP白名单。 扩展Filter 实现com.alibaba.dubbo.rpc....
Maven中Dubbo集成spring2.5以上版本
pete.lee的博客
03-30 1195
Dubbo文档中有这样一段：所项目中dubbo集成spring4.x，配置pom时需要注意排除spring的依赖，我这里用的是tomcat，所以把jboss也排除了： <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId>
逐步升级Dubbo：注意事项与实施建议
创意程序员的博客
05-22 1241
通过详细的测试计划、兼容性测试、性能测试、异常情况处理、监控和日志分析，以及逐步升级策略，可以降低升级过程中的风险，并逐步改进系统的安全性、性能和功能。通过升级到新版本的Dubbo，可以解决这些问题，实现更可靠和方便的优雅停机机制，从而减少系统维护和升级所带来的影响。确保已升级的Dubbo服务与其他相关组件和系统之间的集成是正常的，避免出现因升级而引入的新问题。Dubbo的新版本通常会引入新的功能和改进，通过升级可以获得更多强大和灵活的功能。通过合适的监控工具和日志分析工具，及时发现潜在的问题和异常。
dubbo如何升级到最新版2.6.1
镜水灵动
04-25 4866
1.maven:&lt;dubbo.version&gt;2.6.1&lt;/dubbo.version&gt;    &lt;zookeeper.version&gt;3.4.10&lt;/zookeeper.version&gt;    &lt;zkclient.version&gt;0.1&lt;/zkclient.version&gt;    &lt;javassist.version&g
如何排查Dubbo的序列化兼容性问题？
05-30
<think>好的，用户现在想排查Dubbo中因序列化兼容性问题导致的RpcException异常，特别是NoSuchMethodException错误。之前我已经给出了一些可能的原因和解决方案，现在用户进一步聚焦在序列化兼容性上，需要结合他们提供的站内引用信息来深入分析。首先，引用[2]提到序列化兼容性问题，比如服务端修改了类的结构（如删除字段或改变UID），而客户端没有更新，导致反序列化失败。这可能引发NoSuchMethodException，因为如果方法的参数类型在序列化过程中无法正确还原，Dubbo可能找不到对应的方法。例如，服务端的方法参数类少了一个字段，客户端发送的旧版本类可能无法被正确解析，导致参数类型不匹配，从而触发NoSuchMethod异常。 接下来，我需要考虑用户提供的解决方案。引用[1]中提到了自定义异常过滤器，这可能与序列化问题无关，但用户主要关注的是序列化，所以可能需要忽略这部分。引用[3]中的FailbackClusterInvoker的重试机制可能在出现异常时尝试重试，但根本问题还是需要解决序列化兼容性。引用[4]关于Dubbo SPI的机制，可能涉及到序列化扩展的实现，比如更换序列化方式。 接下来，用户的问题是如何解决序列化兼容性导致的异常。需要从以下几个方面入手：1.**检查类版本一致性**：确保服务提供者和消费者使用的类结构完全一致，包括字段、serialVersionUID等。如果服务端修改了类，必须同步更新客户端，或者使用兼容的序列化方式。2.**显式定义serialVersionUID**：避免因类结构变化导致自动生成的UID不一致，从而引发反序列化失败。显式声明UID可以保持兼容。3.**使用兼容的序列化协议**：比如Kryo或FST，它们比Hessian2有更好的兼容性处理。配置Dubbo使用这些协议，并在双方启用。 4. **参数包装类**：将方法参数封装为DTO，避免直接使用基础类型或不可控的类，减少结构变更的影响。 5. **版本回退与灰度发布**：在升级过程中，通过Dubbo的版本控制逐步发布，确保兼容性。 6. **日志与异常捕获**：启用详细日志，检查序列化过程中的具体错误，定位问题所在。此外，引用[2]强调了实现Serializable接口的风险，需要确保类的变更兼容。例如，添加字段而不是删除，或者使用@Deprecated标记废弃字段，而不是直接删除。可能还需要考虑Dubbo的SPI扩展，如引用[4]提到的，通过ExtensionLoader加载自定义的序列化实现，增强兼容性。最后，生成相关问题，帮助用户进一步排查可能的相关问题，比如如何检测类版本，如何配置序列化协议，以及版本控制的最佳实践等。</think>### 解决Dubbo序列化兼容性问题导致的RpcException #### 一、核心问题定位 当`NoSuchMethodException`与序列化兼容性相关时，本质是**服务提供者与消费者之间的类定义不一致**，导致参数反序列化失败或方法签名不匹配。具体表现为： 1. 参数类字段增减未同步更新[^2] 2. `serialVersionUID`未显式定义且自动生成值不一致 3. 序列化协议不支持类型演化（如Hessian2对字段删除不兼容） #### 二、分步解决方案 ##### 1. 强制类版本一致性验证 ```java // 所有DTO类必须显式声明UID public class ResourceRequest implements Serializable { private static final long serialVersionUID = 123456789L; // 固定值 // 新增字段时需添加@Deprecated注解保留旧字段 @Deprecated private String oldField; } ``` - **验证方法**：对比服务提供方与消费方的`.class`文件哈希值 ```shell # 使用javap验证类结构 javap -v ResourceRequest.class | grep serialVersionUID ``` ##### 2. 配置兼容性序列化协议 ```xml <!-- 服务提供方与消费方均配置 --> <dubbo:protocol name="dubbo" serialization="kryo"/> <dubbo:provider serialization="kryo"/> <dubbo:consumer serialization="kryo"/> ``` - **协议对比**： | 序列化协议 | 兼容性策略 | 适用场景 | |------------|----------------------------|---------------------| | Hessian2 | 严格字段匹配 | 稳定接口环境 | | Kryo | 支持字段增减[^2] | 频繁迭代的微服务 | | FST | 允许忽略未知字段 | 跨版本调用 | ##### 3. 参数包装类设计 ```java // 使用泛型包装类传递参数 public class Wrapper<T> implements Serializable { private T data; private String version; // 标识参数类版本 } // 接口定义调整为 void insertPublicApikey(Wrapper<ResourceRequest> wrapper); ``` ##### 4. 版本灰度验证机制 ```xml <!-- 消费方指定版本进行验证 --> <dubbo:reference interface="com.htsc.llm.api.ResourceService" version="2.0.0" timeout="5000"> <dubbo:method name="insertPublicApikey" validation="true"/> </dubbo:reference> ``` #### 三、调试与监控 1. **启用序列化调试日志** ```properties # log4j配置 logger.dubbo.remoting.level=DEBUG logger.serialization.level=TRACE ``` 2. **监控反序列化失败率** ```java // 通过Dubbo的Filter统计异常 public class SerializationMonitorFilter implements Filter { private AtomicInteger deserializeErrorCount = new AtomicInteger(); public Result invoke(Invoker<?> invoker, Invocation invocation) { try { return invoker.invoke(invocation); } catch (RpcException e) { if (e.isSerialization()) { deserializeErrorCount.incrementAndGet(); } throw e; } } } ``` #### 四、兼容性测试方案 ```java // 使用JUnit进行版本兼容性测试 public class SerializationCompatibilityTest { @Test public void testV1ToV2Compatibility() { // 旧版本对象构造 ResourceRequestV1 requestV1 = new ResourceRequestV1(/*...*/); // 序列化为字节流 byte[] bytes = KryoUtils.serialize(requestV1); // 尝试用新版本类反序列化 ResourceRequestV2 requestV2 = KryoUtils.deserialize(bytes); assertNotNull(requestV2.getCommonField()); } } ``` ####
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值