canal与hbase的protobuf版本冲突

最新推荐文章于 2020-12-05 21:15:19 发布

转载最新推荐文章于 2020-12-05 21:15:19 发布 · 495 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/134474/blog/778762

文章标签：

#大数据 #java #python

本文介绍了解决Canal客户端与服务器因Protobuf版本不一致而导致的问题。通过升级Canal使用的Protobuf版本到2.5.0，解决了因版本冲突引发的UnsupportedOperationException异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.
	at com.google.protobuf.GeneratedMessage.getUnknownFields(GeneratedMessage.java:180)
	at com.alibaba.otter.canal.protocol.CanalPacket$ClientAuth.getSerializedSize(CanalPacket.java:2045)
	at com.google.protobuf.AbstractMessageLite.toByteString(AbstractMessageLite.java:49)
	at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.doConnect(SimpleCanalConnector.java:150)
	at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.connect(SimpleCanalConnector.java:97)
	at com.alibaba.otter.canal.client.CanalConnector$connect.call(Unknown Source)

测试环境：canal server和client版本：v1.0.22；hbase-client版本：1.0.1.1

报错原因：canal 1.0.22版本依赖的protobuf版本为2.4.1，hbase依赖的protobuf版本为2.5.0，存在冲突。canal客户端连接canal server时，客户端classloader加载的版本为2.5.0，而服务端protobuf版本为2.4.1，导致请求报错。

解决方法：canal的protobuf版本升级为2.5.0。

步骤：重新生成protobuf java文件，并替换protocol/src/main/java/com/alibaba/otter/canal/protocol/；重新打canal-protocol包，替换client和server的canal-protocol依赖。

java文件拷贝：https://github.com/chaopengio/canal/tree/canal-1.0.21-protobuf-2.5.0/protocol/src/main/java/com/alibaba/otter/canal/protocol

参考：https://github.com/alibaba/canal/issues/125

转载于:https://my.oschina.net/u/134474/blog/778762