为什么canal数据只推送到kafka topic的其中一个分区中

最新推荐文章于 2025-03-31 10:50:49 发布

一只忧伤的数据猿

最新推荐文章于 2025-03-31 10:50:49 发布

阅读量2.8k

点赞数 3

分类专栏：中间件文章标签： kafka 大数据

本文链接：https://blog.youkuaiyun.com/weixin_42392293/article/details/105822607

版权

在使用canal 1.1.4版本和kafka 2.1.0时，发现binlog数据只推送到kafka的一个分区。经过排查配置文件instance.properties和canal.properties，尤其是关注与kafka partition相关的配置，最终找到解决方案。官方文档提到的配置规则是关键，通过设置`canal.kafka.partitions`解决了数据分发的问题。提醒读者务必仔细阅读官方文档。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本注解：

canal：1.1.4

kafka：2.1.0

也许当你发现使用canal获取binlog数据后，也正常的推送到kafka中去。由于数据量较大，对kafka的topic进行了多分区设置。但是当你查询该topic数据时，发信数据都在其中一个分区内（0分区）。这个问题该怎么解决呢？！

当我遇到这个问题时，第一个想到的是不是kafka配置topic的设置问题。后来排查发现不是，那么就只能是canal的配置问题了。

因此，我又一次把instance.properties和canal.properties这两个配置文件从头到尾重新认真看了一遍。发现了几个和kafka partition相关的配置（instance.properties）：

canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*

接下来，做了一个尝试：

canal.mq.partition=2
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*

修改后发现数据都分发到topic的2号分区中，因此不是修改这个配置。该配置是默认配置，不需要更改。

后来，我又做了一个测试：

最低0.47元/天解锁文章