在多节点Kafka服务中，使用@KafkaListener指定分区消费可能导致重复消费。问题在于使用consumer.assign()而非consumer.subscribe()，手动分区不参与消费组的自动平衡。consumer-id结合client-id能唯一标识消费者，而client-id+随机数生成真正的consumer-id。官方建议理解consumer-id的角色，以避免冲突。
前言
在最近使用Kafka过程中，发现使用@KafkaListener指定分区消费时（指定了所有分区），如果服务是多节点，会出现重复消费的现象，即两个服务节点中的消费者均会消费到相同信息，这与消费者组中只有一个消费者可以消费到消息的规则不相符，于是花时间找了找原因
参考链接：
KafkaConsumer assign VS subscribe
Kafka的assign和subscribe订阅模式
使用kafka-consumer-group.sh查看消息消费情况，CONSUMER-ID，HOST，CLIENT-ID不显示问题分析
kafka _ spring.kafka.listener.concurrency 的使用
kafka之Consumer消费者基本概念
kafka consumer属性
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
