kafka的消费者rebalance机制

最新推荐文章于 2025-06-09 22:53:27 发布

科学的N次方

最新推荐文章于 2025-06-09 22:53:27 发布

阅读量461

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/118072494

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Kafka的消费者组中，每个消费者只能属于一个组，并且一个分区在同一时间只能被组内一个消费者消费。Rebalance是确保消费者如何公平分配topic分区的过程，触发条件包括consumer数量变化、topic或分区数量变化。Rebalance期间，消费者会暂停工作，直至再均衡完成，这对消费者组性能有显著影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka中
attention：
一个消费者只能属于一个消费者组；
某个消费者组中的一个消费者可以同一时刻消费某个topic内的多个partition；
某个topic内的一个partition同一时刻只能被某个消费者组内的一个消费者消费；
一个消费者组可以同时消费多个topic,一个消费者也可以同时订阅多个topic,这个消费者组内的消费者都尝试订阅topic1和topic2…topn,但是最终某个topic的某个具体partition只会被组内的某一个消费者消费;
消费者组之间不受此影响；
在这里插入图片描述

Rebalance是kafka中确保Consumer group 下所有的consumer如何达成一致，分配订阅的topic的每个分区的机制。
Rebalance触发的时机有：
1.消费者组中consumer的个数发生变化。例如有新的consumer加入到消费者组，或者是某个consumer停止了。
2.订阅的topic的个数发生了变化
消费者可以订阅多个主题，假设当前的消费者组订阅了三个主题，但有一个主题突然被删除了，此时也需要发生再均衡。
3.订阅的分区数量发生了变化

Rebalance过程会对consumer group产生非常严重的影响，Rebalance的过程中所有的消费者都将停止工作，直到Rebalance完成。