Kafka consumer rebalance解析

Kafka与Flume-ng消息架构优化
最新推荐文章于 2025-08-03 00:00:46 发布
最新推荐文章于 2025-08-03 00:00:46 发布
阅读量140 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 jira
原文链接：https://yq.aliyun.com/articles/476852

线上使用Kafka0.72+Flume-ng 1.4的消息架构；流入到HDFS使用的Flume根据容量分析使用率太低了，决定从8个实例缩减到4个实例，在down实例的过程中的消息流入量per sec如下图：

010029284.png

这个Kafka的Topic共有10个partitions；在down实例的时候发生了一些抖动，不过是十分有规律并且可以预测的.

kafka的rebalance assigment是固定的；将partition按照consumer的label排序，然后进行取模分配：即第m个partition，如果一个consumer group有n个consumers，则分配到给第（m mod n）个consumer；其实根据这个算法完全可以预测出上图的波动了.另外，根据该算法，如果consumer的个数大于partition的数目那么多余的consumer不会消费到消息(https://issues.apache.org/jira/browse/KAFKA-687https://issues.apache.org/jira/browse/KAFKA-564)；

不过，kafka的rebalance算法在0.8还是不成熟的：最明显的当属herd effect了；每当一个consumer加入或者删除，或者partition增加或者减少都会导致所有的consumer进行一次rebalance操作；0.9对rebalance做了新的design(https://issues.apache.org/jira/browse/KAFKA-264)引入了consumer co-ordination.


本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1300306，如需转载请自行联系原作者


Kafka Consumer Rebalance 算法原理和代码实现详细讲解
AI天才研究院
04-18 381
整个 Rebalance 过程由 Group Coordinator （一个被选定的 Broker 节点）协调完成，消费者客户端（通过 AbstractCoordinator 及其子类 ConsumerCoordinator ）与之交互。触发 Rebalance : Coordinator 检测到上述任一触发条件。
【kafka】记一次线上kafka一直rebalance故障 消费慢 数据积压
九师兄
11-18 4151
文章目录1.背景2. 分析问题3.分析原因4.拉取偏移量与提交偏移量5.解决方案5.1.增加max.poll.interval.ms处理时长5.2设置分区拉取阈值5.3.poll到的消息，处理完一条就提交一条，当出现提交失败时，马上跳出循环，这时候kafka就会进行rebalance,下一次会继续从当前offset进行消费。6.场景再现27.场景再现3 1.背景 今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误
Kafka Rebalance详解
热门推荐
qq_35901141的博客
04-14 1万+
1.rebalance概览 rebalance中文含义为再平衡。它本质上是一组协议，它规定了一个 consumer group 是如何达成 致来分配订阅 topic 的所有分区的。比方说Consumer Group A 有3个consumer 实例，它要消费一个拥有6个分区的topic，每个consumer消费2个分区，这就是rebalance。rebalance是相对于consumer group 而言，每个consumer group会从kafka broker中选出一个作为组协调者（group coo
Kafka 消费者组（Consumer Group）与分区再平衡（Rebalance）详解
最新发布
csdn_tom_168的博客
08-03 834
Kafka 消费者组与分区再平衡深度解析：消费者组（Consumer Group）通过共享 group.id 实现消息的负载均衡（点对点）或广播（发布-订阅）。核心机制 Rebalance 在消费者增减、分区变化时触发，重新分配分区以保证高可用，但会导致消费暂停、重复消费等问题。优化建议包括：使用 CooperativeStickyAssignor 减少停顿、调整心跳参数（如 session.timeout.ms）、控制单次拉取量（max.poll.records），并监控 Rebalance 频率。关键原
Kafka rebalance 重平衡深度解析
秀强的专栏
04-26 1489
文章目录rebalance 触发条件分区分配策略rebalance generation消费者状态机rebalance 协议消费者端 rebalance 流程Broker 端重平衡场景解析新成员入组组成员主动离场组成员崩溃离场重平衡时协调者对组内成员提交位移的处理rebalance 监听器 consumer group 是用于实现高伸缩性、高容错性的 consumer 机制。组内多个 consumer 实例可以同时读取 Kafka 消息，而且一旦有某个 consumer “挂”了，consumer grou
kafka rebalance你真的了解吗
m88997766的博客
03-29 236
今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都是由于 rebalance 引起的，rebalance 也就是再均衡，顾名思义，再均衡就是再次负载均衡，下面会对再均衡进行一个详细的描述。
kafka rebalance 总结说明图
请叫我大师兄
11-04 1797
用kafka的第一件事儿就得了解kafka的重平衡，即kafka的rebalance，这个很重要，不然这个kafka就会使不好的，出问题了，就理解不了，得了解一下什么是rebalance，能干啥，为啥要rebalance，rebalance的缺点和影响。
KafkaConsumer深度解析：ConsumerGroup与Rebalance机制
"Kafka设计解析（五）-KafkaConsumer设计解析" Kafka是一个分布式流处理平台，其消费者设计是其核心组件之一。本篇文章主要关注Kafka的HighLevelConsumer、ConsumerGroup、ConsumerRebalance以及LowLevelConsumer的...
Kafka Connect Rebalance协议解析：Eager Rebalance VS Imcremental Cooperative Rebalance
feeling890712的博客
06-03 1017
Kafka Connect Rebalance协议解析：Eager Rebalance VS Imcremental Cooperative RebalanceEager Rebalance第一个新成员加入时其他新成员加入时组成员离开时Imcremental Cooperative Rebalance第一个组成员加入时其他新成员加入时普通成员离开时Leader离开时Leader离开后又马上返回时总结参考文档 在Kafka Connect的配置中有connect.protocol配置，可用于配置同一组Kafk
Kafka consumer group balance原理及源码解读(range/round robin/sticky)
01-20 1448
目录 序言 Range 算法 示例 Round Robin 算法 核心源码 示例 Sticky 数据结构&算法 数据结构 算法 示例 核心方法 代码步骤 平衡判断 序言 kafka在0.11版本后提供了Range、Round Robin、Sticky三种consumer group partition分配策略，其中Range、Round Robin...
kafka rebalance机制
大JAVA解决方案
04-18 827
kafka rebalance机制 Kafka保证同一consumer group中只有一个consumer会消费某条消息，实际上，Kafka保证的是稳定状态下每一个consumer实例只会消费某一个或多个特定的数据，而某个partition的数据只会被某一个特定的consumer实例所消费。这样设计的劣势是无法让同一个consumer group里的consumer均匀消...
从一个消费慢的例子深入理解 kafka rebalance
欢迎关注公众号：【码农突围】，回复9999，可以获取一份LeetCode刷题笔记
03-12 304
点击上方“码农突围”，马上关注这里是码农充电第一站，回复“666”，获取一份专属大礼包 真爱，请设置“星标”或点个“在看”文章来源：https://lxkaka.wang/kafka-re...
Kafka入门之consumer--rebalance流程
weixin_30593443的博客
07-18 346
重平衡(rebalance) 旧版本Kafka依托于Zk进行rebalance，新版本consumer使用了Kafka内置的一个全新的组协调协议。对于每个组而言，Kafka的某个broker会被选举为组协调者(coordinator)。 触发条件： 1.组成员发生变更。 2.组订阅topic数发生变更。比如使用基于正则表达式的订阅，当匹配正则表达式的新topic被创建时则会触发r...
kafka的rebalance机制
qq_40322236的博客
11-10 5919
Reblance就像他的名称一样，意思是再平衡，平衡什么？平衡和之间的对应关系。本质上来讲，Reblance是一种协议，规定了一个Consumer Group下所有Consumer如何达成一致，来分配订阅Topic的每个分区，尽量让每个消费者分配到相对均匀的分区，使Consumer的资源都能得到充分利用，防止有些Consumer比较忙，有的Consumer比较闲。
Kafka——Rebalance重平衡
吴声子夜歌的博客
08-15 1588
如图所示，Generation1时group有3个成员，随后成员2退出组，coordinator触发rebalance,consumer group进入到Generation2时代，之后成员4加入，再次触发rebalance,group进入到Generation3时代。针对rebalance过程中的分区分配，下面举一个简单的例子，加以说明。由此可见，原先A和B分别处理3个分区的数据，rebalance之后A、B和C各自承担2个分区的消费，可以说这个分配方案非常公平，每个consumer上的负载是相同的。
Kafka-消费者-Consumer Group Rebalance设计
andy的博客
01-17 1672
在同一个Consumer Group中，同一个Topic的不同分区会分配给不同的消费者进行消费，那么为消费者分配分区的操作是在Kafka服务端完成的吗?分区是如何进行分配呢?下面来分析Rebalance操作的原理。
Kafka系列1----Consumer Rebalance过程
菜鸟一名
02-19 5072
1.Coordinator介绍 Coordinator简单的总结一下就是负责协调组内partition分配，以及Group的管理，每个Broker上都有一个GroupCoordinator的实例 负载均衡的过程涉及以下的几个概念 - group member：一个消费组类的成员 - group leader：一个消费组的leader，负责分配partition - coodinator：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值