Kafka系列（四）、消费者策略、Rebalance机制、Offset存储机制

最新推荐文章于 2025-09-23 20:54:29 发布
原创 最新推荐文章于 2025-09-23 20:54:29 发布 · 3.1k 阅读 · 39 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请注明出处http://blog.youkuaiyun.com/wsdc0521
文章标签：

#kafka #消费者 #rebalance #offset #原理

本文深入探讨Kafka中消费者组的分区分配策略，包括RandomRobin轮循与Range范围策略的区别及适用场景，并介绍了Rebalance机制如何在消费者或主题变化时进行分区重新分配，以及Offset存储机制确保消费的一致性和可靠性。

目录

分区分配策略

Rebalance机制

Offset存储机制

Kafka系列：

kafka 2.4.1单机版部署及使用

kafka监控系统kafka eagle安装使用

滴滴开源的kafka-manager编译及部署使用

kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用

Kafka系列（一）、2.6.0版本kafka集群搭建

Kafka系列（二）、架构原理及存储机制

Kafka系列（三）、生产者分区策略、ISR、ACK机制、一致性语义

分区分配策略

前面提到消费者组订阅的topic的每个分区只能被同一消费者组内的一个消费者所消费，同一个消费者组内的消费者是如何选择它应该消费的topic的分区有下面两种策略：

  • RandomRobin（轮循）：把消费者组订阅的所有topic当成一个整体来看待，将这些topic内的分区轮循着分配给组内的所有消费者，可以达到均衡分配的目的。但可能会出现这么一种情况：消费者组内的消费者1订阅了topicA，消费者2订阅了topicB，由于对于消费者组来说它将这两个topic都订阅了，结果就是消费者1可能会消费到topicB，消费者2消费到topicA的分区。因此使用这种策略的前提条件是要保证当前消费者组内的所有消费者订阅的topic必须是一样的才可以。
  • Range（范围）：Kafka的默认策略，将topic看成一个整体，只会被消费者组内订阅了该主题的消费者消费，这就保证了不会出现其他未订阅主题的消费者消费到了不该消费的数据。但这种策略也可能会出现负载不均衡的情况，例如topicA有3个分区，topicB也有3个分区，消费者1和2都订阅了topicA和topicB，由于range机制，让消费者1消费了2+2=4个分区，消费者2消费了1+1=2个分区。

因此当消费者组内都订阅了相同的主题时建议使用RandomRobin轮循策略，这样能够达到让消费者负载均衡的状态。当消费者组内订阅的主题不一样的时候就必须要用Range范围策略。

 

Rebalance机制

消费者组内的消费者成员消费的主题分区会在下面这些场景下发生重新分配，这种机制叫做Rebalance机制 ：

  • 消费者组内消费者的数量发生变化时。
    • (1). 新增消费者；
    • (2). 消费者故障；
    • (3). 当消费者组内数量和分区数量完全一致时，如果再加入一个消费者，此时也会触发重新分配，但结果是有一个组内消费者消费会不到分区，处于资源浪费的状态。
  • 消费者组订阅的 Topic 数量发生变化时。
  • 消费者组订阅的 Topic 的分区数量发生变化时。

Offset存储机制

由于消费者在消费消息的时候可能会由于各种原因而断开消费，当重新启动消费者时我们需要让它接着上次消费的位置offset继续消费，因此消费者需要实时的记录自己以及消费的位置。在0.90版本之前，这个信息是记录在zookeeper内的，在0.90之后的版本，offset保存在__consumer_offsets 这个topic内。

由于上面介绍的rebalance分区重新分配的情况出现，因此offset是按照消费者组单位来存储的，在zk内也是按照消费者组来记录offset的。根据ConsumerGroup、Topic、Partition 我们可以确定一个唯一的offset，当消费者组内触发rebalance机制时，消费者组内的其他消费者也可以根据记录的<ConsumerGroup - Topic - Partition>来定位前一个消费者消费到的offset进而接着上次的Offset继续消费，来保证消费端的一致性。

 

希望本文对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

【Kafka】kafka 重平衡（Rebalance）
九师兄
09-21 2万+
说完消费者组，再来说说与消费者组息息相关的重平衡机制。重平衡可以说是kafka为人诟病最多的一个点了。重平衡其实就是一个协议，它规定了如何让消费者组下的所有消费者来分配topic中的每一个分区。比如一个topic有100个分区，一个消费者组内有20个消费者，在协调者的控制下让组内每一个消费者分配到5个分区，这个分配的过程就是重平衡。重平衡的触发条件主要有三个：消费者组内成员发生变更，这个变更包括了增加和减少消费者。注意这里的减少有很大的可能是被动的，就是某个消费者崩溃退出了。
kafka rebalance机制详解
刘正阳的专栏
05-08 2412
首先我们回忆一下kafka的基本的架构，kafka分为producer、broker和consumer。 为了能够横向扩展提升消息发送消费性能， 通过增加partition的方式，让消息能够保存到多个broker上。 为了提升消费性能，增加了consumer group的概念，一个topic下同一个consumer group中的不同consumer实例可以共同消费提升消费能力多个consumer消费同一个topic上的不同partition，就需要对consumer进行协调，
Kafka Rebalance机制
dly1580854879的博客
07-27 669
一.什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka 会为每个 Consumer 平均的分配 5 个分区。这个分配的过程就是 Rebalance。 二、触发 Rebalance 的时机 Rebalance .
Kafka Rebalance机制全解析
最新发布
lifallen的博客
09-23 886
Kafka的Rebalance机制负责在消费者组中重新分配分区所有权，确保高可用性和负载均衡。传统Eager Rebalance会导致服务暂停，而增量协作式Rebalance(KIP-429)通过分步迁移减少了中断时间。最新的服务端Rebalance协议(KIP-848)将分配逻辑移至服务端，简化了流程并提高了效率。对于Kafka Streams等有状态应用，还引入备用副本和预热副本来加速恢复。Rebalance机制经历了从 全部暂停 到 渐进优化 再到 服务端集中管理"的演进，不断提升系统的可用性和性能。
Kafka Rebalance机制分析
weixin_30325071的博客
08-24 427
什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka 会为每个 Consumer 平均的分配 5 个分...
Kafka的Rebalance机制
Blackic_960703的博客
08-05 5926
Kafka中的rebalance分配机制
Kafka 消费者 Rebalance 机制详解
AI天才研究院
04-16 591
Rebalance（再均衡）是 Kafka 消费者组（Consumer Group）的一个核心机制，它在消费者组成员发生变化或订阅的主题分区数量发生变化时触发，目的是重新分配消费者组内各个消费者与主题分区之间的所有权关系，确保消费负载均衡。简单来说，Rebalance 就是重新分配哪个消费者负责消费哪些分区的过程。Rebalance 机制是 Kafka 消费者组实现负载均衡和容错的核心，但不当的 Rebalance 也会带来性能问题。
深入Kafka消费者群组：掌握offset管理和rebalance机制
[深入Kafka消费者群组：掌握offset管理和rebalance机制](https://img-blog.csdnimg.cn/08fc526c94634a6a8b602dd2b34d408e.png) # 摘要 本文全面深入地探讨了Kafka消费者群组的关键组成部分及其优化方法。首先，本文...
大数据技术Kafka详解 ④ | Kafka中的数据不丢失机制与配置文件说明
热门推荐
dvlinker的技术专栏
01-06 1万+
本文详细介绍Kafka中的数据不丢失机制以及配置文件说明。
消息队列基础面试题：Kafka中的消息偏移量（Offset）管理机制及其在消费者状态跟踪中的作用
qq_61302385的博客
05-11 740
本文通过模拟面试的形式，深入探讨了Kafka中的Offset管理机制及其在消费者状态跟踪中的作用。从基本概念到存储机制、提交机制、优化策略，再到崩溃恢复和高可用性，全面覆盖了Offset相关的核心知识点。希望这篇文章能为读者在Kafka相关的面试或学习中提供帮助。
Kafka的生产者与消费者机制+分区策略你这还不懂？
12-28 2182
什么是Kafka Kafka是最初由Linkedin公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，也是一个开源【分布式流处理平台】，由Scala和Java编写，（也当做MQ系统，但不是纯粹的消息系统） 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成 生产者与消费者机制 在Kaf
Kafka的rebalance机制
Destiny_shine的博客
01-02 1480
例如：同一消费者组中，有 3 个消费者 C0、C1 和 C2，他们共订阅了 3 个主题：t0、t1 和 t2，这 3 个主题分别有 1、2、3 个分区(即:t0有1个分区(p0)，t1有 2 个分区(p0、p1)，t2 有 3 个分区(p0、p1、p2))，即整个消费者所订阅的所有分区可以标识为 t0p0、t1p0、t1p1、t2p0、t2p1、t2p2。举例，有三个消费者 C0，C1，C2。每个主题各有两个分区， t0p0，t0p1，t1p0，t1p1，t2p0，t2p1，t3p0，t3p1。
kafka的rebalance机制
qq_40322236的博客
11-10 6039
Reblance就像他的名称一样，意思是再平衡，平衡什么？平衡和之间的对应关系。本质上来讲，Reblance是一种协议，规定了一个Consumer Group下所有Consumer如何达成一致，来分配订阅Topic的每个分区，尽量让每个消费者分配到相对均匀的分区，使Consumer的资源都能得到充分利用，防止有些Consumer比较忙，有的Consumer比较闲。
Kafka 重平衡（Rebalance）机制
weixin_43680337的博客
08-06 941
Kafka 重平衡（Rebalance）是指消费者组内消费者数量发生变化（增加或减少）或主题分区数量发生变化时，Kafka 重新分配分区给消费者的过程。分区在所有消费者之间公平分配每个分区在任何时候都只被组内的一个消费者消费当消费者加入或离开组时，分区所有权会转移。
kafka rebalance机制
weixin_30915951的博客
05-20 155
kafka rebalance机制 Kafka保证同一consumer group中只有一个consumer会消费某条消息，实际上，Kafka保证的是稳定状态下每一个consumer实例只会消费某一个或多个特定的数据，而某个partition的数...
Kafka-Rebalance机制
林竹清_清清清
04-26 1833
重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下： 作者：tracy_668 链接：https://www.jianshu.com/p/80721b0bdd1b 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 ...
kafka的Rebalance机制
qq_39432354的博客
02-09 1448
选举机制 如果kafka集群有多个broker节点，消费组会选择哪个partition节点作为Coordinator节点呢？它会通过如下公式，其中的50代表着kafka内部主题consumer offset的分区总数 Math.abs(hash(groupID)) % 50 那么当前Consumer Group的Coordinator就是上述公式计算出的partition的leader partition Rebalance流程 Coordinator发生Rebalance的时候，Coordinator并不
kafka Rebalance 机制详解
06-19
<think>我们有两个问题需要回答：1.Kafka的Rebalance机制详解2.消费者如何从上次消费的offset继续消费（消费流程和offset恢复）根据用户提供的引用，我们可以整合信息来回答。首先，关于Rebalance机制：引用[1][2][3][4][5]都提到了Rebalance机制，尤其是引用[3]详细列举了触发Rebalance的条件。其次，关于offset恢复：在之前的回答中，我们已经解释了offset存储在`__consumer_offsets`主题中，消费者重启后会从该主题获取上次提交的offset继续消费。而Rebalance过程中，分区的分配会发生变化，但offset的存储与消费者组绑定，因此新的消费者会从该组最后提交的offset开始消费。因此，我们可以将回答分为两部分：第一部分：Rebalance机制详解-定义：Rebalance（再平衡）是Kafka消费者组内部分区重新分配的过程。-触发条件（根据引用[3]）：1.消费者加入或离开消费者组2.消费者崩溃或失去连接3.主题的分区数量发生变化4.消费者组协调器变更5.消费者组成员发送心跳失败-过程（需要结合引用[4][5]）：-当触发条件发生时，消费者组会进入Rebalance状态。-所有消费者停止消费，等待重新分配分区。-组协调器（GroupCoordinator）负责管理再平衡过程，选举出组领导者（LeaderConsumer），然后由领导者根据分配策略（如RangeAssignor、RoundRobinAssignor等）为所有成员分配分区，并将分配结果发送给协调器，协调器再分发给所有消费者。-消费者收到新的分区分配后，开始从分配到的分区的offset继续消费。-影响（引用[1][2]）：-重复消费：在Rebalance期间，消费者停止消费，但可能已经处理了部分消息但未提交offset，重新分配后新消费者可能从之前的offset开始消费，导致重复消费。-延迟增加：Rebalance期间整个消费者组停止工作，导致消费延迟。-优化（引用[1][2]）：-避免频繁的Rebalance：增加`session.timeout.ms`（消费者被认为失效的时间）和`heartbeat.interval.ms`（发送心跳的时间间隔）的配置，让消费者有更多时间发送心跳。-减少Rebalance的影响：使用增量Rebalance（Kafka2.4+支持，即CooperativeStickyAssignor），允许消费者在Rebalance期间继续消费未受影响的分区。-确保快速完成Rebalance：减少一次性处理的消息数量（减少`max.poll.records`），避免消费者处理消息时间过长导致心跳超时。第二部分：消费者从上次消费的offset继续消费的流程-在正常情况下（无Rebalance），消费者通过提交offset到`__consumer_offsets`主题来记录消费位置。当消费者重启时，它会从该主题读取该消费者组在该分区的最后提交的offset，然后从这个offset开始消费。-在Rebalance过程中，分区被重新分配给消费者，新的消费者会从该消费者组在该分区最后提交的offset开始消费（即offset恢复）。注意，这里的offset是消费者组级别的，所以即使消费者换了，只要在同一个组，就会从同一个offset继续。因此，整个消费流程包括：1.消费者启动，加入消费者组（可能触发Rebalance）。2.消费者被分配分区（可能是Rebalance的结果）。3.消费者从分配到的分区的最后提交的offset开始拉取消息。4.消费者处理消息，并定期提交offset（自动或手动）。5.如果消费者故障退出，触发Rebalance，其他消费者（或重启后的该消费者）重新分配分区，并重复步骤3。注意：在Rebalance期间，如果消费者处理了消息但还没来得及提交offset，那么这些消息可能会被重新消费（因为offset没有提交，新消费者会从旧的已提交offset开始）。因此，建议在消息处理完成后立即手动提交offset，以减少重复消费。根据以上分析，我们可以组织回答。</think>### Kafka Rebalance 机制详解与消费者 Offset 恢复流程 #### 一、Rebalance（再平衡）机制详解 Rebalance 是 Kafka 消费者组实现负载均衡的核心机制，当消费者组状态变化时，会触发分区重新分配。以下是关键要点： 1. **触发条件**（引用[3]） - ✅ 消费者加入/离开组（如新增 B2 消费者） - ✅ 消费者崩溃或失联（如 A1 宕机） - ✅ 主题分区数变更（如 topic 分区从 3→5） - ✅ 协调器（Coordinator）变更 - ✅ 心跳超时（默认 10 秒未发送心跳） ```mermaid graph LR A[消费者A1宕机] --> B[协调器检测心跳超时] B --> C[标记消费者失效] C --> D[触发Rebalance] ``` 2. **执行流程**（引用[2][4]） - **阶段1**：所有消费者停止消费，向协调器发送 JoinGroup 请求 - **阶段2**：选举 Leader 消费者，执行分区分配策略（Range/RoundRobin） - **阶段3**：协调器同步分配方案（SyncGroup） - **阶段4**：消费者获取新分配的分区并恢复消费 3. **性能问题与优化**（引用[1]） | 问题 | 原因 | 解决方案 | |---|---|---| | 重复消费 | Rebalance 期间 offset 未提交 | 减小 `max.poll.interval.ms` | | 消费延迟 | 全组暂停消费 | 使用增量 Rebalance（Kafka 2.4+） | | 频繁触发 | 心跳超时敏感 | 调整 `session.timeout.ms=45s` | #### 二、消费者 Offset 恢复机制 当消费者 A1 故障恢复后，其消费流程如下： 1. **Offset 存储原理** - Offset 存储在 Kafka 内部主题 `__consumer_offsets` - 提交方式： - **自动提交**：`enable.auto.commit=true`（默认每 5 秒） - **手动提交**：`consumer.commitSync()`（更可靠） 2. **恢复流程**（以 A1 重启为例） ```mermaid sequenceDiagram A1->>Coordinator: 发送 JoinGroup 请求 Coordinator->>A1: 分配分区 P0 A1->>__consumer_offsets: 查询最后提交的 offset __consumer_offsets-->>A1: 返回 offset=102 A1->>Broker: 从 offset=103 开始拉取消息 ``` 3. **关键配置** ```java // 消费者配置示例 props.put("group.id", "groupA"); props.put("auto.offset.reset", "latest"); // 无offset时策略 props.put("enable.auto.commit", "false"); // 推荐手动提交 ``` 4. **异常处理** - 当 offset 不存在时（如首次启动）： - `earliest`：从分区首条消息开始 - `latest`：从最新消息开始（可能丢数据） - 重复消费防护：在业务逻辑中实现幂等性处理 #### 三、完整消费流程与 Rebalance 关联 1. **正常消费流程** `拉取消息 → 业务处理 → 提交offset → 周期性心跳` 2. **故障场景联动** - A1 宕机 → 心跳超时 → 触发 Rebalance - B1 接管 A1 的分区 → 从 __consumer_offsets 读取 A 组 offset - A1 恢复后 → 新 Rebalance → A1 重新分配分区并恢复 offset > **最佳实践**：使用手动提交 offset + 合理心跳配置，可减少 70% 的异常 Rebalance（引用[1][4]）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值