Kafka ConsumerGroup 深入解析

原创 于 2025-08-14 17:31:45 发布 · 893 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Kafka # Message Queue # Distributed Systems

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）、《解密程序员的思维密码——沟通、演讲、思考的实践》作者、清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。

📙不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

Java程序员廖志伟

💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

优快云

🌟 Kafka ConsumerGroup 深入解析

🍊 1. ConsumerGroup 概念

Kafka ConsumerGroup 是 Kafka 中实现消息消费负载均衡和故障恢复的关键机制。它允许多个消费者实例协同工作，共同消费同一个 Kafka 主题，每个消费者实例都属于一个 ConsumerGroup。

🎉 1.1 ConsumerGroup 定义

ConsumerGroup 是一组消费者实例的集合，它们共同消费同一个 Kafka 主题的消息。每个消费者实例只能消费其分配到的分区内的数据，而同一分区内的数据只能由 ConsumerGroup 中的一个消费者实例消费。

🎉 1.2 ConsumerGroup 作用

  • 负载均衡：ConsumerGroup 将主题的分区均匀分配给组内的消费者实例，实现负载均衡。
  • 故障恢复：当消费者实例出现故障时，Kafka 会自动将故障实例的分区重新分配给其他消费者实例，确保消费的连续性。
  • 消息顺序性：ConsumerGroup 保证同一分区内的消息顺序性，即同一分区内的消息只会被 ConsumerGroup 中的一个消费者实例消费。

🎉 1.3 ConsumerGroup 特点

  • 分布式：ConsumerGroup 支持分布式消费，可以扩展到多个消费者实例。
  • 容错性：ConsumerGroup 具有良好的容错性，可以自动处理消费者实例的故障。
  • 顺序性：保证同一分区内的消息顺序性。

🍊 2. ConsumerGroup 配置

🎉 2.1 GroupId 配置

GroupId 是 ConsumerGroup 的唯一标识符，用于区分不同的 ConsumerGroup。在创建 ConsumerGroup 时，需要指定 GroupId。

props.put("group.id", "testGroup");

🎉 2.2 BootstrapServers 配置

BootstrapServers 是 Kafka 集群的连接地址，用于消费者实例连接到 Kafka 集群。

props.put("bootstrap.servers", "localhost:9092");

🎉 2.3 Key.Deserializer 配置

Key.Deserializer 用于反序列化 Kafka 消息的键。

props.put("key.deserializer", StringDeserializer.class);

🎉 2.4 Value.Deserializer 配置

Value.Deserializer 用于反序列化 Kafka 消息的值。

props.put("value.deserializer", StringDeserializer.class);

🎉 2.5 Auto Offset Reset 配置

Auto Offset Reset 用于设置消费者消费消息时，如果找不到对应的偏移量，则从哪个位置开始消费。

props.put("auto.offset.reset", "earliest");

🎉 2.6 Enable Auto Commit 配置

Enable Auto Commit 用于设置消费者是否自动提交偏移量。

props.put("enable.auto.commit", "true");

🍊 3. ConsumerGroup 使用

🎉 3.1 创建 ConsumerGroup

创建 ConsumerGroup 需要指定 GroupId、BootstrapServers、Key.Deserializer、Value.Deserializer 等配置。

Properties props = new Properties();
props.put("group.id", "testGroup");
props.put("bootstrap.servers", "localhost:9092");
props.put("key.deserializer", StringDeserializer.class);
props.put("value.deserializer", StringDeserializer.class);
props.put("auto.offset.reset", "earliest");
props.put("enable.auto.commit", "true");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

🎉 3.2 订阅 Topic

消费者实例需要订阅需要消费的 Topic。

consumer.subscribe(Collections.singletonList("testTopic"));

🎉 3.3 消费消息

消费者实例从 Kafka 集群拉取消息，并进行处理。

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
}

🎉 3.4 处理消息

消费者实例对拉取到的消息进行处理，例如存储、计算等。

🎉 3.5 关闭 ConsumerGroup

关闭 ConsumerGroup 时，需要手动提交偏移量，确保消费的连续性。

consumer.close();

🍊 4. ConsumerGroup 状态管理

🎉 4.1 Offset 管理机制

Offset 管理机制用于记录消费者消费消息的偏移量，确保消费的连续性。

🎉 4.2 Commit Offset

消费者实例可以手动提交偏移量，确保消费的连续性。

consumer.commitSync();

🎉 4.3 Offset Commit 策略

Offset Commit 策略用于控制偏移量的提交方式，例如手动提交和自动提交。

🎉 4.4 Offset Lag 监控

Offset Lag 监控用于监控消费者实例的消费延迟，及时发现和处理消费问题。

🍊 5. ConsumerGroup 故障处理

🎉 5.1 Rebalance 机制

Rebalance 机制用于处理消费者实例的故障，将故障实例的分区重新分配给其他消费者实例。

🎉 5.2 Rebalance 事件

Rebalance 事件包括消费者实例加入、离开、分区分配等。

🎉 5.3 Rebalance 过程

Rebalance 过程包括消费者实例加入、离开、分区分配、偏移量同步等。

🎉 5.4 Rebalance 故障处理

Rebalance 故障处理包括处理 Rebalance 事件、同步偏移量等。

🍊 6. ConsumerGroup 性能优化

🎉 6.1 批量消费

批量消费可以提高消费效率，减少网络开销。

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    if (records.isEmpty()) {
        continue;
    }
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
}

🎉 6.2 消费者线程数优化

优化消费者线程数可以提高消费效率，减少资源消耗。

🎉 6.3 消息拉取策略优化

优化消息拉取策略可以提高消费效率，减少资源消耗。

🎉 6.4 内存优化

优化内存使用可以提高消费效率，减少资源消耗。

🍊 7. ConsumerGroup 与其他消息队列对比

🎉 7.1 与 RabbitMQ 对比

对比项KafkaRabbitMQ
分布式支持支持
容错性支持支持
顺序性支持支持
性能高高

🎉 7.2 与 RocketMQ 对比

对比项KafkaRocketMQ
分布式支持支持
容错性支持支持
顺序性支持支持
性能高高

🎉 7.3 与 ActiveMQ 对比

对比项KafkaActiveMQ
分布式支持支持
容错性支持支持
顺序性支持支持
性能高高

🎉 7.4 与 Pulsar 对比

对比项KafkaPulsar
分布式支持支持
容错性支持支持
顺序性支持支持
性能高高

🍊 8. ConsumerGroup 应用场景

🎉 8.1 实时数据处理

ConsumerGroup 可以用于实时数据处理，例如实时日志分析、实时监控等。

🎉 8.2 日志收集

ConsumerGroup 可以用于日志收集，例如收集系统日志、业务日志等。

🎉 8.3 消息队列解耦

ConsumerGroup 可以用于消息队列解耦，例如将消息队列与业务系统解耦，提高系统的可扩展性。

🎉 8.4 分布式系统协调

ConsumerGroup 可以用于分布式系统协调，例如分布式锁、分布式任务调度等。

应用场景场景描述
实时数据处理用于处理实时数据流，如股票交易、社交媒体分析等。
日志收集用于收集和分析系统日志，帮助监控和调试系统。
消息队列解耦用于解耦消息生产者和消费者，提高系统的灵活性和可维护性。
分布式系统协调用于协调分布式系统中的不同组件，如分布式锁、分布式任务调度等。

优快云

博主分享

📥博主的人生感悟和目标

Java程序员廖志伟

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。

面试备战资料

八股文备战
场景描述链接
时间充裕（25万字）Java知识点大全（高频面试题）Java知识点大全
时间紧急（15万字）Java高级开发高频面试题Java高级开发高频面试题

理论知识专题（图文并茂，字数过万）

技术栈链接
RocketMQRocketMQ详解
KafkaKafka详解
RabbitMQRabbitMQ详解
MongoDBMongoDB详解
ElasticSearchElasticSearch详解
ZookeeperZookeeper详解
RedisRedis详解
MySQLMySQL详解
JVMJVM详解

集群部署（图文并茂，字数过万）

技术栈部署架构链接
MySQL使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群Docker-Compose部署教程
Redis三主三从集群（三种方式部署/18个节点的Redis Cluster模式）三种部署方式教程
RocketMQDLedger高可用集群（9节点）部署指南
Nacos+Nginx集群+负载均衡（9节点）Docker部署方案
Kubernetes容器编排安装最全安装教程

开源项目分享

项目名称链接地址
高并发红包雨项目https://gitee.com/java_wxid/red-packet-rain
微服务技术集成demo项目https://gitee.com/java_wxid/java_wxid

管理经验

【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案：https://download.youkuaiyun.com/download/java_wxid/91148718

希望各位读者朋友能够多多支持！

现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~

Kafka ConsumerGroup 深度解析
JavaCodePro的博客
08-17 842
在大型分布式系统中，数据的高效处理和实时分析是至关重要的。假设我们正在开发一个实时数据分析平台，该平台需要从多个数据源中实时收集数据，并进行实时处理和展示。在这个过程中，我们可能会遇到一个场景：多个消费者需要同时从同一个 Kafka 集群中消费相同主题的数据。如果不进行合理的组织和管理，这些消费者可能会相互干扰，导致数据重复消费或消费不完整。为了解决这一问题，我们需要引入 Kafka 的 ConsumerGroup 概念。
深入理解Kafka Consumer：从理论到实战
m0_71836706的博客
06-15 983
从拉取模型与推模型的对比，到 Consumer Group 机制中的 Rebalance 流程和 Offset 管理，再到新旧消费 API 的差异，以及在实时日志解析服务中的实战应用，每一个环节都揭示了 Kafka 在消息处理领域的强大能力和灵活性。​Consumer Group 机制通过 Rebalance 实现了动态的负载均衡和故障恢复，Offset 管理确保了消费进度的可靠记录。
applicationContext.xml用法
12-18
详解Spring的applicationContext.xml文件代码：
Spring MVC 框架解析
最新发布
JavaCodePro的博客
07-24 913
📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》、（架构篇）、作者、清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。
RabbitMQ和Kafka的比较
Docker的专栏
03-18 1703
导言作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的...
[转]分布式服务框架 Zookeeper -- 管理分布式环境中的数据
heiyeluren的blog（黑夜路人的开源世界）
12-07 2969
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、Leader 选举、队列管理等），用 Java 实现它们并给出示例代码。
消息队列选型之 Kafka vs RabbitMQ
qq_36176028的博客
06-27 2696
消息队列即 Message+Queue，消息可以说是一个数据传输单位，它包含了创建时间、通道/主题信息、输入参数等全部数据；队列（Queue）是一种 FIFO（先进先出）的数据结构，编程语言一般都内置(内存中的)队列实现，可以作为进程间通讯（IPC）的方法。使用队列最常见的场景就是生产者/消费者模式：生产者生产消息放到队列中，消费者从队列里面获取消息消费。
Kafka Consumer Group机制解析
Kafka Consumer Group简介 ### 1.1 什么是Kafka Consumer Group Kafka Consumer Group是Kafka中一种重要的消息消费机制。它允许多个消费者进程共同组成一个组，并从一个或多个主题订阅消息。每个组内的消费者可以...
KafkaConsumer详解：ConsumerGroup与HighLevelConsumer
本文深入解析了KafkaConsumer，特别是HighLevelConsumer的设计和其在Kafka生态系统中的角色。在Kafka中，消费者不再是一个独立的实体，而是作为ConsumerGroup的一部分进行工作。 HighLevelConsumer是为了解决应用...
Apache Kafka Consumer深入解析：消息消费流程与配置
Apache Kafka Consumer简介 ## 1.1 什么是Apache Kafka Consumer Apache Kafka Consumer是Kafka消息队列中的一个重要组件，用于接收并处理Producer发送的消息。它可以订阅一个或多个主题，并从分区中拉取消息，...
spring之ApplicationContext
lgh3293的博客
03-13 257
context的核心作用是ApplicationContext接口，这是由BeanFactory接口派生而来。同时，context还提供了以下的功能：1) MessageSource,提供国际化的消息访问2)资源访问，如URL和文件3）事件传播，实现了ApplicationListener接口的bean4)惯入多个上文，使得每一个上下文都专注于一个特定的层次，比如应用的web层.   1.Me...
Spring ApplicationContext
盲目的拾荒者的博客
06-18 735
详细探索 Spring ApplicationContext接口Spring 框架的主要特性之一是 IoC（控制反转）容器。Spring IoC 容器负责管理应用程序的对象。它使用依赖注入来实现控制反转。接口*BeanFactory* 和*ApplicationContext* 代表 Spring IoC 容器。这里，BeanFactory是访问 Spring 容器的根接口。它提供了管理 bean 的基本功能。另一方面，ApplicationContext 是BeanFactory的子接口。因此，它提供了B
【Spring系列】- ApplicationContext
m0_68383079的博客
02-28 1063
ApplicationContext构建于BeanFactory之上，除了拥有BeanFactory支持的所有功能之外，还进一步扩展了基本容器的功能，包括BeanFactoryPostProcessor、BeanPostProcessor以及其他特殊类型bean的自动识别、容器启动后bean实例的自动初始化、国际化的信息支持、容器内事件发布等
ApplicationContext小记
无刃小刀
07-31 2218
ApplicationContext对于Spring框架起着举重轻重的重用，自己在学习时作了一些笔记，其中有很多部分从夏昕的《springGuild》ApplicationContext覆盖了BeanFactory的所有功能，并提供了更多的特性，但相对于BeanFactory，ApplicationContext提供了以下的扩展功能：1． 国际化支持我们可以在Beans.xml文件中，对程
手动获取spring的ApplicationContext和bean对象
zhongyangjian的专栏
04-20 1093
转：http://www.cnblogs.com/yangzhilong/p/3949332.html WEB项目： 方法1： 1 ApplicationContext ac1 = WebApplicationContextUtils.getRequiredWebApplicationContext(ServletContext sc
kafka和rabbitmq选型
daiyudong2020的博客
04-25 1003
前言：选择适用的消息队列，至少要关注多个维度，基于kafka和rabbitmq，文章假定读者对消息队列已有一定的了解，探讨以下内容 （1）顺序性 （2）幂等性 （3）持久化 （4）性能 （5）容灾 （6）安全机制 （7）可靠性 一、模型 （1）rabbitmq消费模型（只能路由到master处理） （2）rabbitmq生产模型（只能路由到master处理） （3...
ApplicationContext的使用
热门推荐
小熙的博客
03-12 3万+
package com.study.demo.utils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.context.ApplicationContext; public class ApplicationContextUtil { private static f...
ApplicationContext使用
qq_40773989的博客
08-08 849
@EventListener用法,ApplicationContext使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值