📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）、《解密程序员的思维密码——沟通、演讲、思考的实践》作者、清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。
📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。
📙不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。
💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。
🌟 Kafka ConsumerGroup 深入解析
🍊 1. ConsumerGroup 概念
Kafka ConsumerGroup 是 Kafka 中实现消息消费负载均衡和故障恢复的关键机制。它允许多个消费者实例协同工作，共同消费同一个 Kafka 主题，每个消费者实例都属于一个 ConsumerGroup。
🎉 1.1 ConsumerGroup 定义
ConsumerGroup 是一组消费者实例的集合，它们共同消费同一个 Kafka 主题的消息。每个消费者实例只能消费其分配到的分区内的数据，而同一分区内的数据只能由 ConsumerGroup 中的一个消费者实例消费。
🎉 1.2 ConsumerGroup 作用
- 负载均衡：ConsumerGroup 将主题的分区均匀分配给组内的消费者实例，实现负载均衡。
- 故障恢复：当消费者实例出现故障时，Kafka 会自动将故障实例的分区重新分配给其他消费者实例，确保消费的连续性。
- 消息顺序性：ConsumerGroup 保证同一分区内的消息顺序性，即同一分区内的消息只会被 ConsumerGroup 中的一个消费者实例消费。
🎉 1.3 ConsumerGroup 特点
- 分布式：ConsumerGroup 支持分布式消费，可以扩展到多个消费者实例。
- 容错性：ConsumerGroup 具有良好的容错性，可以自动处理消费者实例的故障。
- 顺序性：保证同一分区内的消息顺序性。
🍊 2. ConsumerGroup 配置
🎉 2.1 GroupId 配置
GroupId 是 ConsumerGroup 的唯一标识符，用于区分不同的 ConsumerGroup。在创建 ConsumerGroup 时，需要指定 GroupId。
props.put("group.id", "testGroup");
🎉 2.2 BootstrapServers 配置
BootstrapServers 是 Kafka 集群的连接地址，用于消费者实例连接到 Kafka 集群。
props.put("bootstrap.servers", "localhost:9092");
🎉 2.3 Key.Deserializer 配置
Key.Deserializer 用于反序列化 Kafka 消息的键。
props.put("key.deserializer", StringDeserializer.class);
🎉 2.4 Value.Deserializer 配置
Value.Deserializer 用于反序列化 Kafka 消息的值。
props.put("value.deserializer", StringDeserializer.class);
🎉 2.5 Auto Offset Reset 配置
Auto Offset Reset 用于设置消费者消费消息时，如果找不到对应的偏移量，则从哪个位置开始消费。
props.put("auto.offset.reset", "earliest");
🎉 2.6 Enable Auto Commit 配置
Enable Auto Commit 用于设置消费者是否自动提交偏移量。
props.put("enable.auto.commit", "true");
🍊 3. ConsumerGroup 使用
🎉 3.1 创建 ConsumerGroup
创建 ConsumerGroup 需要指定 GroupId、BootstrapServers、Key.Deserializer、Value.Deserializer 等配置。
Properties props = new Properties();
props.put("group.id", "testGroup");
props.put("bootstrap.servers", "localhost:9092");
props.put("key.deserializer", StringDeserializer.class);
props.put("value.deserializer", StringDeserializer.class);
props.put("auto.offset.reset", "earliest");
props.put("enable.auto.commit", "true");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
🎉 3.2 订阅 Topic
消费者实例需要订阅需要消费的 Topic。
consumer.subscribe(Collections.singletonList("testTopic"));
🎉 3.3 消费消息
消费者实例从 Kafka 集群拉取消息，并进行处理。
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
}
🎉 3.4 处理消息
消费者实例对拉取到的消息进行处理，例如存储、计算等。
🎉 3.5 关闭 ConsumerGroup
关闭 ConsumerGroup 时，需要手动提交偏移量，确保消费的连续性。
consumer.close();
🍊 4. ConsumerGroup 状态管理
🎉 4.1 Offset 管理机制
Offset 管理机制用于记录消费者消费消息的偏移量，确保消费的连续性。
🎉 4.2 Commit Offset
消费者实例可以手动提交偏移量，确保消费的连续性。
consumer.commitSync();
🎉 4.3 Offset Commit 策略
Offset Commit 策略用于控制偏移量的提交方式，例如手动提交和自动提交。
🎉 4.4 Offset Lag 监控
Offset Lag 监控用于监控消费者实例的消费延迟，及时发现和处理消费问题。
🍊 5. ConsumerGroup 故障处理
🎉 5.1 Rebalance 机制
Rebalance 机制用于处理消费者实例的故障，将故障实例的分区重新分配给其他消费者实例。
🎉 5.2 Rebalance 事件
Rebalance 事件包括消费者实例加入、离开、分区分配等。
🎉 5.3 Rebalance 过程
Rebalance 过程包括消费者实例加入、离开、分区分配、偏移量同步等。
🎉 5.4 Rebalance 故障处理
Rebalance 故障处理包括处理 Rebalance 事件、同步偏移量等。
🍊 6. ConsumerGroup 性能优化
🎉 6.1 批量消费
批量消费可以提高消费效率，减少网络开销。
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
if (records.isEmpty()) {
continue;
}
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
}
🎉 6.2 消费者线程数优化
优化消费者线程数可以提高消费效率，减少资源消耗。
🎉 6.3 消息拉取策略优化
优化消息拉取策略可以提高消费效率，减少资源消耗。
🎉 6.4 内存优化
优化内存使用可以提高消费效率，减少资源消耗。
🍊 7. ConsumerGroup 与其他消息队列对比
🎉 7.1 与 RabbitMQ 对比
| 对比项 | Kafka | RabbitMQ |
|---|---|---|
| 分布式 | 支持 | 支持 |
| 容错性 | 支持 | 支持 |
| 顺序性 | 支持 | 支持 |
| 性能 | 高 | 高 |
🎉 7.2 与 RocketMQ 对比
| 对比项 | Kafka | RocketMQ |
|---|---|---|
| 分布式 | 支持 | 支持 |
| 容错性 | 支持 | 支持 |
| 顺序性 | 支持 | 支持 |
| 性能 | 高 | 高 |
🎉 7.3 与 ActiveMQ 对比
| 对比项 | Kafka | ActiveMQ |
|---|---|---|
| 分布式 | 支持 | 支持 |
| 容错性 | 支持 | 支持 |
| 顺序性 | 支持 | 支持 |
| 性能 | 高 | 高 |
🎉 7.4 与 Pulsar 对比
| 对比项 | Kafka | Pulsar |
|---|---|---|
| 分布式 | 支持 | 支持 |
| 容错性 | 支持 | 支持 |
| 顺序性 | 支持 | 支持 |
| 性能 | 高 | 高 |
🍊 8. ConsumerGroup 应用场景
🎉 8.1 实时数据处理
ConsumerGroup 可以用于实时数据处理，例如实时日志分析、实时监控等。
🎉 8.2 日志收集
ConsumerGroup 可以用于日志收集，例如收集系统日志、业务日志等。
🎉 8.3 消息队列解耦
ConsumerGroup 可以用于消息队列解耦，例如将消息队列与业务系统解耦，提高系统的可扩展性。
🎉 8.4 分布式系统协调
ConsumerGroup 可以用于分布式系统协调，例如分布式锁、分布式任务调度等。
| 应用场景 | 场景描述 |
|---|---|
| 实时数据处理 | 用于处理实时数据流，如股票交易、社交媒体分析等。 |
| 日志收集 | 用于收集和分析系统日志，帮助监控和调试系统。 |
| 消息队列解耦 | 用于解耦消息生产者和消费者，提高系统的灵活性和可维护性。 |
| 分布式系统协调 | 用于协调分布式系统中的不同组件，如分布式锁、分布式任务调度等。 |
博主分享
📥博主的人生感悟和目标
📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。
- 《Java项目实战—深入理解大型互联网企业通用技术》基础篇的购书链接：https://item.jd.com/14152451.html
- 《Java项目实战—深入理解大型互联网企业通用技术》基础篇繁体字的购书链接：http://product.dangdang.com/11821397208.html
- 《Java项目实战—深入理解大型互联网企业通用技术》进阶篇的购书链接：https://item.jd.com/14616418.html
- 《Java项目实战—深入理解大型互联网企业通用技术》架构篇待上架
- 《解密程序员的思维密码--沟通、演讲、思考的实践》购书链接：https://item.jd.com/15096040.html
面试备战资料
八股文备战
| 场景 | 描述 | 链接 |
|---|---|---|
| 时间充裕（25万字） | Java知识点大全（高频面试题） | Java知识点大全 |
| 时间紧急（15万字） | Java高级开发高频面试题 | Java高级开发高频面试题 |
理论知识专题（图文并茂，字数过万）
| 技术栈 | 链接 |
|---|---|
| RocketMQ | RocketMQ详解 |
| Kafka | Kafka详解 |
| RabbitMQ | RabbitMQ详解 |
| MongoDB | MongoDB详解 |
| ElasticSearch | ElasticSearch详解 |
| Zookeeper | Zookeeper详解 |
| Redis | Redis详解 |
| MySQL | MySQL详解 |
| JVM | JVM详解 |
集群部署（图文并茂，字数过万）
| 技术栈 | 部署架构 | 链接 |
|---|---|---|
| MySQL | 使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群 | Docker-Compose部署教程 |
| Redis | 三主三从集群（三种方式部署/18个节点的Redis Cluster模式） | 三种部署方式教程 |
| RocketMQ | DLedger高可用集群（9节点） | 部署指南 |
| Nacos+Nginx | 集群+负载均衡（9节点） | Docker部署方案 |
| Kubernetes | 容器编排安装 | 最全安装教程 |
开源项目分享
| 项目名称 | 链接地址 |
|---|---|
| 高并发红包雨项目 | https://gitee.com/java_wxid/red-packet-rain |
| 微服务技术集成demo项目 | https://gitee.com/java_wxid/java_wxid |
管理经验
【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案：https://download.youkuaiyun.com/download/java_wxid/91148718
希望各位读者朋友能够多多支持！
现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！
- 💂 博客主页： Java程序员廖志伟
- 👉 开源项目：Java程序员廖志伟
- 🌥 哔哩哔哩：Java程序员廖志伟
- 🎏 个人社区：Java程序员廖志伟
- 🔖 个人微信号：
SeniorRD
🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~
4564
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
