记用 SpringBoot 消费 Kafka 过程中的一次问题排查

最新推荐文章于 2025-09-30 10:11:43 发布
原创 最新推荐文章于 2025-09-30 10:11:43 发布 · 1w 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Kafka #Consumer

本文记录了一次解决Kafka消费组中消费者未正确分配分区的问题。通过排查日志及使用Kafka工具命令，发现同一消费组存在多个消费者实例导致分区分配不均，最终定位到了问题原因。

1、现象

最近在接受公司Kafka的集群，之前公司重启一台服务器的时候出现重复消费的情况，所以就跟消费端的服务一起联调查册。消费端目前有两个服务，但是在测试的过程中发现其中一个服务可以接受到数据，但是另一个服务端却接受不到数据。于是查看了一下它的日志，关键日志如下：

[INFO] org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Successfully joined group group-id-test with generation 81
[INFO] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - Setting newly assigned partitions [] for group group-id-test

根据日志发现，完全没有 partition 分配给我们去消费。。。
而且每次启动的情况不一样，有事有分配到，有时没有分配到。。

2、分析

因为 topic 的 partition对于consumer的分配会随着 partition数量的变化 和 相同 groupId 的 consumer 的变化而 动态分配，所以我猜测在另一台机器上已经有一个相同 groupId 的程序在消费着同一个 topic。
注：我这里比较特殊，这个 topic 的 partition 为 1，Kafka 的版本为 0.10.2.0。

3、探索

可以通过 Kafka 提供的工具来查看该 groupId 对应的消费情况，具体命令如下：

##纯手打。。
bin/kafka-consumer-groups.sh --bootstrap-server XXX:9092 --group your-group-id --describe

就可以看到该 group-id 对应的消费的情况
我发现 我消费的 topic 这一行中的 hostId 有值，且不是本地的IP！
（由于是在内网，所以就没有截图了）

所以我的分析是对的

你也可以通过代码测试一下，启动两个程序用相同的groupID去消费同一个topic，你会发现每次 consumer 端启动或者停止的时候，partition 都会 重新分配给 consumer。。

【异常】Kafka 的重新平衡机制，会导致频繁出现“Adding newly assigned partitions”的情况
本本本添哥
12-31 391
Kafka 的重新平衡（Rebalance）机制是 Kafka 消费者组（Consumer Group）的一项核心特性。Kafka 的重新平衡（Rebalance）机制确保了在消费者组内的所有活动成员之间公平地分配订阅主题的分区。Kafka 的重新平衡（Rebalance）机制是 Kafka 的一种机制，用于在消费者组内的成员之间分配分区。每当消费者组内发生成员加入、离开或订阅的主题分区发生变化时，就会触发一次重新平衡操作。
springboot 整合kafka最强指南
不会吉他的肌肉男不是好的挨踢男的专栏
06-01 1766
首先部署好kafka和Zookeeper 可以参考我的其他博文 在Windows上搭建Kafka 或者Windows环境下Zookeeper安装配置 一、kafka与Spring版本对应的关系表 先看一下我的基础环境 springboot version：springboot2.1.3.RELEASE kafka version ：2.2.4.RELEASE 集成之前先放上一张官网的kafka与Spring版本对应的关系表，后续如遇到消息不能正常发送接收就请排查一下是不是版本问题 官网链接：http
安装部署（六） Kafka集群安装部署以及Producer和Consumer的JAVA代码测试
星门学派（Star School）
08-11 8047
Kafka集群安装部署以及Producer和Consumer的JAVA代码测试 kafka 0.10.0.0 ubuntu 14.04.04 x64 hadoop 2.7.2 spark 2.0.0 zookeeper 3的集群安装参考spark安装部署中的相应部分。 1、下载 二进制包 https://www.apache.org/dyn/closer.cgi?p
Kafka消费者组重平衡（二）
他叫阿来
09-15 1772
一个消费者组最开始是 Empty 状态，当重平衡过程开启后，它会被置于PreparingRebalance 状态等待成员加入，之后变更到CompletingRebalance 状态等待分配方案，最后流转到 Stable 状态完成重平衡。
Spring Boot整合Kafka：解决消息挤压、丢失与重复消费
最新发布
qq_44909430的博客
09-30 781
生产者发送订单消息到（3副本，5分区）。消费者组（5个并发线程）批量消费消息，手动提交offset，业务层基于订单号做幂等。消费失败的消息重试3次后，发送到死信队列。死信队列消费者单独处理异常消息。消息不丢失acks=all+重试+回调确认；集群：多副本+最小同步副本；消费者：手动提交offset。不重复消费核心：offset与业务处理原子性；保障：业务层幂等（唯一键/数据库约束）。消息挤压短期：增加并发度+批量消费；长期：优化业务逻辑+死信队列隔离无效消息；
Spring boot连接和操作mongoDB
热门推荐
南熏门前一只喵
08-31 5万+
Spring boot是对Spring的进一步封装，旨在简化Spring的安装和配置过程。我们知道使用Spring搭建项目环境，往往需要引用很多jar包，并随着业务的逐渐复杂，创建出很多的xml文件。Spring boot封装了Spring集成的很多服务组件，并自动创建这些对象的实例，你只用将所需使用的服务组件的jar包引入即可快速构建开发环境。   Spring boot所集成的服务组件，可在官
【SpringBoot高级】SpringBoot与Kafka深度整合：从入门到企业级实战
2401_86224057的博客
06-28 801
通过这篇全面的技术博客，我们详细探讨了SpringBoot与Kafka的集成，从基础概念到高级特性，再到实际应用场景和最佳实践。希望这篇内容能够帮助开发者构建高效、可靠的基于Kafka的消息系统，并在实际项目中取得成功。随着技术的不断发展，SpringBoot和Kafka的集成将会变得更加强大和易用，值得我们持续关注和学习。
kafka消费者分组的时候，分区现象
qq_33642970的博客
06-19 9493
首先创建Consumer需要的配置信息，最基本的有五个信息： Kafka集群的地址。 发送的Message中Key的序列化方式。 发送的Message中Value的序列化方式。 指定Consumer Group。 指定拉取Message范围的策略。 Properties properties = new Properties(); properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "IP:Port"); proper
Logstash【从无到有从有到无】【L22】解决常见问题
琴韵悠悠
10-30 3161
目录 1.解决常见问题 1.1.安装与设定 1.1.1.临时目录无法访问 1.2.Logstash启动 1.2.1.非法的反射访问错误 1.3.数据提取 1.3.1.错误响应代码429 1.4.一般性能调优 1.5.常见的Kafka支持问题和解决方案 1.5.1.Kafka会话超时问题（输入端） 1.5.2.大量的偏移提交（Kafka输入端） 1.5.3.Kafka输入中的...
Springboot相关
weixin_44720503的博客
09-10 269
自动配置原理： Spring Boot启动的时候会通过@EnableAutoConfiguration注解找到META-INF/spring.factories配置文件中的所有自动配置类，并对其进行加载， 而这些自动配置类都是以AutoConfiguration结尾来命名的，它实际上就是一个JavaConfig形式的Spring容器配置类， 它能通过以Properties结尾命名的类中取得在全局配...
kafka使用（一）--- 初步使用
hurricane_li的博客
11-18 2214
环境搭建 # 下载安装包 wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.13-2.8.1.tgz # 解压 tar xzf kafka_2.13-2.8.1.tgz 常用命令 # 启动服务 nohup sh bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.out & nohup sh bin/kafka-server-
springboot-kafka
05-10
本篇文章将深入探讨 "springboot-kafka" 这一主题，讲解如何使用 Spring Boot 配合 Kafka 实现生产者和消费者的交互，并阐述相关核心概念。 1. **Kafka 简介** Kafka 是一个分布式流处理平台，由 LinkedIn 开发并...
基于springboot+kafka的日志处理系统.zip
09-11
在当今的软件开发中，日志管理是不可或缺的一部分，它帮助企业监控应用程序的行为，排查错误，优化性能。本项目利用SpringBoot框架和Kafka分布式消息队列，构建了一个高效、可扩展的日志处理系统。SpringBoot以其...
springboot相关
cat marshal的博客
09-09 173
233出现这个不要慌 ，不影响代码运行 spring boot Configuration Annotation Proessor not found in classpath
spring-kafka入门学习（四）：消息监听器容器ConcurrentMessageListenerContainer测试示例
阿瑟与非
05-12 1万+
目录 一、前言 二、测试准备 1.kafka客户端配置 2.SpringBoot配置 三、消费者分配情况测试 1.使用默认的PartitionAssignor ->RangeAssignor 2.使用PartitionAssignor ->RoundRobinAssignor 四、性能测试 1.情景一 单线程消费 2.情景二 并发消费 五、总结 一、前言 在官网学习spring-kafka的过程中，MessageListenerContainer不易理解，实践出真知..
scala - Spark Structured Streaming 不会在 Kafka 偏移量处重新启动
u011250186的博客
03-03 146
scala - Spark Structured Streaming 不会在 Kafka 偏移量处重新启动
Spring-Kafka（二）—— 快速入门
s297485987的专栏
12-02 869
创建工程 一 二 三 这里需要注意一下，我们导入的Spring-Kafka为2.1.8版本，SpringBoot为2.0.4的正式版，请保持版本一致、 好了，已经三秒了，真男人，你可以关闭屏幕冷静一下了，停止你那颤抖的身体。 编写第一个Demo 实现顺序 创建消费者和生产者的Map配置 根据Map配置创建对应...
SpringBoot-Kafka使用（三）
ThinkMore
03-16 3082
一、Kafka的事务 为什么要使用Kafka事务 在日常开发中，数据库的事务几乎是必须用到的，事务回滚不一定在于数据增删改异常，可能系统出现特定逻辑判断的时候也需要进行数据回滚，Kafka亦是如此，我们并不希望消息监听器接收到一些错误的或者不需要的消息。SpringBoot使用数据库事务非常简单，只需要在方法上加上@Transactional注解即可，那Kafka如果需要使用事务也可以如此，不...
springboot 中KAFKA消费客户端，groupId 和 id 有什么区别
09-10
<think> 嗯，用户询问的是Spring Boot中Kafka消费者配置里groupId和consumer id的区别。这个问题在分布式消息系统中很关键，需要详细解释清楚。 用户可能正在搭建Kafka消费系统，遇到了配置困惑。从引用资料看，用户参考的几篇文章都涉及Spring Kafka的基本用法，但没有明确区分这两个概念。引用[2]提到@KafkaListener的使用，引用[5]展示了groupId的配置示例，这正好可以作为切入点。 首先需要明确术语定义。groupId是消费者组的标识符，属于Kafka的核心概念，决定分区分配和消息投递范围；而consumer id是Spring Kafka的客户端实例标识，属于框架层面的实现细节。两者作用域完全不同：一个在broker集群层面，一个在应用进程层面。 具体区别可以从四个维度展开：在Kafka集群中的作用不同（消费者组协调vs客户端实例跟踪），配置层级不同（必填参数vs可选参数），唯一性要求不同（组内共享vs实例唯一），以及功能差异（决定分区分配策略vs仅用于日志追踪）。 特别要注意用户可能混淆的消费者组概念。引用[3][4]都提到Kafka的分布式特性，这里可以强调：同组消费者会共享分区消息，不同组则各自获取全量消息。而consumer id完全不影响消息路由，就像给每个工人贴了姓名贴，但班组(groupId)才决定他们负责的车间区域。 用户提供的代码片段很实用，引用[5]正好包含groupId的配置示例和acknowledge()调用。可以借此说明：在@KafkaListener里配置groupId是必须的，而consumer id通常由框架自动生成。如果用户需要自定义consumer id，应该通过client.id配置项实现，这在Spring Kafka文档里有明确说明。 最后提醒用户注意实际配置场景。当出现重复消费时，首先要检查groupId是否冲突；而需要追踪具体消费者实例时，才需要关注client.id的设置。这个实用建议能帮助用户避开常见坑点。 </think> 在Spring Boot的Kafka消费者配置中，`groupId`和`id`（通常指`client.id`或消费者实例标识）是**完全不同的概念**，核心区别如下： --- ### **一、`groupId`（消费者组ID）** 1. **核心作用** 用于定义**消费者组**（Consumer Group）。同一组内的所有消费者**共同消费一个或多个Topic的消息**，Kafka通过该ID实现： - **分区分配**：组内消费者**均分Topic分区**（如3分区Topic由2个消费者处理时，1人处理1分区，1人处理2分区）。 - **消费进度跟踪**：Kafka使用`_consumer_offsets` Topic记录**该组的消费偏移量**（Offset）。 - **消息投递语义**：每条消息**仅被组内一个消费者消费**（避免重复）。 2. **配置方式** 在`@KafkaListener`或`application.yml`中声明： ```java @KafkaListener(topics = "test-topic", groupId = "order-service-group") // 显式指定组ID public void consume(String message) { ... } ``` ```yaml spring: kafka: consumer: group-id: order-service-group # 全局默认组ID ``` 3. **业务影响** - **不同组ID**：每个组**独立消费全量消息**（适用于广播场景）。 - **相同组ID**：组内消费者**协同消费**（适用于负载均衡）[^2][^5]。 --- ### **二、`id`（消费者实例标识）** 1. **核心作用** 用于标识**单个消费者实例**（逻辑客户端），主要服务于： - **日志追踪**：在Kafka日志和监控中区分不同消费者实例。 - **连接管理**：Broker据此识别客户端来源（格式通常为`${client.id}-${随机后缀}`）。 2. **配置方式** 通过`client.id`属性设置（**Spring Boot中通常不需要手动配置**）： ```yaml spring: kafka: consumer: client-id: order-consumer-1 # 可选，缺省时自动生成 ``` 3. **关键特性** - **不影响消息路由**：与分区分配、Offset提交无关。 - **可读性优先**：建议设置为有业务意义的名称（如`inventory-service-consumer`）[^4][^5]。 --- ### **三、对比总结** | **维度** | `groupId` | `id`（`client.id`） | |-------------------|------------------------------------|-----------------------------------| | **作用层级** | 消费者组级别 | 消费者实例级别 | | **影响范围** | 决定分区分配和Offset提交 | 仅用于日志和监控标识 | | **必要性** | **必须配置**（否则无法提交Offset） | 可选（框架会自动生成唯一ID） | | **重复性** | 组内所有消费者**必须相同** | 每个消费者实例**应唯一** | | **业务功能** | 实现负载均衡/广播 | 问题排查和追踪 | --- ### **四、典型场景示例** ```java @Service public class OrderService { // 消费者组ID = "order-group"，同一组内负载均衡 @KafkaListener(id = "order-consumer-1", topics = "orders", groupId = "order-group") public void processOrder(Order order) { ... } // 另一实例：同一组内协同消费 @KafkaListener(id = "order-consumer-2", topics = "orders", groupId = "order-group") public void backupOrder(Order order) { ... } // 不同组ID：独立消费全量消息（广播） @KafkaListener(id = "audit-consumer", topics = "orders", groupId = "audit-group") public void auditOrder(Order order) { ... } } ``` > **关键结论**： > - 修改`groupId`会**触发消费者组重建**（可能导致重复消费）。 > - 修改`client.id`仅影响日志标签，**无需重启消费者组**[^1][^3]。 --- ### **相关问题** 1. 如何避免因`groupId`变更导致的重复消费？ 2. 消费者组（`groupId`）发生重平衡（Rebalance）的常见原因有哪些？ 3. 在Spring Kafka中如何动态分配`client.id`？ 4. 多个微服务使用相同`groupId`消费同一Topic会产生什么问题？
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值