Kafka遇到无法消费的问题记录

最新推荐文章于 2024-05-29 00:52:06 发布

yanminghaop

最新推荐文章于 2024-05-29 00:52:06 发布

阅读量3k

点赞数 2

分类专栏： Linux 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/yanminghaop/article/details/108327452

版权

Linux 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了在Kafka服务部署中遇到的无法消费问题及解决方案。通过检查偏移量、topic列表和尝试从特定partition消费，最终定位问题所在并提供了解决方案，包括删除特定topic以恢复正常消费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka服务部署情况

节点	服务
master	kafka
slave1	kafka
slave2	kafka
slave3	kafka
slave4	kafka

无法消费情况

可以生产但无法消费

尝试在kafka的shell中自产自消

生产者

./kafka-console-producer.sh --broker-list ip:9092 --topic ymh

消费者

./kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic topicname

发现上述例子无法消费(生产不报错)

./kafka-topics.sh --list --zookeeper ip:2181

尝试指定partition进行消费

./kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic topicname --partition 0 （你有几个分区就尝试几次,只要有一个能消费出来就可以）

如果上述从某个分区消费出数据了证明kafka的偏移量存在问题,导致没有去分区内消费
查看topic列表

./kafka-topics.sh --list --zookeeper ip:2181

发现有一个名为__consumer_offsets的topic
把这个topic删除即可

./kafka-topics.sh --delete --zookeeper ip:2181 --topic topicname

注意如果发现是被标记为删除需要手动去zookeeper的管理端手动删除

./zkCli.sh -server ip:2181
rmr /brokers/topics/__consumer_offsets

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yanminghaop

关注关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Flink】Flink 消费kafka 运行一段时间后卡死

九师兄

03-10

204

我们有个现场，然后最近总是无缘无故不消费数据，看起来像是卡死了一样，但是日志里面有找不到报错，关键是刚刚启动任务是能消费的数据的，比如消费一段时间后，10分钟差不多的样子（大概消费了几十万数据），就开始无法消费数据了，我们修改消费组后，可以再次消费一段时间。后面经了解，由于kafka磁盘目录存储已满，故对kafka日志进行了清理，清理时使用命令对日志进行了清空操作。经我方研发运维测试发现，”echo”命令直接清理日志会导致任务启动失败。

大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库

zhengzaifeidelushang的博客

08-13

1366

大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库

1 条评论您还未登录，请先登录后发表或查看评论

【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查

一只皮皮熊

04-24

6737

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

解决Kafka无法消费问题终极大法：重置Kafka

CN_TangZheng的博客

10-23

1739

解决Kafka无法消费问题终极大法：重置Kafka 环境介绍：zookeeper集群（三节点）+Kafka集群（三节点）重置步骤： 1. 停止kafka 2. 删除kafka存储目录（server.properties文件log.dirs配置 3. 删除zookeeper上与kafka相关的znode节点（即除了zookeeper目录都删除掉），也可以停止zookeeper 后删除数据目录/data/ota_soft/zookeeper/data/version-2 4. 开启kafka ...

kafka消费数据，有时消费不到原因？

beipiao_yizu的博客

03-20

4700

7：消费者客户端启动后未消费消息：如果发现一个消费者客户端已经启动了，但是就是不消费消息，应该检查该消费者所在的组中是否还有其他的消费者。综上所述，解决Kafka消费数据不到的问题，需要从多个方面进行排查和优化，包括但不限于检查配置、调整生产与消费的速度匹配、提高消费者的处理能力、确保网络稳定以及及时处理下游数据等。4：消费者处理能力不足：如果消费者的处理能力不足，例如处理逻辑复杂、计算密集，或者消费者数量较少，无法充分利用集群的并发处理能力，也会导致消费速度慢。

Kafka消费者无法消费数据，解决

qq_51651655的博客

08-24

9144

解决Kafka消费者无法消费数据问题

Kafka某Topic的部分partition无法消费问题

clz1314521的专栏

06-04

3846

今天同事反馈有个topic出现积压。于是上kfk管理平台查看该topic对应的group。发现6个分区中有2个不消费，另外4个消费也较慢，总体lag在增长。查看服务器日志，日志中有rebalance 12 retry。Exception，之后改消费线程停止。于是分析代码，将每个处理逻辑加上耗时日志，分析发现又是hbase写入耗时达到3秒。于是将hbase写入开关关闭。重新运行后，消费正常。

kafka分区消费策略

02-21

消费者在消费过程中遇到问题，如网络中断，重启后可以从上次提交的位移继续消费，实现故障恢复。但是，如果多个消费者同时尝试消费同一分区，可能会导致消息乱序或重复，因此必须正确配置消费者组和位移管理策略以...

kafka 查看待消费数据_kafka查看消费数据

weixin_39920415的博客

12-22

2628

一、如何查看在老版本中，使用kafka-run-class.sh 脚本进行查看。但是对于最新版本，kafka-run-class.sh 已经不能使用，必须使用另外一个脚本才行，它就是kafka-consumer-groups.sh普通版查看所有组要想查询消费数据，必须要指定组。那么线上运行的kafka有哪些组呢？使用以下命令：bin/kafka-consumer-groups.sh --boots...

KafkaOffset重置：调整消费进度

AI天才研究院

05-29

781

KafkaOffset重置：调整消费进度 1.背景介绍 1.1 Apache Kafka简介 Apache Kafka是一个分布式流处理平台,它提供了一种统一、高吞吐、低延迟的方式来处理实时数据流。Kafka被广泛应用于

【异常】记一次因处理Kafka消息时，没有消费记录，错误处理器抛出了ArrayIndexOutOfBoundsException异常，导致无法事件入库的问题

本本本添哥

04-12

189

在某次开发过程中，开发人员遇到了一个棘手的问题：Kafka无法将消息传递给消费者，导致事件无法入库。开发人员对Kafka的配置和代码进行了仔细的检查，但仍然无法解决问题。车机上报的业务数据，无法在Web管理页面中查看到，即业务事件上报失败。

Kafka无法消费的问题解决记录

jackycjw的博客

01-19

5012

今天同事那边出现了一个关于kafka无法消费的小问题。框架是springboot，相同的程序，相同的配置，第一次启动可以消费到数据，第二次启动就无法消费。经排查原因是： request.timeout.ms配置的时间太长，且第一次退出程序时，是强制退出，并不是优雅的关闭资源后退出。这样导致kafka服务端针对该groupId的消费者仍然在拉取消息（TCP的特性）。后启动的程序由于groupId相同，无法分配到partition。故无法消费解决方案： 1、程序优雅的关闭，不要强制退出。这样spring

kafka出现若干分区不消费的现象

最新发布

03-25

<think>好的，用户遇到了Kafka消息重复消费的问题，想要解决方案。首先，我需要回忆一下Kafka的消息传递机制和可能导致重复消费的原因。根据提供的引用，重复消费通常发生在消费者处理时间过长，导致心跳超时，离开消费组，触发rebalance。此时offset未能及时提交，导致重新分配后再次拉取相同消息。接下来，我需要整理常见的解决方案。首先想到的是优化消费者处理逻辑，缩短处理时间，避免超过max.poll.interval.ms。然后，可以调整相关参数，比如增加max.poll.interval.ms的值，或者减少max.poll.records以降低每次拉取的消息数量。此外，手动提交offset并确保在消息处理完成后立即提交，而不是自动提交，这样可以减少重复的可能性。幂等性处理也是一个关键点，确保即使消息重复，业务逻辑也不会受到影响。另外，Kafka的Exactly-Once语义可能也是一个解决方案，但需要注意其实现条件和限制。还要考虑消费者的异常处理，比如捕获异常后不跳过消息，而是记录日志或转移到死信队列，避免消息丢失。同时，监控消费者组的延迟情况，及时发现和处理问题。需要将这些点分步骤整理，确保用户能够逐步实施解决方案。最后，生成相关问题，帮助用户深入理解可能相关的其他问题，比如参数调优、Exactly-Once的实现细节、幂等性设计等。确保引用正确，将提供的引用来源标注在对应的解决方案部分，比如参数调整和手动提交offset的部分。</think>### Kafka消息重复消费解决方案出现重复消费的核心原因是消费者处理时间过长导致偏移量（offset）未及时提交，触发消费者组再平衡（rebalance）。以下是分步骤解决方案： --- #### 1. **优化消费者处理逻辑** - **缩短单次处理时间**：将耗时操作（如数据库批量写入、复杂计算）拆分或异步处理，避免阻塞消费线程[^1][^2]。 - **示例代码优化**： ```python def process_message(msg): # 异步处理或拆分任务 async_task.delay(msg.value) ``` --- #### 2. **调整消费者参数** - **增大`max.poll.interval.ms`**：允许消费者更长时间不发送心跳（需权衡实时性）。 ```properties max.poll.interval.ms=600000 # 默认5分钟，调整为10分钟 ``` - **减少`max.poll.records`**：降低单次拉取消息量，缩短处理批次时间。 ```properties max.poll.records=50 # 默认500，调整为50 ``` --- #### 3. **手动提交Offset并确保原子性** - **关闭自动提交**： ```properties enable.auto.commit=false ``` - **处理完成后同步提交**： ```java consumer.poll(Duration.ofMillis(100)).forEach(record -> { try { process(record); consumer.commitSync(); // 单条提交 } catch (Exception e) { log.error("处理失败，不提交offset", e); } }); ``` --- #### 4. **实现业务层幂等性** - **唯一标识去重**：为消息添加唯一ID（如数据库主键或业务键），在处理前检查是否已消费。 ```sql INSERT INTO message_log (msg_id, content) VALUES (?, ?) ON CONFLICT (msg_id) DO NOTHING; ``` --- #### 5. **使用Kafka Exactly-Once语义** - 启用事务生产者： ```java props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true"); props.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "txn-1"); ``` - 消费者配合事务： ```java consumer.subscribe(Collections.singletonList("topic")); producer.initTransactions(); while (true) { ConsumerRecords records = consumer.poll(Duration.ofMillis(100)); producer.beginTransaction(); for (Record record : records) { producer.send(outputTopic, process(record)); } producer.sendOffsetsToTransaction(currentOffsets, consumer.groupMetadata()); producer.commitTransaction(); } ``` --- #### 6. **异常处理与监控** - **捕获异常不跳过消息**：失败时记录日志并暂停消费，避免因跳过导致消息丢失。 - **监控工具**：使用Kafka Manager、Prometheus监控消费者组延迟（`consumer_lag`）。 ---