记录一个kafka发送消息后无法接收消息问题

lccjhs

于 2020-06-12 10:11:23 发布

阅读量3.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/hehehechen/article/details/106709727

本文记录了一个在Kafka中遇到的问题，即发送消息后无法接收。通过检查ConsumerOffsetChecker，发现存在堆积消息。问题在于设置的partition为0，导致同一组内只有一个consumer能消费。解决方法包括增加partition数量或修改consumer配置。此外，还提供了删除和创建topic，以及手动消费和生产消息的命令示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一个kafka发送消息后无法接收消息问题
检查kafka堆积等数
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group UAT_FRONT_DATA_HBASE_SAVE_CONSUMER_GROUP --topic uat-das-front-stat-topic

在这里插入图片描述
手动消费发现堆积仍在继续

Pid Offset 为Prtition 分区
logZize 为已经消费的数,总数
Lag 为堆积数
最后为消费者信息
在这里插入图片描述
检查后发现因设置partition为0
partition 0表示这个topic只有一个分区，只能被同一个组中的一个consumer消费且消费者不是他自己导致自己无法接收到消息。

解决方法：1、可添加partition分区
2、修改消费者

删除kafkatopic
首先需要执行delete后标记

./kafka-topics.sh –-zookeeper 127.0.0.1:2181 –list
./kafka-topics.sh –delete –-zookeeper ip:2181 –topic topicname
在这里插入图片描述
添加标签后根据server.properties文件中的log.dirs配置删除topic储存目录