命令行查询kafka信息消费情况

最新推荐文章于 2025-01-15 16:36:16 发布

转载最新推荐文章于 2025-01-15 16:36:16 发布 · 7.8k 阅读

10 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/weixin_43784564/article/details/125282007

文章标签：

#kafka #服务器 #java

kafka 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何在Kafka中查找安装目录，列举消费者组，查看消费情况及消息积压，并获取主题分区的最大偏移量。通过`find`命令定位Kafka安装位置，使用`kafka-consumer-groups.sh`脚本查看消费者组和消费状态，利用`kafka-run-class.sh`获取主题分区offset，帮助理解与监控Kafka的消息流动。

1.找到kafka所在的安装目录

find  /  -name kafka

2.列出有哪些用户组来消费：

./kafka-consumer-groups.sh --bootstrap-server 192.168.100.77:29092 --list

#bootstrap-server 安装kafka的服务器地址
3.查看某个用户组的kafka消息消费情况，有没有数据积压

./kafka-consumer-groups.sh --bootstrap-server 192.168.100.77:9092 --describe --group groupname

#可用第二条命令查询用户组的ID
#执行后的效果
 
TOPIC                 PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
这是你的topic消息队列id 0          138             189             51              -               -               -
 
 
# CURRENT-OFFSET  这是当前已经消费了的偏移量
 
# LAG  这是消息积压数量

groupname 为第一步查询的结果其中一个

4.查看topic某分区数据偏移量(offset)最大值，就是看目前Kafka里有多少条消息

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.100.77:9092 --topic globalLog-test --partitions 0


###结果
globalLog-test:0:338828