Kafka查看消息消费到哪里

本文介绍如何使用Kafka的ConsumerOffsetChecker检查消费组的偏移量状态,包括offset、logSize和Lag等关键指标。同时,通过UpdateOffsetsInZK工具,可以将offset重置为earliest或latest,实现数据的重新消费或跳过已消费数据。
  1. bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv --topic kjTest2 --zookeeper localhost:2181

可以看到当前group offset的状况,比如这里看pv的状况,3个partition

Group Topic Pid Offset logSize Lag Owner
pv page_visits 0 21 21 0 none
pv page_visits 1 19 19 0 none
pv page_visits 2 20 20 0 none

关键就是offset,logSize和Lag
这里以前读完了,所以offset=logSize,并且Lag=0

  1. bin/kafka-run-class.sh kafka.tools.UpdateOffsetsInZK earliest config/consumer.properties page_visits

3个参数,
[earliest | latest],表示将offset置到哪里
consumer.properties ,这里是配置文件的路径
topic,topic名,这里是page_visits

我们对上面的pv group执行完这个操作后,再去check group offset状况,结果如下,

Group Topic Pid Offset logSize Lag Owner
pv page_visits 0 0 21 21 none
pv page_visits 1 0 19 19 none
pv page_visits 2 0 20 20 none

可以看到offset已经被清0,Lag=logSize

记得修改config/consumer.properties文件

#consumer group id
group.id=groupId3

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值