- bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv --topic kjTest2 --zookeeper localhost:2181
可以看到当前group offset的状况,比如这里看pv的状况,3个partition
Group Topic Pid Offset logSize Lag Owner
pv page_visits 0 21 21 0 none
pv page_visits 1 19 19 0 none
pv page_visits 2 20 20 0 none
关键就是offset,logSize和Lag
这里以前读完了,所以offset=logSize,并且Lag=0
- bin/kafka-run-class.sh kafka.tools.UpdateOffsetsInZK earliest config/consumer.properties page_visits
3个参数,
[earliest | latest],表示将offset置到哪里
consumer.properties ,这里是配置文件的路径
topic,topic名,这里是page_visits
我们对上面的pv group执行完这个操作后,再去check group offset状况,结果如下,
Group Topic Pid Offset logSize Lag Owner
pv page_visits 0 0 21 21 none
pv page_visits 1 0 19 19 none
pv page_visits 2 0 20 20 none
可以看到offset已经被清0,Lag=logSize
记得修改config/consumer.properties文件
#consumer group id
group.id=groupId3
本文介绍如何使用Kafka的ConsumerOffsetChecker检查消费组的偏移量状态,包括offset、logSize和Lag等关键指标。同时,通过UpdateOffsetsInZK工具,可以将offset重置为earliest或latest,实现数据的重新消费或跳过已消费数据。
4万+

被折叠的 条评论
为什么被折叠?



