kafka __consumer_offsets读取

最新推荐文章于 2021-02-21 12:50:14 发布

转载最新推荐文章于 2021-02-21 12:50:14 发布 · 213 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/guol/blog/855592

本文探讨了Kafka在不同版本中对于消费者消息偏移量的存储方式变化，特别是从0.8版本到0.10版本的变化，并介绍了如何通过特定配置来消费存储在__consumer_offsets主题中的偏移量数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么80%的码农都做不了架构师？>>>

kafka的监控，关于性能方面的监控由jmx来解决，应用层面的监控，一般通过读取zookeeper中的信息进行监控，目前主流的kafka开源监控软件都是基于zookeeper中的信息进行监控的。但是，kafka在0.8之前的版本，消息消费的偏移量都是存储在zookeeper中的，到0.10的版本时候，消息消费的偏移量存储在了topic中，这个topic是kafka自己创建的(__consumer_offsets)。这也导致主流的kafka监控软件在监控消费者偏移量的时候无法正常监控。当你需要知道消费者消息偏移量的时候只能在__consumer_offsets中进行查找。

可是，__consumer_offsets不是你想消费就能消费的，需要进行一些设置。

echo "exclude.internal.topics=false" > /tmp/consumer.config

开始消费

./kafka-console-consumer.sh --consumer.config /tmp/consumer.config --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --zookeeper 172.31.68.243:2181 --topic __consumer_offsets

转载于:https://my.oschina.net/guol/blog/855592