Kafka系列之：Python代码实现查看Kafka Topic的分区信息，最大偏移量、消费者能消费的起始偏移量和最大偏移量

快乐骑行^_^

已于 2022-03-29 18:03:30 修改

阅读量2.1k

点赞数 2

分类专栏：大数据文章标签： Kafka系列分区信息最大偏移量起始偏移量和最大偏移量

于 2022-03-29 16:51:53 首次发布

本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/123825346

版权

大数据专栏收录该内容

551 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了如何使用Python代码连接Kafka集群，查看Topic的分区信息，包括最大偏移量和消费者能消费的起始及最大偏移量，详细步骤涵盖从创建消费者到获取各种偏移量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka系列之：查看Kafka Topic的分区信息，最大偏移量、消费者能消费的起始偏移量和最大偏移量

一、创建消费者
二、查看kafka集群所有Topic
三、查看分区信息
四、查看Topic最大偏移量
五、查看当前消费者可以消费的起始偏移量
六、查看当前消费者可以消费的最大偏移量
七、完整详细注释代码

一、创建消费者

import json
from kafka import TopicPartition,KafkaConsumer

def kafkaConsumer(kafkaBrokers):

    consumer = KafkaConsumer(
        bootstrap_servers=kafkaBrokers,
        client_id=<

了解本专栏