Pykafka 操作实践

最新推荐文章于 2025-09-29 09:38:58 发布

原创

最新推荐文章于 2025-09-29 09:38:58 发布 · 675 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

本文介绍了Pykafka连接Kafka、设置Consumer的自动提交offset、指定位置消费、使用Consumer Group，以及Producer的操作，并推荐了Kafka可视化工具和相关参考资料。

Pykafka 操作实践

Connect kafka

from pykafka import KafkaClient

# 可以填写多个地址
host1 = "xxx.xxx.xxx.xxx:xxxx"
host2 = "xxx.xxx.xxx.xxx:xxxx,xxx.xxx.xxx.xxx:xxxx,xxx.xxx.xxx.xxx:xxxx"

client = KafkaClient(hosts=host1)

Broker

from pykafka.utils.compat import itervalues

brokers = client.brokers
print(brokers)	# 查看 brokers 对象
for broker in itervalues(brokers):
    groups = broker.list_groups().groups	# 查看 group 列表
    print('broker的groups:{}'.format(groups))
    print('集群中的 consumers:{}'.format(groups.keys)