pykafka中consumer_group的设置

最新推荐文章于 2025-06-07 09:21:32 发布

jameson_

最新推荐文章于 2025-06-07 09:21:32 发布

阅读量9.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/jameson_/article/details/53308136

本文介绍了在pykafka中配置consumer_group的实践经验，通过代码示例展示了如何正确设置group_id以实现Kafka的订阅原理。在初次消费后，更改group_id以避免重复消费同一数据。在遇到每次消费都能获取历史数据的问题时，通过查阅官方文档，了解到commit_enable参数的作用，最终解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先看符合要求的代码

kafka生产者

import logging
import logger
from pykafka import KafkaClient
client = KafkaClient(hosts="**")
logging.info(client.topics)

input=raw_input('please enter your topic here:')
topic = client.topics[input]

producer=topic.get_sync_producer()
while True:
    event = raw_input("Add what to event log?: ('Q' to end.): ")
    if event == 'Q':
        break
    else:
       # msg = event.encode('UTF-8', 'ignore')

        producer.p