kafka consumer python脚本

原创于 2020-05-10 18:59:40 发布 · 426 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #python

【useful-scripts】专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一个使用Python实现的简单脚本，用于在开发环境中消费特定Kafka主题的消息。脚本连接到指定的Kafka集群，选择目标主题，并消费消息，展示了如何设置消费者偏移量和获取消息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

工作中会在开发环境中测试消费其他系统的消息，该脚本简单的实现了这一功能。

#!/usr/bin/python
# -*- coding:utf-8 -*-
from pykafka import KafkaClient
import json
import logging
# logging.basicConfig(level=logging.INFO)

client = KafkaClient(hosts="102.1.10.221:15386")  # 可接受多个Client,多个broker

# print(client.topics) # 查看所有topic

def receiveMsg(topics):
    topic = client.topics[topics]  # 选择一个topic
    consumer = topic.get_simple_consumer(consumer_group = 'dev26-dc',reset_offset_on_start=False)
    partitions = topic.partitions
    offset_list = consumer.held_offsets
    print("当前消费者分区offset情况{}".format(offset_list))  # 消费者拥有的分区offset的情况
    consumer.reset_offsets([(partitions[0], 0)])  # 设置offset
    msg = consumer.consume()
    for i in range(0,10):
        print("消费 :{}".format(msg.value.decode()))
        pass
    pass

receiveMsg("TEST_NOTIFY")