Python测试Kafka集群(pykafka)

最新推荐文章于 2024-11-14 19:30:15 发布

转载最新推荐文章于 2024-11-14 19:30:15 发布 · 196 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhangtianyuan/p/7832373.html

文章标签：

#大数据 #python

本文提供了Kafka消息队列中生产者与消费者的Python实现示例代码。生产者负责发布消息到指定主题，而消费者则订阅这些主题并接收消息。示例展示了如何设置客户端连接、创建生产者及消费者，并进行消息的发送与接收。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生产者代码：

# -* coding:utf8 *-  
from pykafka import KafkaClient  
  
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)  
  
print client.topics  
  
# 生产者  
topicdocu = client.topics['my-topic']  
producer = topicdocu.get_producer()  
for i in range(100):  
    print i  
    producer.produce('test message ' + str(i ** 2))  
producer.stop()

消费者代码：

# -* coding:utf8 *-  
from pykafka import KafkaClient  
  
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)  
  
print client.topics  
  
# 消费者  
topic = client.topics['my-topic']  
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, auto_commit_interval_ms=1,  
                                     consumer_id='test')  
for message in consumer:  
    if message is not None:  
        print message.offset, message.value