kafka-python 消费者消费不到消息

最新推荐文章于 2024-06-13 21:23:00 发布

原创最新推荐文章于 2024-06-13 21:23:00 发布 · 2.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式

博客介绍了Kafka消息处理的排除步骤。包括使用特定的group_id和auto_offset_reset参数；生产者发完消息后，在close中先执行flush再执行close；使用offset查看消息是否写入Kafka。

排除步骤1：

使用group_id=”consumer_group_id_001“ 和 auto_offset_reset="earliest"

from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"],
                         enable_auto_commit=True, auto_commit_interval_ms=5000, group_id="test-consumer-group",
                         auto_offset_reset="earliest")
consumer.subscribe(['add_topic'])
for msg in consumer:
    print(msg.key, msg.value)

排除步骤2：

生产者发完消息后，在close中先执行 producer.flush()，再执行 producer.close()

# -*- coding: utf-8 -*-

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"])
producer.send('add_topic', key=b'我是消息键',value=b'我是消息体，我是主角')
producer.flush()