关于近期学习kafka总结

Jasonhada

于 2022-02-19 17:40:51 发布

阅读量878

点赞数

CC 4.0 BY-SA版权

文章标签： kafka 学习分布式

本文链接：https://blog.youkuaiyun.com/Jasonhada/article/details/123021388

本文介绍了如何使用KafkaConsumer从最早的消息（earliest）和最新的消息（latest）开始消费。对于从头开始消费，无需提供group_id，只需设置auto_offset_reset为'earliest'。而从最新消息开始，则需要指定group_id，因为group_id用于跟踪消费的偏移量，此时auto_offset_reset默认为'latest'。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

从最早以前开始消费，不需要传递group_id参数，因为group_id是用于记录偏移量的。只需要设置

auto_offset_reset="earliest"

from kafka import KafkaConsumer

kafka_addr = '192.168.19.131:9092'

def func():
    consumer = KafkaConsumer('quickstart',bootstrap_servers=kafka_addr,auto_offset_reset="earliest",
                        )
    print(consumer.topics())
                            
    for res in consumer:
        print(res)

while True:
    func()

从最近的未消费消息开始消费需要指定group_id,因为group_id记录了偏移量offset，不需要传递auto_offset_reset参数，因为默认就是auto_offset_reset=latest

from kafka import KafkaConsumer

kafka_addr = '192.168.19.131:9092'

def func():
    consumer = KafkaConsumer('quickstart',group_id='test',bootstrap_servers=kafka_addr,
                        )

    print(consumer.topics())

    for res in consumer:
        print(res)

while True:
    func()