Kafka-消费,Offset手动提交,指定offset消费,指定分区消费

最新推荐文章于 2025-06-05 12:50:10 发布

原创

最新推荐文章于 2025-06-05 12:50:10 发布 · 1.9w 阅读

39 ·

CC 4.0 BY-SA版权

文章标签：

#BigData #大数据 #kafka #队列

本文详细介绍了Kafka消费者的Poll方法、Close方法，重点讨论了Offset的自动提交和手动提交，包括sync和async方式，并展示了如何指定Offset和分区进行消费。消费者在调用Poll方法时保持活性，Close方法会触发rebalance。手动提交Offset可以避免自动提交的限制，但需注意同步提交可能影响吞吐量。同时，消费者需获取分区信息才能进行Offset重置，否则会抛出异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

若文章对你有帮助请点个👍👍👍, 表示对我的鼓励, 非常感谢 ❤️❤️❤️

消费者示例

// 配置请求参数
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
properties.put(ConsumerConfig