KAFKA消费者offset设置

最新推荐文章于 2025-11-08 00:15:00 发布

原创最新推荐文章于 2025-11-08 00:15:00 发布 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

消息系统专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了一种在Kafka中实现从特定Offset开始消费消息的方法。通过具体代码示例，展示了如何使用KafkaConsumer类及其相关配置来定位并消费指定位置的消息。此方法对于处理数据重放、数据恢复等场景尤为适用。

【记录】kafka从指定offset开始消费，参考链接http://www.pianshen.com/article/2025378464/

public class KafkaUtil {

     public static void main(String[] args) {
        Properties p = new Properties();
        p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "escnode0:9092");//kafka地址，多个地址用逗号分割
        p.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        p.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        p.put(ConsumerConfig.GROUP_ID_CONFIG, "test01");
//        p.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
//        p.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(p);


        // 方法一
        // 获得Topic相关的信息.kafkaConsumer.assignment()获得分配给的分区.根据分配的分区进行偏移量重置.
        // 如果重置的分区不在列表里面,则会抛出上面说的异常
//        consumer.subscribe(Arrays.asList(new String[]{"test"}));
//        consumer.poll(100);
//        Set<TopicPartition> topicPartitions = consumer.assignment();
//        // 从指定offset消费
//        topicPartitions.forEach(e -> consumer.seek(new TopicPartition(e.topic(), e.partition()), 550270));
//        // 从头开始消费
//        //consumer.seekToBeginning(topicPartitions);

        // 方法二
        TopicPartition partition = new TopicPartition("test", 0);
        consumer.assign(Collections.singleton(partition));
        consumer.seekToBeginning(Collections.singleton(partition));


        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.println(String.format("%s: %s", record.offset(), record.value()));
            }

        }

    }
}