kafka控制offset偏移量

原创

于 2017-10-16 17:38:36 发布 · 4.9k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

本文介绍了如何使用KafkaConsumer的seek()方法来控制offset偏移量，特别是在遇到消费异常或者需要重新处理历史数据时的应用场景，如消息处理失败后的offset回退或跳过。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过KafkaConsumer.seek()来控制offset.注意如果设置了手动提交需要
commitAsync()否则不生效。

使用场景:
1.消费抛异常 offset+1跳过
2.重新消费前面的数据(消息写入hbase失败重写)

try {
                    ConsumerRecords<String, String> consumerRecords = consumer.poll(pollMillions);
                    //key is null

                    for (ConsumerRecord<String, String> record : consumerRecords) {
                        sourceVistor.accept(sourceAdaptor.adapt(record.value()));

                        //计数器++
                        receiveCount.addAndGet(1);
                    }

                    if (!consumerRecords.isEmpty()) {
                        consumer.commitAsync();
                    }
                }

catch (RecordTooLargeException e2) {
                    //跳过,忽略这条过长的
                    LOGG