【kafka】设置指定topic和group_id消耗的offset

最新推荐文章于 2025-07-08 17:10:05 发布

转载最新推荐文章于 2025-07-08 17:10:05 发布 · 2.4k 阅读

文章标签：

#大数据 #操作系统 #java

本文分享了在Kafka集群中遇到offset严重滞后的解决办法。作者通过重置offset到最新的logsize，成功解决了消息积压的问题。文中还探讨了另一种解决方案——删除topic及其相关数据的复杂性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

该博文方法有问题，正确方案在http://www.cnblogs.com/dplearning/p/7992994.html

背景：

搭建了一个kafka集群，建立了topic test，用group_id ttt 消耗topic.

但问题是，我消费的处理太慢了，导致了上百万数据的挤压，即offset滞后上百万

现在，想放弃上一次的任务，执行新的任务。但是topic名称和group_id不能变化。

想了几个方案，觉得重置offset是最符合我需求的。

import os
from confluent_kafka import Consumer, KafkaError, TopicPartition

# 获取最大logsize
def get_logsize():
    cmd = "/usr/local/share/applications/kafka/kafka_2.11-0.11.0.0/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ttt --zookeeper x.x.x.x:2181 --topic test"
    res = os.popen(cmd).read()
    logsize = res.split("\n")[1].split()[4]
    return int(logsize)

c = Consumer({'bootstrap.servers': 'x.x.x.x:9092',
              'group.id': 'ttt',
              'default.topic.config': {'auto.offset.reset': 'largest'}})
c.subscribe(['test'])
logsize = get_logsize()
tp = TopicPartition('test', 0, logsize)
c.commit(offsets = [tp])  # 直接将offset置为logsize,跳过未消费的数据