kafka监控获取logSize, offset, lag等信息

最新推荐文章于 2025-06-23 21:28:59 发布

原创

最新推荐文章于 2025-06-23 21:28:59 发布 · 1.4w 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #kafka监控 #lag

本文介绍如何在SpringBoot项目中，通过Zookeeper获取Kafka的offset和logSize来计算消费信息的lag。当从特定链接无法获取offset时，选择直接从Zookeeper读取，提供获取groupId下所有topic的offset值的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于项目需要，需要查看kafka消费信息lag（lag = logSize - offset）

参考https://www.aliyun.com/jiaocheng/775267.html 的实现方式在有些场景无法获取offset的值（具体原因暂不知晓后续研究下）

因此决定直接从zookeeper中取offset值

一、springboot项目添加依赖

<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
</dependency>

二、相关代码

import java.io.IOException;
import java.text.MessageFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class KafkaUtil {
	private static Logger logger = LoggerFactory.getLogger(KafkaUtil.class);
	private static final int ZOOKEEPER_TIMEOUT = 30000;
	private f