Kafka获得topicPartition的最早，最新offset的时间，以及存储量

最新推荐文章于 2025-02-09 12:19:38 发布

卞卞要运动

最新推荐文章于 2025-02-09 12:19:38 发布

阅读量4.2k

点赞数 1

分类专栏：云计算/大数据文章标签： kafka

本文链接：https://blog.youkuaiyun.com/qq_29976261/article/details/90229375

版权

本文详细介绍了如何在Kafka中获取特定TopicPartition的最早和最新offset，以及对应的存储大小信息，这对于监控和分析Kafka的数据流动以及存储状况至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.dsp.es.collect.module.kafka;

import com.dsp.common.jndi.ServiceConnect;
import com.dsp.es.collect.module.CommonTask;
import com.dsp.es.collect.schedule.CollectTaskEnum;
import com.dsp.es.collect.schedule.client.KafkaClient;
import com.google.common.collect.Lists;
import kafka.javaapi.*;
import kafka.api.PartitionOffsetRequestInfo;
import kafka.common.TopicAndPartition;
import kafka.javaapi.consumer.SimpleConsumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.ByteArrayDeserializer;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.*;

/**
 * Created by bianqh on 2019/5/6.
 */
public class PartitionLogSize {


    public void collect() throws Exception {
        //链接客户端
        Properties properties = new Properties();
        properties.put("bootstrap.servers", ServiceConnect.Kafka.BOOTSTRAP_SERVERS);

最低0.47元/天解锁文章