Kafka AdminClient 管理Kafka Offset代码实现

最新推荐文章于 2025-06-30 20:07:36 发布

原创最新推荐文章于 2025-06-30 20:07:36 发布 · 1.1w 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#kafka offset #offset管理 #kafka offset 代码实现 #AdminClient #kafka 获取offset

kafka 专栏收录该内容

8 篇文章

订阅专栏

一：offset保存位置

kafka的offset管理，可以交给zookeeper实现，经过配置offsets.storage=zookeeper；也可以直接跟kafka自己管理，在你的配置文件设置下面的配置项；

offsets.storage=kafka

dual.commit.enabled=true

kafka自己管理自己的offset，并经过命令可以查看

bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092 --describe --group kafkatest

如上图可以查看到group中每个消费者对应topic的patition,当前消费的offset;每个partition中最大的offset等信息；经过测试，当没有消费者进行消费时候，若执行上面命令会出现下面的现象：消费者不见了

以上就是用kafka命令获取的结果；

下面是经过查看借鉴源码，用Java API实现的offset管理（kafka 版本为0.10）

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.10</artifactId>
<version>0.10.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.10.2.1</version>
</dependency>

测试类代码如下：

public static void main(String[] args) throws InstantiationException, IllegalAccessException {
	  Properties props = new Properties();
	  props.put(CommonClientConfigs.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
	  AdminClient adminClient = AdminClient.create(props);
	  ConsumerGroupSummary  consumerGroupSummary =  adminClient.describeConsumerGroup("kafkatest");
	  if(consumerGroupSummary.state().equals("Empty")){
		  System.out.println("niaho");
	  }
	  Option<List<ConsumerSummary>> consumerSummaryOption =  consumerGroupSummary.consumers();

	  List<ConsumerSummary> ConsumerSummarys = consumerSummaryOption.get();//获取组中的消费者
	  KafkaConsumer consumer = getNewConsumer();
	  for(int i=0;i<ConsumerSummarys.size();i++){ //循环组中的每一个消费者
		  
		  ConsumerSummary consumerSummary = ConsumerSummarys.apply(i);
		  String consumerId  = consumerSummary.consumerId();//获取消费者的id
		  scala.collection.immutable.Map<TopicPartition, Object> maps = 
				  adminClient.listGroupOffsets("kafkatest");//或者这个组消费的所有topic，partition和当前消费到的offset
		  List<TopicPartition> topicPartitions= consumerSummary.assignment();//获取这个消费者下面的所有topic和partion
		  for(int j =0;j< topicPartitions.size();j++){ //循环获取每一个topic和partion
			  TopicPartition topicPartition = topicPartitions.apply(j);
			  String CURRENToFFSET = maps.get(topicPartition).get().toString();
			  long endOffset =getLogEndOffset(topicPartition);
			  System.out.println("topic的名字为："+topicPartition.topic()+"====分区为："+topicPartition.partition()+"===目前消费offset为："+CURRENToFFSET+"===,此分区最后offset为："+endOffset);
		  }
	  }
}

引用的两个方法代码如下：

获取消费者

public static KafkaConsumer getNewConsumer(){
	     Properties props = new Properties();
	     props.put("bootstrap.servers", "localhost:9092");
	     props.put("group.id", "kafkatest");
	     props.put("enable.auto.commit", "true");
	     props.put("auto.offset.reset", "earliest");
	     props.put("auto.commit.interval.ms", "1000");
	     props.put("auto.commit.interval.ms", "1000");
	     props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	     props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	     KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
	     return consumer;
  }

获取最后的offset:

public static long getLogEndOffset(TopicPartition topicPartition){
	  KafkaConsumer<String, String> consumer= getNewConsumer();
	  consumer.assign(Arrays.asList(topicPartition));
	  consumer.seekToEnd(Arrays.asList(topicPartition));
	  long endOffset = consumer.position(topicPartition);
	  return endOffset;
  }

运行后，可以获取结果如下：