获取kafka最新offset-java

最新推荐文章于 2024-10-12 17:26:17 发布

原创

最新推荐文章于 2024-10-12 17:26:17 发布 · 3.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#java #程序员 #kafka

本文介绍了如何使用Java代码来获取Kafka的最新offset，包括相关类如GetOffsetShellWrap和GetOffsetShellWrapJavaTest的示例。通过这些方法，开发者可以在不使用Scala的情况下便捷地获取Kafka消息的最新位置。

之前笔者曾经写过通过scala的方式获取kafka最新的offset

但是大多数的情况我们需要使用java的方式进行获取最新offset

以下是通过java代码获取kafka最新offset

GetOffsetShellWrap

public class GetOffsetShellWrap { private static Logger log = LoggerFactory.getLogger(GetOffsetShellWrap.class); private String topic; private int port; private String host; private int time; public GetOffsetShellWrap(String topic,int port,String host,int time) { this.topic = topic; this.port = port; this.host = host; this.time = time; } public Map<String, String> getEveryPartitionMaxOffset() { //1.获取topic所有分区 以及每个分区的元数据 => 返回 Map<分区id,分区元数据> TreeMap<Integer, PartitionMetadata> partitionIdAndMeta = findTopicEveryPartition(); Map<String, String> map = new HashMap<String, String>(); for (Entry<Integer, PartitionMetadata> entry : partitionIdAndMeta.entrySet()) { int leaderPartitionId = entry.getKey(); //2.根据每个分区的元数据信息 ==> 获取leader分区的主机 String leadBroker = entry.getValue().leader()