Kafka对于每个主题，它获取所有分区的当前偏移量，并在每次接收到新记录时增加偏移量

最新推荐文章于 2024-09-23 17:14:53 发布

原创

最新推荐文章于 2024-09-23 17:14:53 发布 · 468 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式

该代码示例展示了一个Java程序，它使用ApacheKafka的KafkaConsumerAPI来订阅多个主题，并跟踪每个主题分区的消费进度。程序每5分钟计算并打印出过去5分钟内各主题的总数据消费量。

import org.apache.kafka.clients.consumer.*;  
import org.apache.kafka.common.TopicPartition;  
import java.util.*;  
  
public class KafkaConsumerMetrics {  
    private static final long FIVE_MINUTES = 5 * 60 * 1000;  
  
    public static void main(String[] args) {  
        Properties props = new Properties();  
        props.put("bootstrap.servers", "localhost:9092");  
        props.put("group.id", "test-group");  
        props.put("enable.auto.commit", "true");  
        props.put("auto.commit.interval.ms", "1000");  
        props.put("session.timeout.ms", "30000");  
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");  
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");  
  
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);  
  
        List<String> topics = Arrays.asList("topic1", "topic2", "topic3", "to