kafka怎么用代码读取数据

最新推荐文章于 2024-12-18 13:54:57 发布

原创最新推荐文章于 2024-12-18 13:54:57 发布 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #linq #分布式

该示例展示了如何使用Java的KafkaConsumerAPI从名为my-topic的主题中读取数据。配置包括设置bootstrap服务器地址、消费组ID以及键值的StringDeserializer。在无限循环中，消费者通过poll()方法每100毫秒获取一次消息，并打印出消息的偏移量、键和值。

Kafka可以通过Java语言中的Kafka客户端库来读取数据。以下是一个简单的Java代码示例，通过Kafka Consumer API从Kafka集群中读取数据：



```java
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class KafkaConsumerExample {
   public static void main(String[] args) throws Exception {

      String topicName = "my-topic";
      Properties props = new Properties();
      props.put("bootstrap.servers", "localhost:9092");
      props.put("group.id", "test-group");
      props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
      props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

      KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
      consumer.subscribe(Arrays.asList(topicName));

      while (true) {
         ConsumerRecords<String, String> records = consumer.poll(100);
         for (ConsumerRecord<String, String> record : records) {
            System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
         }
      }
   }
}
```

在这个示例中，我们使用KafkaConsumer类，它是Kafka Java客户端库的一部分，从指定的主题（topic）中消费数据。我们设置了Kafka集群的地址（bootstrap.servers），将自己的消费组ID（group.id）分配给消费者，以及对键（key）和值（value）进行反序列化。在这个示例中，我们使用StringDeserializer，但您可以使用任何其他适当的序列化程序。

在while循环中，我们使用poll()方法从Kafka集群中获取消息，等待100毫秒。然后我们遍历这些消息并打印它们的偏移量、键和值。