kafka随机写数据到不同分区

最新推荐文章于 2024-09-30 19:33:18 发布

原创

最新推荐文章于 2024-09-30 19:33:18 发布 · 2.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java

该博客介绍如何在Java中创建一个Kafka Producer，将数据随机写入不同的分区。ProducerRecord通过自定义的Partitions类进行分区，配置包括bootstrap服务器地址、序列化方式等。生产者会无限循环发送消息，每发送100条数据后退出。

一、定义Partitions类。

二、Producer 数据

public class Producer implements Runnable {

private final KafkaProducer<String, String> producer;
private final String topic;
public Producer(String topicName) {
Properties props = new Properties();
props.put("bootstrap.servers", "192.168.0.41:9080,192.168.0.42:9080,192.168.0.43:9080");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("partitioner.class", "com.kafka.Partition