kafka producer生产100W条测试数据

最新推荐文章于 2025-05-11 20:02:57 发布

原创

最新推荐文章于 2025-05-11 20:02:57 发布 · 置顶 · 1.8k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#kafka_producer

本文介绍了如何使用Kafka的生产者在测试环境中生成大量数据。通过编写脚本或直接在生产者端推送数据到Kafka，作者分享了在Kafka Producer中循环push数据的方法，以满足测试需求。数据格式固定，适用于初学者的学习和讨论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

闲来无事的时候，可能会因为要尝试一些新技术而需要一些测试数据，或者处理某些需求需要大量的测试数据以测试用，本次就kafka的生产者生产测试数据给大家分享一下。
制造测试数据其实方法有很多种，可以写个脚本(shell或者python都可以 )for 循环一下，指定一下数据格式还有数据量就可以了，然后生成相应数据文件，再用flume检测对应文件夹将数据传入到kafka，还有就是直接在kafka的生产者端将数据push到kafka中。
本次我用生产者将数据循环push到kafka中。
注：数据格式是定的，因为我用的是个循环，去生产相应数量的数据。

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Properties;

public class Producer implements Runnable{
    private KafkaProducer<String,String> producer;
    private String topic;
    String brokers = "10.204.118.101:9092,10.204.118.102:9092,10.204.118.103:9092";

    public Producer(String topicName){
        Properties props = new Properties();
        props.put("bootstrap.servers",brokers);
        props.put("key.serializer", StringSerializer.class);
        props.put("value.se