Kafka Spark （Producer）相关API（将数据存入指定分区）

BigData_001_Lz

已于 2022-09-15 23:25:10 修改

阅读量251

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记文章标签： java kafka scala 大数据

于 2022-09-15 23:22:11 首次发布

本文链接：https://blog.youkuaiyun.com/GX_0824/article/details/126881626

笔记专栏收录该内容

44 篇文章

订阅专栏

这篇博客介绍了如何使用Java实现Kafka Producer，通过`KafkaProducer`发送消息到'reback'主题，并将值按指定分区存储。配置了bootstrap服务器地址和序列化器，展示了100次循环发送记录的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

object MyProducer extends App {
    //配置
    val properties = new Properties()
    properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"master:9092,slave1:9092,slave2:9092")
    properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,classOf[StringSerializer].getName)
    properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,classOf[StringSerializer].getName)
    //创建生产者
    val kafkaProducer = new KafkaProducer[String,String](properties)
    for (i <- 0 to 100) {
      kafkaProducer.send(new ProducerRecord("reback", 3,"", "" + i),new Callback {
        //将值存入指定的分区里面 topic = "reback",partition = 3,key = "",value = "" + i
        override def onCompletion(recordMetadata: RecordMetadata, e: Exception): Unit = {
          if (e == null)
            println("主题:" + recordMetadata.topic() + "分区:" + recordMetadata.partition() + "值长度:"
              + recordMetadata.serializedValueSize())//serializedValueSize：返回序列化后值得长度
          else e.printStackTrace()
        }
      })
    }
    kafkaProducer.close();
}