Missing required configuration "key.serializer" which has no default value.

最新推荐文章于 2021-10-07 08:46:18 发布

Rone-X

最新推荐文章于 2021-10-07 08:46:18 发布

阅读量1.5w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： kafka spark

本文链接：https://blog.youkuaiyun.com/RONE321/article/details/103701634

Spark 专栏收录该内容

18 篇文章

订阅专栏

本文详细解析了在使用SparkStreaming写入Kafka时遇到的Missingrequiredconfiguration错误原因及解决方案，通过正确配置KafkaParams参数，特别是key.serializer和value.serializer，确保数据的顺利传输。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkStreaming写入Kafka报错Missing required configuration "key.serializer" which has no default value.

这是因为你在KafkaParams参数时没有指定key.serializer
将KafkaParams配置项设置为以下格式就ok了

/**
      * 设置Kafka参数
      */
    val kafkaParams = Map[String, Object](
      "bootstrap.servers" -> "cdh01:9092 cdh02:9092 cdh03:9092",
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[StringDeserializer],
      "key.serializer" -> "org.apache.kafka.common.serialization.StringSerializer",
      "value.serializer" -> "org.apache.kafka.common.serialization.StringSerializer",
      "group.id" -> groupId,
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean))