Kafka- Spark消费Kafka

最新推荐文章于 2025-09-12 20:46:57 发布

weixin_33694172

最新推荐文章于 2025-09-12 20:46:57 发布

阅读量109

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/RzCong/p/8630043.html

本文介绍如何使用 Scala 在 Spark Streaming 中配置 Kafka 参数并创建直接流以消费 Kafka 主题的数据。涉及 Kafka 参数设置及流处理配置。

在高版本的API中

val brokers = properties.getProperty("kafka.host.list")
val topics = Set(properties.getProperty("kafka.application.topic"))
val kafkaParams = Map[String, String](
  "bootstrap.servers"           -> brokers,
  "group.id"                    -> "ntaflowgroup",
  "auto.commit.interval.ms"     -> "1000",
  "key.deserializer"            -> "org.apache.kafka.common.serialization.StringDeserializer",
  "value.deserializer"          -> "org.apache.kafka.common.serialization.StringDeserializer",
  "auto.offset.reset"           -> "latest",
  "enable.auto.commit"          -> "true"
)
val ntaflowCache: InputDStream[ConsumerRecord[String, String]] = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsistent, Subscribe[String, String](topics, kafkaParams) )