示例：Spark Streming+Kafka整合(spark-streaming-kafka-0-10_2.11)

原创

于 2019-07-05 11:01:03 发布 · 2.9k 阅读

CC 4.0 BY-SA版权

本文介绍了如何启动和配置Spark Streaming与Kafka的整合。首先启动Zookeeper和Kafka，接着启动生产者，然后编写并运行代码进行实时数据处理。最后，通过查看结果验证整合的正确性，参考了Spark官方2.2.2版本的文档。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j.{
   
   Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.stream