示例：Spark Streming+Kafka整合(spark-streaming-kafka-0-10_2.11)

Spark Streaming与Kafka整合实战

最新推荐文章于 2022-08-19 15:11:23 发布

原创

最新推荐文章于 2022-08-19 15:11:23 发布 · 2.9k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何启动和配置Spark Streaming与Kafka的整合。首先启动Zookeeper和Kafka，接着启动生产者，然后编写并运行代码进行实时数据处理。最后，通过查看结果验证整合的正确性，参考了Spark官方2.2.2版本的文档。

import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j.{
   
   Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.stream