SparkStreaming程序整合Kafka(0.8.2.1)

最新推荐文章于 2023-12-28 12:33:33 发布

原创最新推荐文章于 2023-12-28 12:33:33 发布 · 251 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#SparkStreaming整合Kafka

spark 专栏收录该内容

47 篇文章

订阅专栏

本文介绍如何配置 Spark Streaming 从 Kafka 中读取数据并进行词频统计。首先，需要设置好 Kafka 集群，并了解其工作原理。接着通过 Spark 的 KafkaUtils 创建 DStream 对象来消费 Kafka 中的消息。最后，对读取的数据进行处理，包括切分、映射及聚合操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkStreaming从Kafka中读取数据，首先要安装好Kafka集群。
Kafka的原理和详细安装步骤请参考博客：
安装步骤：https://blog.youkuaiyun.com/weixin_43866709/article/details/88978954
原理：https://blog.youkuaiyun.com/weixin_43866709/article/details/88989349

创建DStream可以直接使用KafkaUtils工具类：

package XXX

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * Create by 。。。
  *
  */
object KafkaWordCount {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[4]")

    val ssc = new StreamingContext(conf,Seconds(5))

    //zookeeper集群位置
    val zkQuorum = "L1:2181,L2:2181,L3:2181"
    val groupId = "g1"
    val topic = Map[String,Int]("tianmao" -> 1)

    //创建DStream,需要KafkaDStream
    val data: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(ssc,zkQuorum,groupId,topic)

    //对数据进行处理
    //Kafka的ReceiverInputDStream[(String,String)]里面装的是一个元组（key是写入的key,value是实际写入的数据）
    //取出数据
    val lines: DStream[String] = data.map(_._2)

    //切分压平
    val words: DStream[String] = lines.flatMap(_.split(" "))

    //将单词和1组合在一起
    val wordAndOne: DStream[(String, Int)] = words.map((_,1))

    //按key进行聚合
    val reduced: DStream[(String, Int)] = wordAndOne.reduceByKey(_+_)

    //打印结果(Action)
    reduced.print()

    //启动sparkStreaming程序
    ssc.start()
    //等待优雅的退出
    ssc.awaitTermination()

  }

}