kafka实现wordcount并实现累加操作

最新推荐文章于 2022-05-24 11:15:21 发布

原创最新推荐文章于 2022-05-24 11:15:21 发布 · 562 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

大数据同时被 3 个专栏收录

71 篇文章

订阅专栏

kafka

7 篇文章

订阅专栏

虚拟机

6 篇文章

订阅专栏

本文介绍如何使用Apache Spark Streaming和Kafka进行实时流处理，实现WordCount应用。通过创建Kafka生产者发送消息，并利用Spark Streaming消费这些消息，进行单词频率统计。代码示例展示了如何配置Spark和Kafka，以及如何实现数据流处理和状态更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先在kafka输入下列命令充当生产者

   ./bin/kafka-console-producer.sh  --broker-list 192.168.147.133:9092,192.168.147.134:9092,192.168.147.135:9092 --topic test034

下列代码当消费者

package day14
import org.apache.spark.streaming.dstream.ReceiverInputDStream
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Duration, Seconds, StreamingContext}

/**
  * Kafka的receive方式实现WC
  * receive
  * 1.重点：首先会以DStream中的数据进行按key做reduce操作，然后再对各个批次的数据进行累加
     2.updateStateByKey 方法中
updateFunc就要传入的参数，他是一个函数。Seq[V]表示当前key对应的所有值，Option[S] 是当前key的历史状态，返回的是新的
  */
object KafkaWC {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("wordcount").setMaster("local[2]")
    val ssc = new StreamingContext(conf,Seconds(3))
    val zks="192.168.147.133:2181"
    ssc.checkpoint("hdfs://spark01:9000/aaaa")
   /* val prop = new Properties
    prop.put("auto.offset.reset","smallest");*/

    //消费者组
    val groupId: String ="gp1"
    //Topic的名字 Map的key是topic名字，第二参数是线程数
    val topics: Map[String, Int] =Map[String,Int]("test04"->1)
    //获取到的数据是键值对的格式(key，value)
    //获取到的数据 key是偏移量，value是数据
    val data: ReceiverInputDStream[(String,String)] = KafkaUtils.createStream(ssc,zks,groupId,topics)
    //接下来开始处理数据
    val lines = data.flatMap(_._2.split(" "))
    val words = lines.map((_,1))
    words.updateStateByKey( (currValues:Seq[Int],preValue:Option[Int]) =>{
    var currValueSum = 0
    for(currValue <- currValues) {
      currValueSum += currValue
    }
      Some(currValueSum + preValue.getOrElse(0))
    }).print(50)   //    默认10条  ，加参数可设置打印条数
   // val result = words.reduceByKey(_+_)
    //words.updateStateByKey[Int](result,
      //new HashPartitioner(ssc.sparkContext.defaultParallelism), true, data))
     // result.print()
      ssc.start()
      ssc.awaitTermination()
  }
}