Spark streaming之updateStateByKey

最新推荐文章于 2022-01-06 21:29:38 发布

原创最新推荐文章于 2022-01-06 21:29:38 发布 · 242 阅读

0 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

25 篇文章

订阅专栏

本文介绍如何使用Apache Spark Streaming进行实时数据流处理，通过socket接收数据并实现单词频率的实时统计。代码示例展示了从配置Spark环境到启动实时计算的完整流程，包括checkpoint设置、数据读取、单词分割、频率统计及结果输出。

import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Administrator on 2018/7/24.
  */
object WordCount {
  def main(args:Array[String]){
    val conf=new SparkConf().setAppName("updateStateByKeyPro")
      .setMaster("local[2]")
    val ssc=new StreamingContext(conf,Seconds(10))

    //开启checkpoint
    ssc.checkpoint("hdfs://192.168.47.244:8020/input")

    //连接nc(netcat)服务,接收数据源，产生Dtream 对象
    val lines=ssc.socketTextStream("192.168.47.141",9999)

    //分隔单词，并将分隔后的每个单词出现次数记录为１
    val pairs=lines.flatMap(_.split(" "))
      .map(word=>(word,1))
    //调用updateStateByKey算子，统计单词在全局中出现的次数
    val result=pairs.updateStateByKey((values:Seq[Int],state:Option[Int])=>{
      //创建一个变量，用于记录单词出现次数
      var newValue=state.getOrElse(0) //getOrElse相当于if....else.....
      for(value <- values){
        newValue +=value //将单词出现次数累计相加
      }
      Option(newValue)
    })
    //直接输出结果
    result.print()


    ssc.start() //开启实时计算
    ssc.awaitTermination() //等待应用停止
  }

}