SparkStreaming简单通用案例

最新推荐文章于 2024-07-07 00:58:10 发布

原创最新推荐文章于 2024-07-07 00:58:10 发布 · 397 阅读

0 ·

CC 4.0 BY-SA版权

大数据同时被 3 个专栏收录

17 篇文章

订阅专栏

SparkStreaming

2 篇文章

订阅专栏

spark

2 篇文章

订阅专栏

本文详细介绍SparkStreaming的基础概念，包括如何使用Scala和Spark进行数据处理。通过实例演示如何配置SparkConf，创建StreamingContext，并使用socketTextStream接收数据。此外，还介绍了DStream的使用，以及如何实现数据的实时处理和窗口滑动。

学习SparkStreaming之前建议先学习Scala 和 Spark ，这两个学好了，用法大同小异

SparkStreaming使用离散化流作为抽象表示，叫做DStream。可用netcat做测试

SparkStream 用采集器间隔时间从数据源采集数据，装成一个个离散化流，离散化流再发给driver，最终发给executor执行

def sparkStreamingTest={
    //配置spark，每隔3秒拉取数据
    val sc = new SparkConf().setMaster("local[*]").setAppName("hello")
    val streamContext = new StreamingContext(sc,Seconds(3))
    val lineRdd: ReceiverInputDStream[String] = streamContext.socketTextStream("",9999)

    //处理数据
    val result = lineRdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    result.print()

    //启动采集器
    streamContext.start()
    //Dirver等待采集器的执行
    streamContext.awaitTermination()
  }

窗口滑动(window方法)，可用于图标，类似 15:00 -16:00之间的天气变化

视频连接地址;https://www.bilibili.com/video/av62992342