sparkStream 实例

最新推荐文章于 2025-05-27 12:59:17 发布

原创最新推荐文章于 2025-05-27 12:59:17 发布 · 659 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sparkStreaming

spark 同时被 2 个专栏收录

9 篇文章

订阅专栏

sparkStreaming

2 篇文章

订阅专栏

本文详细介绍如何使用Spark Streaming进行实时数据处理。首先，通过搭建Spark环境并运行内置示例，展示如何利用NetworkWordCount进行字数统计。接着，提供了一个编程实例，演示如何创建SparkConf，初始化StreamingContext，设置接收socket数据，以及对数据进行flatMap、map和reduceByKey操作。最后，通过nc命令传输数据，验证了Spark Streaming的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、搭建spark环境

https://blog.youkuaiyun.com/starkpan/article/details/86437089

二、实例

1、spark中自带的例子

打开两个termial（或shell终端）

一个终端输入，通过nc进行内容传输

nc -lk 9999

a a a b b b c c c c c

一个终端启动sparkStream实例，这里是spark自带的example，如果执行报异常，请查看路径

spark-submit --master local[2] --class org.apache.spark.examples.streaming.NetworkWordCount --name NetworkWordCount /Users/panstark/Documents/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar localhost 9999

git代码

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/NetworkWordCount.scala

2、编程实例

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * sparkStreaming
  * 通过netWork传输实现字数统计
  * nc -lk 9999
  */
object NetworkWordCount {

  def main(args: Array[String]): Unit = {
    //创建sparkConf
    val sparkConf = new     SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")

    /**
      *创建StreamingContext
      */
    val ssc = new StreamingContext(sparkConf,Seconds(5))
    //创建socket接收端
    val lines = ssc.socketTextStream("localhost",9999)
    //对接受到的内容进行处理
    val result = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    //打印。
    result.print()

    ssc.start()
    ssc.awaitTermination()

  }
}

通过nc传输数据

nc -lk 9999

a a a b b b c c c c c