spark streaming实时流笔记六_spark streaming extends the core api to allow high-优快云博客

本文链接：https://blog.youkuaiyun.com/huxin9611/article/details/89740910

本文是Spark Streaming的入门介绍。阐述了其定义，即处理不同数据源数据并输出结果到外部文件系统，具有低延时、容错等特点，无需独立安装。介绍了应用场景如金融欺诈，还给出从词频统计入门的方法，包括GitHub地址及执行命令，最后说明了其粗粒度和细粒度的工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark streaming 入门

概述

Spark Streaming is an extension of the core Spark API that enables scalable,
high-throughput, （高吞吐量）
fault-tolerant （容错）
stream processing of live data streams.

Spark Streaming 的定义：
将不同的数据源的数据经过Spark Streaming处理之后将结果输出到外部文件系统

特点：低延时
能从错误中高效的恢复：容错
能够运行在成百上千的节点
能够将批处理、机器学习、图计算等自框架和Spark Streaming综合起来使用

Spark streaming 是否需要独立安装？
One stack to rule them all ：一栈式解决

应用场景

金融欺诈

集成Spark生态系统的使用

在这里插入图片描述

发展史

在这里插入图片描述

从词频统计功能着手入门

GitHub
https://github.com/apache/spark

spark-submit执行（生产上的）

先命令行：nc -lk 9999

./spark-submit --master local[2]
–class org.apache.spark.examples.streaming.NetworkWordCount
–name NetworkWordCount
/home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.2.0.jar hadoop000 9999

在这里插入图片描述

spark-shell执行提交（测试）
./spark-shell --master local[2]

import org.apache.spark.streaming.{Seconds, StreamingContext}

   val ssc = new StreamingContext(sc, Seconds(1))
    val lines = ssc.socketTextStream("hadoop000",9999)
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
    wordCounts.print()
    ssc.start()
    ssc.awaitTermination()