Spark Streaming运行流程及基本使用

最新推荐文章于 2023-03-20 14:11:36 发布

转载最新推荐文章于 2023-03-20 14:11:36 发布 · 2.4k 阅读

6 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/u012151684/article/details/108328675

文章标签：

#spark

Spark Streaming介绍

Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。在“One Stack rule them all”的基础上，还可以使用Spark的其他子框架，如集群学习、图计算等，对流数据进行处理。

Spark Streaming处理的数据流图：

Spark的各个子框架，都是基于核心Spark的，Spark Streaming在内部的处理机制是：接收实时流的数据，并根据一定的时间间隔拆分成一批批的数据，然后通过Spark Engine处理这些批数据，最终得到处理后的一批批结果数据。对应的批数据，在Spark内核对应一个RDD实例，因此，对应流数据的DStream可以看成是一组RDDs，即RDD的一个序列。通俗点理解的话，在流数据分成一批一批后，通过一个先进先出的队列，然后 Spark Engine从该队列中依次取出一个个批数据，把批数据封装成一个RDD，然后进行处理。

Spark Streaming有以下特点：

高可扩展性，可以运行在上百台机器上（Scales to hundreds of nodes）
低延迟，可以在秒级别上对数据进行处理（Achieves low latency）
高可容错性（Efficiently recover from failures）
能够集成并行计算程序，比如Spark Core（Integrates with batch and interactive processing）

Spark Streaming工作原理

对于Spark Core其核心部分就是RDD，对于Spark Streaming来说，它的核心是DStream（Discretized Stream），其作为Spark Streaming的基础抽象，它代表持续性的数据流。这些数据流既可以通过外部输入源赖获取，也可以通过现有的Dstream的transformation操作来获得。在内部实现上，DStream类似于RDD，其是由一组时间序列上连续的RDD来表示。每个RDD都包含了自己特定时间间隔内的数据流。如下图所示：

DStream中在时间轴下生成离散的RDD序列：

其基本工作原理为：Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark Core，也就是把Spark Streaming的输入数据按照batch size（如1秒）分成一段一段的数据（Discretized Stream），每一段数据都转换成Spark中的RDD（Resilient Distributed Dataset），然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间的结果进行叠加或者存储到外部设备。其Spark Streaming的基本工作原理及运行架构如下：

对比与Spark Core，Spark Core在初始化时会生成一个SparkContext对象来对数据进行后续的处理，相对应的Spark Streaming会创建一个Streaming Context，它的底层是SparkContext，也就是说它会将任务提交给SparkContext来执行，这也很好的解释了DStream是一系列的RDD。当启动Spark Streaming应用的时候，首先会在一个节点的Executor上启动一个Receiver接受者，然后当从数据源写入数据的时候会被Receiver接收，接收到数据之后Receiver会将数据Split成很多个block，然后备份到各个节点（Replicate Blocks 容灾恢复），然后Receiver向StreamingContext进行块报告，说明数据在那几个节点的Executor上，接着在一定间隔时间内StreamingContext会将数据处理为RDD并且交给SparkContext划分到各个节点进行并行计算。

Spark Streaming基本示例

基本示例如同Spark Streaming官方网站中的示例如下：


   
     
      
     
     
      
       import org.apache.spark._
      
     

     
      
     
     
      
       import org.apache.spark.streaming._
      
     

     
      
     
     
      
       import org.apache.spark.streaming.
       StreamingContext._ 
       // not necessary since Spark 1.3
      
     

     
      
     
     
       
      
     

     
      
     
     
      
       // Create a local StreamingContext with two working thread and batch interval of 1 second.
      
     

     
      
     
     
      
       // The master requires 2 cores to prevent from a starvation scenario.
      
     

     
      
     
     
       
      
     

     
      
     
     
      
       val conf = 
       new 
       SparkConf().setMaster(
       "local[2]").setAppName(
       "NetworkWordCount")
      
     

     
      
     
     
      
       val ssc = 
       new 
       StreamingContext(conf, 
       Seconds(
       1))
      
     

     
      
     
     
      
       // Create a DStream that will connect to hostname:port, like localhost:9999
      
     

     
      
     
     
      
       val lines = ssc.socketTextStream(
       "localhost", 
       9999)
      
     

     
      
     
     
      
       // Split each line into words
      
     

     
      
     
     
      
       val words = lines.flatMap(_.split(
       " "))
      
     

     
      
     
     
      
       // Count each word in each batch
      
     

     
      
     
     
      
       val pairs = words.map(word => (word, 
       1))
      
     

     
      
     
     
      
       val wordCounts = pairs.reduceByKey(_ + _)
      
     

     
      
     
     
       
      
     

     
      
     
     
      
       // Print the first ten elements of each RDD generated in this DStream to the console
      
     

     
      
     
     
      
       wordCounts.print()
      
     

     
      
     
     
      
       ssc.start()             
       // Start the computation
      
     

     
      
     
     
      
       ssc.awaitTermination()  
       // Wait for the computation to terminate

一个基本的Spark Streaming创建流程如下：

创建StreamingContext对象：同Spark初始化需要创建SparkContext对象一样，使用Spark Streaming就需要创建StreamingContext对象。创建StreamingContext对象所需的参数与SparkContext基本一致，包括指明Master，设定名称。Spark Streaming需要指定处理数据的时间间隔，如上例所示的1s，那么Spark Streaming会以1s为时间窗口进行数据处理。此参数需要根据用户的需求和集群的处理能力进行适当的设置；
创建InputDStream：Spark Streaming需要指明数据源。如socketTextStream，Spark Streaming以socket连接作为数据源读取数据。当然Spark Streaming支持多种不同的数据源，包括Kafka、 Flume、HDFS/S3、Kinesis和Twitter等数据源；
操作DStream：对于从数据源得到的DStream，用户可以在其基础上进行各种操作，如上例所示的操作就是一个典型的WordCount执行流程：对于当前时间窗口内从数据源得到的数据首先进行分割，然后利用Map和ReduceByKey方法进行计算，当然最后还有使用print()方法输出结果；
启动Spark Streaming：之前所作的所有步骤只是创建了执行流程，程序没有真正连接上数据源，也没有对数据进行任何操作，只是设定好了所有的执行计划，当ssc.start()启动后程序才真正进行所有预期的操作。