Spark分析（六）Spark Streaming运行流程详解（1）

SDU_可颂

于 2021-11-09 12:39:34 发布

阅读量1.1k

点赞数

分类专栏：项目实训（2021年）文章标签： spark

本文链接：https://blog.youkuaiyun.com/m0_55939339/article/details/121225583

版权

本文详细探讨了Spark Streaming的初始化过程，从StreamingContext的创建到启动，阐述了SparkContext与DStreamGraph的关系。文章通过一个基本的Spark Streaming示例，解释了InputDStream的生成，特别是SocketInputDStream的实现。最后，总结了DStream的转换和输出操作，强调了foreachRDD在DStreamGraph中的作用，并预告了后续对DStream.print操作的分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2021SC@SDUSC

前言

前几篇分析阐述了Spark Streaming的基本原理，接下来的内容是在前面的基本原理的基础上，深入到源码中，对Spark Streaming中的各个主要流程进行剖析。对主要的流程，会先做一些概要性的阐述。

从StreamingContext的初始化到启动

Spark Streaming应用程序最开始做的事情一般是初始化StreamingContext，即生成StreamingContext对象。因为StreamingContext是Spark Streaming的入口。
StreamingContext初始化一般会有两个参数，分别是SparkConf对象和批处理时间间隔。
以下是一个基本的Spark Streaming应用程序的例子：

// NetworkWordCount代码
package co.dt.spark.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

object NetworkWordCouunt {
   
	def main(args:Array[String]) {
   
		val sparkConf = new SparkConf().setAppName("NetworkEWordCount")
		//初始化StreamingContxt，即生成StreamingContext对象
		val ssc = new StreamingContext(sparkConf, Seconds(1))

		val lines = ssc.socketTextStream)

最低0.47元/天解锁文章