初始化StreamingContext

最新推荐文章于 2021-11-02 16:13:14 发布

翻译最新推荐文章于 2021-11-02 16:13:14 发布 · 282 阅读

文章标签：

#spark

应用专栏收录该内容

18 篇文章

订阅专栏

本文介绍了Spark Streaming程序的初始化方法，可通过创建SparkConf对象或利用现有SparkContext对象创建StreamingContext。还说明了批处理间隔的设置依据，以及定义输入源、流式计算的操作步骤，同时强调了启动、停止处理的方法和使用StreamingContext的要点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

要初始化Spark Streaming程序，必须创建一个StreamingContext对象，它是所有Spark Streaming功能的主要入口点。
A的StreamingContext对象可以从被创建SparkConf对象

import org.apache.spark._
import org.apache.spark.streaming._

val conf = new SparkConf().setAppName(appName).setMaster(master)
val ssc = new StreamingContext(conf, Seconds(1))

该appName参数是应用程序在集群UI上显示的名称。 master是Spark，Mesos或YARN群集URL，或在本地模式下运行的特殊“local []”字符串。实际上，当在群集上运行时，您不希望master在程序中进行硬编码，而是启动应用程序spark-submit并在那里接收它。但是，对于本地测试和单元测试，您可以传递“local []”以在进程中运行Spark Streaming（检测本地系统中的核心数）。请注意，这会在内部创建一个SparkContext（所有Spark功能的起点），可以作为ssc.sparkContext。

必须根据应用程序的延迟要求和可用的群集资源设置批处理间隔。有关更多详细信息，请参见性能调整部分。

A StreamingContext目的还可以从现有的创建的SparkContext对象。

import org.apache.spark.streaming._

val sc = ...                // 现有 SparkContext
val ssc = new StreamingContext(sc, Seconds(1))

定义上下文后，您必须执行以下操作。

●通过创建输入DStreams来定义输入源。
●通过将转换和输出操作应用于DStream来定义流式计算。
●开始接收数据并使用它进行处理streamingContext.start()。
●等待处理停止（手动或由于任何错误)使用streamingContext.awaitTermination()。
●可以使用手动停止处理streamingContext.stop()。

要记住的要点：
● 一旦启动了上下文，就不能设置或添加新的流式计算。
● 上下文停止后，无法重新启动。
● 在JVM中只能同时激活一个StreamingContext。
● StreamingContext上的stop（）也会停止SparkContext。要仅停止StreamingContext，请将stop()called 的可选参数设置stopSparkContext为false。
● 只要在创建下一个StreamingContext之前停止前一个StreamingContext（不停止SparkContext），就可以重复使用SparkContext创建多个StreamingContexts。