21、Spark Streaming 入门：API、操作、实践与实时查询

Spark Streaming 入门：API、操作、实践与实时查询

1. Spark Streaming API 概述

Spark Streaming 的所有类都被封装在 org.apache.spark.streaming.* 包中。其中，有两个核心类提供了对所有 Spark Streaming 功能的访问：
- org.apache.spark.streaming.StreamingContext ：它是 Spark Streaming 功能的入口点，可用于创建 DStream 对象，还能启动和停止 Spark Streaming 作业。
- org.apache.spark.streaming.dstream.DStream.scala ： DStream （离散化流）是 Spark Streaming 的基本抽象，它提供了由实时数据或现有 DStream 转换而来的 RDD 序列。该类定义了可在所有 DStream 上执行的全局操作，以及一些可应用于特定类型 DStream 的特定操作。

此外，Spark Streaming 还定义了各种子包，用于为不同类型的输入接收器提供功能：
| 子包名称 | 功能 |
| — | — |
| org.apache.spark.streaming.kinesis.* | 用于从 Kinesis 消费输入数据 |