Spark之SparkStreaming

Spark Streaming的编程抽象是离散化流，也就是DStream。它是一个 RDD 序列，每个RDD代表数据流中一个时间片内的数据。
Spark Streaming为每个输入源启动对应的接收器。接收器运行在Executor中，从输入源收集数据并保存为 RDD
默认情况下接收到的数据后会复制到另一个Executor中，进行容错；
Driver 中的 StreamingContext 会周期性地运行 Spark 作业来处理这些数据。

SparkStreaming 执行流程

1. client 提交SparkStreaming作业，Driver启动Receiver，Receiver接受数据。
2. 每个executor以线程方式运行task，一般情况每个sparkstreaming至少有一个receiver task
3. Receiver接收数据后生成Block，并把BlockId汇报给Driver，然后备份到另外一个 Executor 上
4. ReceiverTracker 维护Reciver 上报的BlockID
5. Driver定时启动JobGenerator，根据Dstream 的关系生成RDD，创建JobSet，交给JobScheduler
6. JobScheduler负责调度Jobset，交给DAGScheduler，DAGScheduler根据逻辑RDD，生成相应的Stages，每个stage包含一到多个Task，将TaskSet提交给TaskSchedule
7. TaskScheduler负责把 Task 调度到 Executor 上，并维护 Task 的运行状态

可以看出SparkStreaming只是将数据按时间划分为DStream，而且只能根据BatchTime进行数据处理，没有支持事件时间。
之后出现的StructureStreaming

1. 以结构化的方式去操作流式数据，简化了实时计算过程
2. 复用了 Catalyst 引擎来优化SQL操作
3. . 支持增量计算和基于event time的计算