SparkStreaming实时计算的框架和执行过程

SparkStreaming 为每一个数据源启动对应的Reciver（接收器），接收器以任务的形式运行在应用的Executor（执行器）进程中，从输入源接收数据 ，把数据分组为小的批次（batch），保存为RDD。然后把数据复制到另一个Executor中备份，保障容错性。

然后我们根据这框架来谈一谈SparkStreaming运行的具体流程：

1、客户端提交作业后启动Driver，通过Driver来启动Receiver，定时去启动任务的处理。

2、每个作业包含多个Executor，每个Executor以线程的方式运行task，Spark Streaming至少包含一个receiver task。

3、Receiver接收数据后生成Block，并把BlockId汇报给Driver，然后备份到另外一个Executor上。

4、ReceiverTracker维护Reciver汇报的BlockId。

5、Driver定时启动JobGenerator，根据Dstream的关系生成逻辑RDD，然后创建Jobset，交给JobScheduler。

6、JobScheduler负责调度Jobset，交给DAGScheduler，DAGScheduler根据逻辑RDD，生成相应的Stages，每个stage包含一到多个task，将TaskSet提交给TaskSchedule。

7、TaskScheduler负责把task调度到Executor上，并维护task的运行状态。