Spark2.11 任务划分以及执行流程

1、spark Application中可以由不同的action触发job，也就是说一个Application里可以有很多的job，每个job是由一个或者多个stage构成的，后面的stage依赖前面的stage，只有前面依赖的stage计算完成后面的stage才会计算；

2、stage划分的就是根据宽依赖如：reduceByKey、groupByKey等前后就需要划分为两个stage；

3、由action（如collect）导致了SparkContext.runJob的执行，最终导致了DAGScheduler中的submitJob的执行向自己发送JobSubmitted消息（解耦合），

当自己接收到JobSubmitted消息后出发handleJobSubmitted方法的执行，在其方法中会创建finalStage；

利用createResultStage方法找到parents

在寻找parents（List<Stage>）的过程中采用广度优先的算法。

计算好依赖链条后开始执行submitStage开始计算最左侧的stage（MissStage）

这里递归从后向前查找依赖stage，找到第一个stage后执行submitMissingTasks开始计算

submitMissingTasks里需要计算任务本地性，是根据rdd.getPreferedLocations来计算数据本地性，也说明在任务分配之前就已经确定了任务发往哪个executor了。

然后调用taskScheduleImplement的submitTasks方法

这里会创建taskSetManager加入调度器（先进先出、公平调度）中，然后开始调用CoarseGrainedSchedulerBackend的reviveOffers方法开始调度。

然后DAGScheduler开始调度任务执行。

CoarseGrainedSchedulerBackend的reviveOffers方法是给自己发送消息ReviveOffers，当接收到消息后会执行makeOffers方法执行launchTask发送任务给Executor.

当Executor接收到任务后会通过线程池复用的方式执行任务。

当executor执行到runTask时会有ShuffleMapTask和ResultTask，我们以ShuffleMapTask为例看看最后是怎样执行到RDD的compute方法的。

会执行rdd.iterator

如果存储基本不是NONE就执行getOrCompute

程序会根据运行时的RDD来执行对应的compute方法。