Spark2.11 任务划分以及执行流程

本文详细解析了Spark中Job的执行流程,包括Action触发Job、Job由多个Stage组成及Stage如何依据宽依赖进行划分等内容。此外,还介绍了任务调度、本地性计算、任务分配以及Executor如何执行任务的过程。
1、spark Application中可以由不同的action触发job,也就是说一个Application里可以有很多的job,每个job是由一个或者多个stage构成的,后面的stage依赖前面的stage,只有前面依赖的stage计算完成后面的stage才会计算;
2、stage划分的就是根据宽依赖如:reduceByKey、groupByKey等前后就需要划分为两个stage;
3、由action(如collect)导致了SparkContext.runJob的执行,最终导致了DAGScheduler中的submitJob的执行向自己发送JobSubmitted消息(解耦合),

当自己接收到JobSubmitted消息后出发handleJobSubmitted方法的执行,在其方法中会创建finalStage;


利用createResultStage方法找到parents


在寻找parents(List<Stage>)的过程中采用广度优先的算法。




计算好依赖链条后开始执行submitStage开始计算最左侧的stage(MissStage)


这里递归从后向前查找依赖stage,找到第一个stage后执行submitMissingTasks开始计算


submitMissingTasks里需要计算任务本地性,是根据rdd.getPreferedLocations来计算数据本地性,也说明在任务分配之前就已经确定了任务发往哪个executor了。




然后调用taskScheduleImplement的submitTasks方法



这里会创建taskSetManager加入调度器(先进先出、公平调度)中,然后开始调用CoarseGrainedSchedulerBackend的reviveOffers方法开始调度。


然后DAGScheduler开始调度任务执行。


CoarseGrainedSchedulerBackend的reviveOffers方法是给自己发送消息ReviveOffers,当接收到消息后会执行makeOffers方法执行launchTask发送任务给Executor.


当Executor接收到任务后会通过线程池复用的方式执行任务。

当executor执行到runTask时会有ShuffleMapTask和ResultTask,我们以ShuffleMapTask为例看看最后是怎样执行到RDD的compute方法的。


会执行rdd.iterator

如果存储基本不是NONE就执行getOrCompute




程序会根据运行时的RDD来执行对应的compute方法。





评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值