Spark2.11 任务划分以及执行流程

本文详细解析了Spark中Job的执行流程,包括Action触发Job、Job由多个Stage组成及Stage如何依据宽依赖进行划分等内容。此外,还介绍了任务调度、本地性计算、任务分配以及Executor如何执行任务的过程。
1、spark Application中可以由不同的action触发job,也就是说一个Application里可以有很多的job,每个job是由一个或者多个stage构成的,后面的stage依赖前面的stage,只有前面依赖的stage计算完成后面的stage才会计算;
2、stage划分的就是根据宽依赖如:reduceByKey、groupByKey等前后就需要划分为两个stage;
3、由action(如collect)导致了SparkContext.runJob的执行,最终导致了DAGScheduler中的submitJob的执行向自己发送JobSubmitted消息(解耦合),

当自己接收到JobSubmitted消息后出发handleJobSubmitted方法的执行,在其方法中会创建finalStage;


利用createResultStage方法找到parents


在寻找parents(List<Stage>)的过程中采用广度优先的算法。




计算好依赖链条后开始执行submitStage开始计算最左侧的stage(MissStage)


这里递归从后向前查找依赖stage,找到第一个stage后执行submitMissingTasks开始计算


submitMissingTasks里需要计算任务本地性,是根据rdd.getPreferedLocations来计算数据本地性,也说明在任务分配之前就已经确定了任务发往哪个executor了。




然后调用taskScheduleImplement的submitTasks方法



这里会创建taskSetManager加入调度器(先进先出、公平调度)中,然后开始调用CoarseGrainedSchedulerBackend的reviveOffers方法开始调度。


然后DAGScheduler开始调度任务执行。


CoarseGrainedSchedulerBackend的reviveOffers方法是给自己发送消息ReviveOffers,当接收到消息后会执行makeOffers方法执行launchTask发送任务给Executor.


当Executor接收到任务后会通过线程池复用的方式执行任务。

当executor执行到runTask时会有ShuffleMapTask和ResultTask,我们以ShuffleMapTask为例看看最后是怎样执行到RDD的compute方法的。


会执行rdd.iterator

如果存储基本不是NONE就执行getOrCompute




程序会根据运行时的RDD来执行对应的compute方法。





Spark任务的详细执行流程如下: 1. 创建SparkContext:首先,Spark应用程序需要创建一个SparkContext对象,它是与集群通信的主要入口点。 2. 创建RDD:在Spark中,数据被组织成弹性分布式数据集(RDD)。RDD可以从外部存储系统(如HDFS)中读取数据,也可以通过对已有RDD进行转换操作来创建。 3. 转换操作:Spark提供了一系列转换操作,如map、filter、reduce等。这些操作可以对RDD进行转换,生成新的RDD。转换操作是惰性求值的,即不会立即执行,而是记录下来以便后续执行。 4. 行动操作:当需要从RDD中获取结果时,需要执行行动操作。行动操作会触发Spark作业的执行,并将结果返回给驱动程序。 5. 任务划分Spark将作业划分为一系列任务,每个任务处理RDD的一个分区。任务划分是根据数据的分区情况和可用的计算资源进行的。 6. 任务调度:Spark任务调度到集群中的可用计算节点上执行任务调度器负责将任务分配给可用的Executor,并监控任务执行情况。 7. 任务执行:每个Executor会为分配给它的任务创建一个或多个线程,并在这些线程上执行任务任务执行过程中,Executor会将数据从内存或磁盘中读取到计算节点上,并进行计算操作。 8. 数据传输:在任务执行过程中,Spark会根据需要将数据从一个节点传输到另一个节点。这种数据传输可以是节点内的数据传输,也可以是跨节点的数据传输。 9. 结果返回:当任务执行完成后,结果会返回给驱动程序。驱动程序可以将结果保存到外部存储系统,或者进行进一步的处理和分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值