Stage划分和Task最佳位置算法解密

最新推荐文章于 2025-09-12 00:18:54 发布

原创最新推荐文章于 2025-09-12 00:18:54 发布 · 664 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #算法 #Stage #Task

Spark 专栏收录该内容

25 篇文章

订阅专栏

本文解析了Spark中Stage划分及Task本地性算法原理。详细介绍了Stage如何根据宽依赖进行划分，以及Task如何通过RDD的getPreferredLocations方法确定最优执行位置。

1.Stage划分算法解密
Spark Application中可以因为不同的Action触发众多的Job，也就是说一个Application钟可以有很多的Job，每个Job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行
2.Stage划分的已经就是宽依赖，什么产生宽依赖？例如reduceByKey，groupByKey等等
3.由Action（例如Collect）导致了SparkContext.runJob的执行，最终导致了DAGScheduler中的submitJob的执行，其核心是通过发送一个case class JobSubmitted对象给eventProcessLoop，其中JobSubmitted代码如下：

private[scheculer] case class JobSubmitted(
jobId:Int,
finalRDD:RDD[_]
func:(TaskContext,Iterator[_]=>_,
partitions:Array[Int],
callSite:CallSite,
listener:JobListener,
properties:Properties=null)
extends DAGSchedulerEvent

eventProcessLoop是DAGSchedulerEventProcessLoop的具体实例，而DAGSchedulerEventProcessLoop是EventLoop的子类，具体实现EventLoop的onReceive方法，onReceive方法转过来回调doOnReceive
4.在doOnreceive中通过模式匹配的方式把执行路由到

case JobSubmitted(jobId,rdd,func,partitions,callSite,listener,properties)=>.dagScheduler.handleJobSubmitted(jobId,rdd,func,partitons,callSite,listener,properties)

5.在handleJobSubmited中首先创建finalStage，创建finalStage时候会建立父Stage的依赖链条：
补充说明：所谓的missing就是说要进行当前的计算了
二、Task任务本地性算法实现：
1.在submiMissingTasks中会通过调用以下代码来获得任务的本地性：
2.

val taskIdToLocations:Map[Int,Seq[TaskLocation]]=try{
stage match{
case s: ShuffleMapStage =>.
partionsToCompute.map{id,getPreferredLocs(stage.rdd,id))}.toMap
case s:ResultStage =>.
val job=s.activeJob.get
partitionsToCompute.map{id =>
val p =s.partitions(id)
(id,getPreferredLocs(stage.rdd,p))
}.toMap
}
}

2.具体一个Partition中的数据本地性的算法实现为下述代码：

private[spark]
def getPreferredLocs(rdd:RDD[_],partition:Int):Seq[TaskLocation]={getPreferredLocsInternal(rdd,partition,new HashSet)}

在具体算法实现的时候首先查询DAGScheduler的内存数据结构中是否存在当前Partition的数据本地性的信息，如果有的话直接返回，如果没有首先会调用rdd.getPreferredLocations
例如想让Spark运行在Hbase上或者一种现在还没有直接的数据库上面，此时开发者需要自定义RDD，为了保证Task计算的数据本地性，最为关键的方式就是必须实现RDD的getPreferredLocations
3.DAGScheduler计算数据本地性的时候巧妙的借助了RDD自身的getPreferedLocations中的数据，最大化的优化的效率，因为getPreferredLocations中表明了每个Partition的数据本地性，虽然当前Partition可能被persist或者checkpoint，但是persist或者checkpoint默认情况下肯定是和getPreferredLocations中的Patition的数据本地性一致的，所以这就是极大的简化Task数据本地性算法的实现和效率的优化。