
Spark
文章平均质量分 80
ibingoogle
这个作者很懒,什么都没留下…
展开
-
Spark1.6.3 Driver端 task调度源码分析
0.背景当一个Action操作触发了Spark Job提交后:1. Spark首先会在DAGScheduler.scala 中对其stages进行递归分析2. 然后针对某个可执行的stage,根据其partitions的大小生产tasks,并封装成TaskSet3. 最后调用taskSchedulerImpl.scala的submitTasks(taskSet) 方法发送backe原创 2017-01-02 08:53:26 · 1048 阅读 · 0 评论 -
Spark1.6.3 on Yarn 调度总览
先放图再分析, 估计后续的2.0版本也差不多,应该不会有大变动0. Scheduling OverView1. Stage选择DAGScheduler.scala接收到一个Job提交后,会根据computing chain和 RDDs之间的dependencies自后向前建立DAG图并划分若干stages。然后从前向后依次提交stage,因为stages之间具有依赖关系,因原创 2017-01-02 10:56:03 · 623 阅读 · 0 评论 -
Spark1.6.3 Driver端 task运行完成源码分析
0.背景0.1当完成task调度:Executor就会收到serialized的 task,先deserialize 出正常的task,然后运行task得到结果,并通过状态更新的RPC告知SchedulerBackend0.2这里主要分析GoarseGrainedSchedulerBackend.scala的情况1.GoarseGrainedSchedule原创 2017-01-03 11:04:30 · 503 阅读 · 0 评论