Spark基于资源调度和任务调度；粗粒度资源申请和细粒度资源申请（详细版：图解+文字说明）

最新推荐文章于 2025-06-11 09:44:39 发布

原创

最新推荐文章于 2025-06-11 09:44:39 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了Spark的资源调度和任务调度过程，包括Worker向Master汇报资源、TaskScheduler申请Executor、DAGScheduler切割stage、TaskScheduler执行task以及失败重试机制。还对比了粗粒度和细粒度资源申请的优缺点，并强调了推测执行机制在特定场景下的应用与注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark任务调度和资源调度
       1).资源调度
           a).集群启动，Worker向Master汇报资源，Master掌握了集群资源情况
           b).当在客户端提交任务的时候，运行任务，new SparkContext，会创建两个对象：DAGScheduler和TaskScheduler
           c).TaskScheduler向Master申请资源，用于启动executor
           d).Master找到满足资源的节点启动Executor
           e).Executor启动之后，反向注册给Driver，Driver掌握了集群计算资源
       2).任务调度
           a).当application运行到Action算子时，触发job,开始任务调度
           b).每个job中有一系列RDD的依赖关系，形成一个DAG有向无环图。
           c).DAG有向无环图被DAGScheduler按照RDD之间的宽窄依赖关系切割job划分stage
       &