DAGScheduler 和 TaskScheduler 的关系

最新推荐文章于 2021-01-29 02:59:23 发布

Joseph25

最新推荐文章于 2021-01-29 02:59:23 发布

阅读量905

点赞数 1

文章标签： Spark core

本文详细介绍了Spark中DAGScheduler和TaskScheduler的工作流程。从Application创建开始，sc会初始化这两个调度器，DAGScheduler负责划分stage并创建taskset，而TaskScheduler则将taskset中的任务推送到worker节点执行。文章还解释了根据RDD宽依赖来划分stage的算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DAGScheduler 和 TaskScheduler的联系

让我们看看这个图，
1.[Applicatio 1] Driver（代表一个Application）
2. [Job ==>1] 在SparkContext的创建过程中，sc会创建DAGScheduler和TaskScheduler，DAGScheduler主要对application划分stage，创建一批task放到taskset中用于执行application
3. [stage ==>2] 如何来划分stage，是有相应的stage的划分算法–>就根据rdd是否宽依赖来划分的，
4. [TaskSet] 假设我们rdd有三个分区partition，那么会产生三个task，存放到TaskSet，
5. [Task] TaskScheduler就会接收到DAGScheduler的一个通知吧，从taskSet中推送task任务到worker中的executor进程中去执行任务，在taskscheduler中根据，程序的启动方式，创建一个实现，ShedulerBackend
6. SchedulerBackend，不同的子类对应不同的集群模式

转自：https://blog.youkuaiyun.com/qq_16103331/article/details/53425570

注：如有侵权，请联系删除