本文详细解析了Dagscheduler提交taskset给Taskscheduler后的具体工作流程。Taskscheduler通过创建tasksetmanager管理taskset生命周期，利用resourceoffer方法进行资源分配排序，并通过schedulerbacked方法获取可用executor。同时，介绍了如何通过FifoSchedulerBuilder和FailSchedulerBuilder分解taskset并调度子任务。
Dagscheduler将taskset提交给Taskscheduler,Taskscheduler主要做了哪些工作呢？
1>Taskscheduler会将这些taskset放到taskset的缓冲池中,并创建tasksetmanager对taskset进行生命周期的管理
2>实现类taskschedulerimpl会调用resourceoffer方法。对tasksetmanager进行一个排序，以便资源的分配
3>调用schedulerbacked方法,给driverendpoint终端点发送消息，获取可用的execotor
4>创建2种调度池,fifoschedulerbuilder和failschedulerbuilder，将这些taskset分解成对应的小任务，放入到调度池中，由调度池调度这些小的任务集.
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
