spark默认的调度(fifo vs fair)

最新推荐文章于 2025-02-10 16:28:10 发布

数据!您好

最新推荐文章于 2025-02-10 16:28:10 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/w5201314ws6123/article/details/88549153

本文探讨了两种作业调度策略：fifo（队列调度）和fair（公平调度）。fifo遵循先进先出原则，但可能导致资源分配不均和任务阻塞。而fair策略动态分配资源，确保每个任务都能获得公平的资源份额，尽管存在一定的资源分配延迟。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1>fifo(队列调度):fifo scheduler主要是将提交的作业放入到任务队列中,是一个先进先出的队列,在进行分配资源的时候，先给第一个任务分配足够的资源,才会给下一个任务分配资源,缺点是；当前面的任务需要大量的资源，后续的任务将没有资源可分配，处于一种阻塞状态，直到前面的任务资源释放，后续任务才有运行机会.

2>fair(公平调度) fair scheduler是一种公平动态分配资源，当一个应用在运行时会得到系统的全部资源,当有新的任务进入的时候,会将上一个任务的一半的资源分配给下一个任务,缺点：有一定的延迟性,旧的任务需要释放资源的时间，在时间上第2个任务得到资源有一定的延迟性。