yarn管理集群中的资源,主要包含内存和处理器资源,分配资源。
yarn目前支持三种调度器:
FIFO Scheduler:先进先出,hadoop1中默认的一种调度器,如果一个离线任务占用资源太多,对实时任务不友好。只有一个队列
CapacityScheduler:可以看做是FIFOScheduler的多队列版本,在队列内部为先进先出,eg:离线任务队列和实时任务队列,两个队列之间是隔离的
FairScheduler:多队列,多任务共享资源。公平调度器,每个任务都有一定的资源,如果任务过多,每个任务可以分得的资源很少,也不太好。
本文深入探讨了YARN集群资源管理器中三种核心调度器的工作原理:FIFOScheduler、CapacityScheduler与FairScheduler。FIFOScheduler采用简单直接的先进先出原则;CapacityScheduler则通过多队列实现资源的公平分配,特别适用于需要隔离的离线和实时任务;而FairScheduler确保了多任务间的资源公平共享。
1408

被折叠的 条评论
为什么被折叠?



