Hadoop面试题---Yarn的三个调度器和调度算法

一、Yarn的三种调度器

（1）先进先出调度器（FIFO）
（2）容量调度器(默认)（Capacity Scheduler）
（3）公平调度器（Fair Scheduler）

二、具体细节和调度算法

1、先进先出调度器（FIFO）
单队列，根据作业的提交顺序，先来先服务。（一般不用）

2、容量调度器(默认)（Capacity Scheduler）特点：
1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。
3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4、多用户： 支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

容量调度第的资源分配算法：
1、队列资源分配：使用深度优先算法，优先对资源使用率最低的队列分配资源。资源使用率：已经使用的资源量除以最小队列资源容量；
2、作业资源分配：根据作业的优先级和提交时间分配；
3、容器资源分配：先按照容器的优先级分配，若优先级相同，再按照数据本地行原则分配。（任务和数据在同意节点，任务和数据在同一机架，两者既不在同一节点也不在同一机架上）

3、公平调度器（Fair Scheduler）