Hadoop学习（二）——Capacity Scheduler学习

Hadoop学习（二）——Capacity Scheduler学习

目录：

1、Capacity Scheduler资源调度器的特点：

2、官方文档查看：

3、在Ambari上配置Resource Manager的Capacity Scheduler资源调度器：

4、结果展示：

1、Capacity Scheduler资源调度器的特点：

（1）当队列已满，Capacity Scheduler资源调度器不会强制释放Container，当一个队列资源不够用时，这个队列只能获得其它队列释放后的Container资源，即“弹性队列”。同时也可以为队列设置一个最大资源使用量，防止过多占用其他队列的资源。

（2）有一个专门的队列来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO资源调度器的时间。

（3）在一个队列内部，资源的调度采用的是FIFO（先进先出）策略

 

2、官方文档查看：

CONFIGURING YARN CAPACITY SCHEDULER WITH APACHE AMBARI

In this tutorial we are going to explore how we can configure YARN Capacity Scheduler from Ambari.

YARN’s Capacity Scheduler is designed to run Hadoop applications in a shared, multi-tenant cluster while maximizing the throughput and the utilization of the cluster.

Traditionally each organization has it own private set of compute resources that have sufficient capacity to meet the organization’s SLA. This generally leads to poor average utilization. Also there is heavy overhead of managing multiple independent clusters.