Hadoop-YARN Basic

最新推荐文章于 2024-04-27 23:34:37 发布

原创最新推荐文章于 2024-04-27 23:34:37 发布 · 239 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop Ecosystem 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了YARN中的三种主要资源调度器：FIFO、Capacity和Fair。FIFO为早期简单的调度方式；Capacity支持层级调度，并可通过修改配置实现动态调整；Fair则支持基于内存或CPU与内存的公平调度策略。

Resource Scheduler

FIFO

最初的，现在已经很少用

Capacity

层级调度，有一个root队列，其他都是root子队列。
支持标签调度

更改队列属性或配置时，修改CapacityScheduler.xml并运行命令yarn rmadmin -refreshQueues即可。

Fair

可以内存资源或者CPU和内存两种资源为依据进行公平调度。

如下配置资源调度器为FairScheduler并指明配置文件位置：

  <property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>

  <property>
    <description>fair-scheduler conf location</description>
    <name>yarn.scheduler.fair.allocation.file</name>
    <value>${yarn.home.dir}/etc/hadoop/fairscheduler.xml</value>
  </property>