YARN公平调度器-原理和入门配置

概述

• Fair Scheduler，译名公平调度器
• 特性：
  1、支持多队列，支持叶子队列
  2、在同一条叶子队列上，所有作业可以并发；
  3、资源分配的依据：时间尺度、优先级、资源缺额…

在时间尺度上获得公平的资源

最大最小公平分配算法

初步配置：yarn-site.xml

本文Hadoop版本为3.1.3

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<!-- 指定公平调度器 -->
<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<!--
在未指定队列的情况下，是否使用【用户名】作为队列名
当设置为true时，当`yellow`用户提交作业时，会自动创建并使用`root.yellow`队列
当设置为false时，所有用户默认使用`root.default`队列
当配置了`yarn.scheduler.fair.allocation.file`时，本配置将被忽略
-->
<property>
  <name>yarn.scheduler.fair.user-as-default-queue</name>
  <value>false</value>
</property>
<!-- 是否启用抢占 -->
<property>
  <name>yarn.scheduler.fair.preemption</name>
  <value>true</value>
</property>
<!-- 触发抢占的阈值：资源使用量与总容量的占比 -->
<property>
  <name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
  <value>0.7f</value>
</property>
<!-- 应用最大优先级 -->
<property>
  <name>yarn.cluster.max-application-priority</name>
  <value>