Hadoop——第四部份 Hadoop3.x之Yarn——六、Yarn容量调度器队列配置及案例

最新推荐文章于 2023-10-19 19:15:24 发布

原创

最新推荐文章于 2023-10-19 19:15:24 发布 · 703 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #yarn #hive

本文介绍了Hadoop3.x中Yarn容量调度器的队列配置，包括如何创建自定义队列、在Hive中使用自定义队列以及设置任务优先级。此外，还提到了Yarn公平调度器的队列配置实例和Yarn的Tool接口应用。

六、Yarn容量调度器队列配置及案例

6.1 配置自定义队列

修改配置文件

vi /opt/module/hadoop-3.3.1/etc/hadoop/capacity-scheduler.xml

修改部分内容

<!-- 指定多队列，增加hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
</property>

<!-- 降低default队列资源额定容量为40%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>40</value>
</property>

<!-- 降低default队列资源最大容量为60%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>60</value>
</property>

<!-- 指定hive队列的资源额定容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.