YARN Node Labels创建记录

最新推荐文章于 2024-11-30 12:57:32 发布

玉雨钰瑜

最新推荐文章于 2024-11-30 12:57:32 发布

阅读量351

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/qq_42437926/article/details/118338741

版权

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍如何通过YARNNodeLabels配置实现资源池的划分与管理。包括启用标签功能、创建及分配节点标签的具体步骤，并提供了配置示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

YARN Node Labels配置

1修改配置文件yarn-site.xml

在这里插入图片描述

  <property>
        <name>yarn.node-labels.enabled</name>
        <value>true</value>
        <description>相当于开启标签</description>
    </property>
  <property>
     <name>yarn.node-labels.fs-store.root-dir</name>
     <value>hdfs://hdfs路径/yarn/node-labels</value>
     <description>标签数据在HDFS上的存储位置</description>
  </property>

2，创建nodelabels

在这里插入图片描述

创建nodelabels

#创建了三个资源池
yarn rmadmin -addToClusterNodeLabels test1,test2,test3

注意yarn rmadmin -addToClusterNodeLabels area0,area1,area2只负责创建，这时候的test1，test2，test3是不可以使用的
在这里插入图片描述

对应的label中添加node节点

添加之前查看你的yarn-site.xml的yarn.nodemanager.address属性配置端口

    <property>
        <name>yarn.nodemanager.address</name>
        <value>0.0.0.0:23998</value>
    </property>

这里配置hostname或者ip都行端口一定要正确

yarn rmadmin -replaceLabelsOnNode hostname:23998,test1
yarn rmadmin -replaceLabelsOnNode ip:23998,test2
yarn rmadmin -replaceLabelsOnNode hostname:23998,test3

查看
在这里插入图片描述
上面创建时候会创建相同名称的资源队列
基础配置相当于完成，但是此时还是不可以使用的可以在nodemanager界面查看你的队列

3，计算资源队列进行开启使用capacity-scheduler.xml

简略配置，这个网上很多

  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,test1,test2,test3</value>>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>50</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test1.capacity</name>
    <value>25</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test2.capacity</name>
    <value>15</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test3.capacity</name>
    <value>10</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test1.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.test2.maximum-capacity</name>
    <value>100</value>
  </property>