Yarn Label 调度

最新推荐文章于 2024-07-09 10:03:13 发布
原创 最新推荐文章于 2024-07-09 10:03:13 发布 · 2.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在YARN中利用标签进行资源管理和任务调度。包括创建YarnLabel标签、为集群节点分配标签、创建Queue并关联标签的具体步骤及配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Yarn Label标签创建

当重启ResourceManager时，可以保证Yarn Label标签在服务重启之后依然可用，需要在HDFS上指定 Yarn Label的存储路径，具体操作如下：

  1. 在HDFS上创建目录，用于存放Yarn Label标签数据（注意创建的目录Yarn要可以访问），如下命令可能会被使用到
hdfs dfs -mkdir -p /yarn/node-labels
hdfs dfs -chown -R yarn:yarn /yarn/node-labels
hdfs dfs -chmod -R 700 /yarn/node-labels
  1. 启动集群标签功能
<property>
    <name>yarn.node-labels.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.node-labels.fs-store.root-dir</name>
    <value>hdfs://<host>:<port>/<absolute_path_to_node_label_directory></value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

重启ResourceManager配置生效

yarn-daemon.sh stop  resourcemanager
yarn-daemon.sh start resourcemanager
  1. 为yarn创建集群标签
yarn rmadmin -addToClusterNodeLabels "<label1>(exclusive=<true|false>),<label2>(exclusive=<true|false>)"

注：exclusive并不是必须的参数，默认值为true
4. 删除集群标签

yarn rmadmin -removeFromClusterNodeLabels "<label1>,<label2>"

注：如果某个Label已经关联Queue，那么你无法从集群中将其移除

2. 为集群节点创建Label标签

  1. 为节点关联标签
yarn rmadmin -replaceLabelsOnNode "<node1>:<port>=<label1> <node2>:<port>=<label2>"

注：这里用于关联的集群标签必须是之前定义好的，这一步是将集群标签与节点关联（为节点打标签）
2. 删除节点标签 (将节点的标签置为空)

yarn rmadmin -replaceLabelsOnNode "<node_name>"

3. 创建Queue并关联标签

<configuration>
    <!-- 定义了root下有三个队列root.pro root.dev root.def -->
    <property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>pro,dev,def</value>
    </property>
    <!-- 定义了root队列默认分区的资源容量为100% -->
    <property>
        <name>yarn.scheduler.capacity.root.capacity</name>
        <value>100</value>
    </property>
    <!-- 定义root队列的默认分区的资源最大容量为100% -->
    <property>
        <name>yarn.scheduler.capacity.root.maximum-capacity</name>
        <value>100</value>
    </property>
    <!-- 定义了root队列可以访问的标签为所有分区，如果为空则表示只能访问默认分区 -->
    <property>
        <name>yarn.scheduler.capacity.root.accessible-node-labels</name>
        <value>*</value>
    </property>
    <!-- 定义了root队列可以访问的cpu分区的容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.accessible-node-labels.cpu.capacity</name>
        <value>100</value>
    </property>
    <!-- 定义了root队列可以访问的cpu分区的最大容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.accessible-node-labels.cpu.maximum-capacity</name>
        <value>100</value>
    </property>
    <!-- 定义了root队列可以访问的mem分区的容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.accessible-node-labels.mem.capacity</name>
        <value>100</value>
    </property>
    <!-- 定义了root队列可以访问的mem分区的最大容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.accessible-node-labels.mem.maximum-capacity</name>
        <value>100</value>
    </property>

    <!--队列root.pro使用默认分区的容量为40%-->
    <property>
        <name>yarn.scheduler.capacity.root.pro.capacity</name>
        <value>40</value>
    </property>
    <!-- 队列root.pro使用默认分区的最大容量为100% -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.maximum-capacity</name>
        <value>100</value>
    </property>
    <!-- 队列root.pro可以访问的分区cpu和mem -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.accessible-node-labels</name>
        <value>cpu,mem</value>
    </property>
    <!-- 队列root.pro默认访问cpu分区 -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.default-node-label-expression</name>
        <value>cpu</value>
    </property>
    <!-- 队列root.pro访问cpu分区的容量为100% -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.accessible-node-labels.cpu.capacity</name>
        <value>100</value>
    </property>
    <!-- 队列root.pro访问cpu分区的最大容量为100% -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.accessible-node-labels.cpu.maximum-capacity</name>
        <value>100</value>
    </property>
    <!-- 队列root.pro访问50%的mem分区容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.accessible-node-labels.mem.capacity</name>
        <value>50</value>
    </property>
    <!-- 队列root.pro可以访问100%的mem分区的容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.pro.accessible-node-labels.mem.maximum-capacity</name>
        <value>100</value>
    </property>
    <!-- 定义root.dev队列访问默认分区的比例为30% -->
    <property>
        <name>yarn.scheduler.capacity.root.dev.capacity</name>
        <value>30</value>
    </property>
    <!-- 定义root.dev队列访问默认分区的最大比例为100% -->
    <property>
        <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
        <value>100</value>
    </property>
    <!-- 定义root.dev队列访问的分区为mem -->
    <property>
        <name>yarn.scheduler.capacity.root.dev.accessible-node-labels</name>
        <value>mem</value>
    </property>
    <!-- 定义root.dev队列访问mem分区的容量为50% -->
    <property>
        <name>yarn.scheduler.capacity.root.dev.accessible-node-labels.mem.capacity</name>
        <value>50</value>
    </property>
    <!-- 定义root.dev队列访问mem分区的最大容量为100%-->
    <property>
        <name>yarn.scheduler.capacity.root.dev.accessible-node-labels.mem.maximum-capacity</name>
        <value>100</value>
    </property>

    <!-- 定义root.def队列访问默认分区30%的容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.def.capacity</name>
        <value>30</value>
    </property>
    <!-- 定义root.def队列访问默认分区最大容量为100%-->
    <property>
        <name>yarn.scheduler.capacity.root.def.maximum-capacity</name>
        <value>100</value>
    </property>
</configuration>

注：在配置完capacity-scheduler.xml之后，需要刷新下队列，很重要，在删除集群标签时也要修改该配置文件，然后刷新列表

yarn rmadmin -refreshQueues
筑梦之人
关注
Yarn 2.8.x 基于标签的调度
tomson8975的博客
09-02 4596
前言：        基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。 该特性开发现状：       最新版本2.8.x：                        1.不支持标签表达式，如：&&,|,*                        2.资源共享方式不实用，如：2.
yarn配置标签调度
xy908325的博客
12-13 2041
yarn配置标签调度 实现的目标（测试使用的是只有2个NodeManager节点）：新建两个标签normal、highmem，配置两个队列dev、prd，其中dev最多使用集群50%的资源，prd可使用集群100%的资源 按照以下修改完配置，重启yarn，再新建标签、给机器添加标签 新建标签 yarn rmadmin -addToClusterNodeLabels “normal,highmem”...
YARN——标签调度
hncscwc的博客
06-22 2980
【简介】hadoop2.7.2开始，yarn在容量调度器的基础上增加了标签调度功能，使用该功能的一个典型场景是：某个任务需要用到gpu资源，而gpu并非在每个节点上都有，通过对节点设置标签...
（转）HADOOP2.6基于标签的调度
zhangxiong0301的专栏
04-04 427
在最新的hadoop 2.6.0版本中，YARN引入了一种新的调度策略：基于标签的调度机制。该机制的主要引入动机是更好地让YARN运行在异构集群中，进而更好地管理和调度混合类型的应用程序。 注意，截止这篇文章发布时，只有apache hadoop 2.6.0和hdp 2.2两个发行版具有该特性（CDH5.3尚不支持，CDH5.4会支持），在hadoop自带的调度器重，只有 Capacity ...
yarn节点属性及调度
hncscwc的博客
08-17 981
【节点属性产生的背景】在2.X版本中，已经支持节点设置标签，并且允许容量调度中的队列，设置可访问的节点标签以及默认标签值，并按照节点标签进行调度。但一个节点只能有1个标签，这样在yarn集群中，通过标签将NM节点划分为不同的节点池（1个NM节点只能属于某个固定的节点池）。实际上，光有节点标签还不能满足一些复杂的场景，比如同一个类型标签中的不同NM节点，可能有不同环境信息，例如不同的jdk版本、py...
Yarn标签调度--HDP测试
cz124560的博客
07-09 1120
某个任务需要用到gpu资源，而gpu并非在每个节点上都有，通过对节点设置标签，可以使作业任务正确调度到含gpu资源的节点上，确保作业任务正确运行。exclusive表示是否独占，具体可以理解为，当该标签分区下的节点有空闲资源时，是否可以共享给default分区的任务使用。执行上面的命令后，再来看看rm的界面，可以看到gpu的标签，有了一个活跃的节点，而DEFAULT标签中则少了一个活跃节点。完成标签的添加后，接下来就是给指定的节点关联到不同的标签上，也就是将集群的节点按标签划分成不同的节点分区。
Yarn资源调度器
阿莫夕林的博客
03-28 1656
在大数据时代，Hadoop已经成为处理海量数据的首选平台。而Hadoop YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的核心组件，更是为大数据处理提供了强大的资源管理和调度能力。本文将深入探讨YARN的工作原理、核心组件及其在大数据处理中的重要作用。
深入理解YARN全局调度和源码分析
weixin_35792948的博客
05-29 2151
深入理解YARN全局调度和源码分析背景原始的心跳调度模式全局调度的调度模式全局调度反客为主全局调度并发判断基于Capacity Scheduler的全局调度源码分析集群资源生产过程源码分析集群资源消费过程源码分析 背景 之前写了一篇文章介绍了全局调度思想 YARN global scheduling （全局调度思想解析）。本文将对全局调度YARN的实现做全面的深入分析和源码解析。全局调度在未来，混合异构等计算集群，和存储计算分离大趋势下，是一个非常重要的特性。 原始的心跳调度模式 如上图所示，调度选择过程
Yarn调度器的理解与优化
aliRan314的博客
02-27 927
YARN调度器，资源层的灵魂
一、Yarn资源调度器
weixin_44340038的博客
03-09 994
思考：1）如何管理集群资源？2）如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。（1）MR程序提交到客户端所在的节点。（2）Yarn。
YARN node labels
赵英超的博客
11-16 1482
最近在做实验，实验需要进行分区域计算，网上查了资料后发现Yarn Node Labels + Capacity-Scheduler可以实现我的需求 但是当任务提交到capacity-scheduler调度器的default队列时，任务卡在ACCEPTED阶段。 网上看了很多发现没有这方面的信息，最后在Apache hadoop官网的官方手册上查到有以下信息 prope
干货分享｜使用Yarn标签机制实现任务资源隔离
分享云原生大数据技术和个人成长、职业发展相关内容
01-15 1550
在 Hadoop YARN 中，标签（Labels）机制是一种资源管理的特性，它允许你对节点和应用程序进行分类，可以有效地进行资源管理和调度。接下来，本文会分别从节点标签和应用标签两个方面来演示YARN标签01： 启用Yarn标签功能02： Yarn集群中添加标签执行完addToClusterNodeLabels命令之后，查看yarn界面多了两个标签，但是6个节点的资源还在default标签：03： Namenode节点关联标签在yarn-site.xml中配置对应NodeManager所属标签。
Yarn新的资源调度策略-label based scheduling
孙张宾博客
12-20 1134
什么是Label based scheduling？故名思议，Label based scheduling是一种调度策略，就像priority-based scheduling一样，是调度器调度众多调度策略中的一种，可以跟其他调度策略混合使用，实际上，hadoop也是这样做的。但是，相比于其他调度策 略，基于标签的调度策略则复杂的多，这个feature的代码量非常大，基本上需要修改YARN的各个模块
YARN 的调度选项
weixin_30852419的博客
04-09 156
YARN中有三种调度器： 1.FIFO调度器 (FIFO Scheduler) 应用在一个队列中，按照提交的顺序运行应用。 缺点：小作业如果在大作业后面提交，将会一直等到大作业结束才运行。 2.容量调度器 (Capacity Scheduler) 有一个独立的专门队伍保证小作业一提交就可以启动。也就是集群会保留一定的资源。大作业无法获取全部集群资源...
yarn 队列标签配置及使用
weixin_38251332的博客
06-08 2771
yarn queue label 配置及使用方法
YARN的Node Label机制
千锋教育
07-10 582
官网对NodeLabel的介绍如下:节点标签是一种对具有相似特征的节点进行分组的方法，应用程序可以指定在哪里运行。那么标签到底是做什么的？我们可以创建多个队列，划分集群的总的资源。例如队列hive占集群总资源的70%，那么这个70%具体会落地在哪一个节点上呢？没办法确定，有可能在qianfeng01，也有可能在qianfeng03。而节点标签，可以为每一个NodeManager打上标签，可以限定某一个程序只能够运行在哪些节点上。
通过YARN Label实现大数据集群资源管理与隔离
炼数成器
12-31 226
1.Hive有哪些参数，如何查看这些参数 Hive自带的配置属性列表封装在HiveConfJava类中，因此请参阅该HiveConf.java文件以获取Hive版本中可用的配置属性的完整列表。具体可以下载hive.src通过eclipse查看。全部属性有上千个吧，一般Hive的自带属性都是以hive.开头的，每个属性且自带详细的描述信息，其次Hive官网也有，但是属性不是特别全。Hive官方参数网址Hive除了自身带了一些配置属性，因为其底层使用的是h...
【大数据】YARN节点标签Node Label特性
如切如磋，如琢如磨，臻于至善。
02-14 1617
YARN 的 Node-label 特性能够将不同的机器类型进行分组调度，也可以根据不同的资源要求进行分区调度。运维人员可以根据节点的特性将其分为不同的分区来满足业务多维度的使用需求。YARN的Node-label功能将很好的试用于异构集群中，可以更好地管理和调度混合类型的应用程序。
【大数据】YARN调度器及调度策略
Python、Golang、大数据
01-23 2635
YARN负责作业资源调度，在集群中找到满足业务的资源，帮助作业启动任务，管理作业的生命周期。​YARN技术架构​目前，Hadoop作业调度器主要有三种：先进先出调度器（First In First Out）、容量调度器（Capacity Scheduler）、公平调度器（Fair Scheduler）。Apache Hadoop-1.x 默认调度器为先进先出调度器（First In First Out）；
yarn queue refresh
最新发布
08-02
<think>Hmm, the user is asking how to refresh YARN queue configuration. Let me break this down. First, I recall that YARN queue configuration is managed through the capacity-scheduler.xml file for Capacity Scheduler, or fair-scheduler.xml for Fair Scheduler. The key point is that changes to these files don't take effect immediately - they need to be refreshed. Looking at the references provided, reference [2] specifically mentions editing capacity-scheduler.xml for queue label policies, and reference [3] discusses FairScheduler queue properties. This aligns with what I know about YARN configuration. The user seems to be a Hadoop administrator or developer working with YARN queues. Their question is very specific and technical, suggesting they're probably in the middle of some cluster configuration work. The tone is straightforward - they just want the quickest way to apply their config changes. The main methods I should cover are: 1) The yarn rmadmin -refreshQueues command (most common method) 2) Alternative methods like HDFS reload and service restart for completeness 3) Special considerations for Fair Scheduler since it has different behavior I should emphasize that for Capacity Scheduler, refreshQueues is instantaneous and preferred, while Fair Scheduler requires additional steps. The security note about needing admin privileges is important too - they might run into permission issues otherwise. The references support this approach: [1] gives context about YARN architecture, [2] shows queue config examples, and [3] confirms FairScheduler behaviors. I'll structure the answer to give the simplest solution first, then alternatives, then edge cases.</think>要刷新 YARN 队列配置（如修改 `capacity-scheduler.xml` 或 `fair-scheduler.xml` 后），需执行以下步骤： --- ### 🔧 方法 1：使用 YARN 命令（推荐） 1. **刷新队列配置**（需 YARN 管理员权限）： ```bash yarn rmadmin -refreshQueues ``` - ✅ **效果**：即时生效，无需重启服务。 - ⚠️ **要求**：用户需具有 `yarn.admin.acl` 权限（通常在 `yarn-site.xml` 中配置）[^1][^2]。 2. **验证刷新结果**： ```bash yarn queue -status <队列名> # 查看队列状态 yarn scheduler -conf # 检查当前加载的配置 ``` --- ### 🔄 方法 2：通过 HDFS 重载（部分场景） 若队列配置与 HDFS 存储路径绑定（如 Fair Scheduler 的 `allocations file`）： 1. 修改 XML 配置文件后，将文件上传至 HDFS： ```bash hdfs dfs -put fair-scheduler.xml /yarn/scheduler/ ``` 2. 触发配置重载： ```bash yarn rmadmin -refreshQueues ``` --- ### ⚠️ 注意事项 1. **调度器类型差异**： - **Capacity Scheduler**：`refreshQueues` 会**立即应用**所有队列配置变更（如资源比例、ACL 等）[^2]。 - **Fair Scheduler**：仅动态加载队列权重、ACL 等部分配置，**队列结构变更**需重启 ResourceManager[^3]。 2. **权限问题**： - 若命令报错 `User cannot run ADMIN commands`，需在 `yarn-site.xml` 添加： ```xml <property> <name>yarn.admin.acl</name> <value>你的用户名</value> </property> ``` 3. **服务重启（最后手段）**： ```bash systemctl restart hadoop-yarn-resourcemanager # 重启 ResourceManager ``` --- ### 📝 操作示例 ```bash # 修改 capacity-scheduler.xml 后刷新 $ sudo -u yarn yarn rmadmin -refreshQueues 2024-07-18 12:30:45 INFO refresh: Refreshing queues... Success ``` > **关键提示**：生产环境优先使用 `refreshQueues` 命令，避免服务中断[^1][^3]。 --- ### ❓相关问题 1. YARN 队列配置更新后任务资源未生效，如何排查？ 2. Capacity Scheduler 与 Fair Scheduler 的动态刷新支持有哪些差异？ 3. 如何安全地修改生产集群的 YARN 队列 ACL 权限？ [^1]: Yarn 工作机制与调度器配置 [^2]: Capacity Scheduler 队列标签策略刷新 [^3]: FairScheduler 队列属性动态加载限制
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值