YARN NodeLabel功能以及在EMR弹性伸缩中的应用

最新推荐文章于 2023-09-13 11:24:45 发布

mnasd

最新推荐文章于 2023-09-13 11:24:45 发布

阅读量815

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

原文链接：https://blog.youkuaiyun.com/weixin_33795743/article/details/89573356

hadoop 专栏收录该内容

54 篇文章

订阅专栏

本文介绍了如何在EMR集群中利用YARNNodeLabel功能进行资源隔离和任务调度，详细阐述了配置过程和作业提交策略，适用于Hadoop2.6及以后版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

YARN Node Label功能最早是在Hadoop 2.6版本中引入，在后续版本中有更多的功能完善。到了Hadoop 2.8.x版本之后，该功能已经比较完整，可以满足日常使用。在本文中，我们需要将Node Label功能应用在EMR弹性伸缩场景中。

其实Node Label特性更准确的叫法是Node Partition，也就是说通过label把YARN集群中的节点分组，每个节点拥有一个label，通过调度器的配置，将作业Task调度到指定的节点中，如果节点没有配置Label，那么这个节点属于Label为DEFAULT的Partition。Hadoop 3.2之后加入的Node Attribute功能是更加灵活的方案，可以方便的给各个节点打上OS/kernel version/CPU architecture/JDK version等标签，但这个功能在本文中就不展开了。更多关于Node Label的信息请参考Hadoop YARN PMC Wangda的文章。

配置

首先需要给YARN服务打开NodeLabel功能，yarn-site.xml需要增加配置：

yarn.node-labels.enabled -> true
yarn.node-labels.fs-store.root-dir -> /yarn/node-label

保存后需要重启YARN ResourceManager。

节点的Node Label

EMR集群的worker node有两类节点，分别是core节点（除了NodeManager之外还运行HDFS和HBase等存储服务进程）和task节点（只运行NodeManager之类的计算服务），我们首先增加两个node label

yarn rmadmin -addToClusterNodeLabels "core(exclusive=false),task(exclusive=false)"

exclusive=false意思是这个Label的资源可以共享给申请DEFAULT资源的作业。

然后给各个节点打上标签（用你的机器名字替代 emr-worker-*.cluster-105364）：

yarn rmadmin -replaceLabelsOnNode \
"emr-worker-1.cluster-105364=core emr-worker-2.cluster-105364=core emr-worker-3.cluster-105364=task"

Scheduler的配置

目前只有YARN Capacity Scheduler支持NodeLabel功能，我们以他为例，而且假设一个最简单的场景，集群内只有一个queue（default）。

在配置node label相关的信息之前，capacity-scheduler.xml 包含如下内容：

<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
<value>100</value>
</property>

新增Node Label相关配置：

<property>
<name>yarn.scheduler.capacity.root.accessible-node-labels</name>
<value>core,task</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.core.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.task.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
<value>core,task</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.accessible-node-labels.core.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.accessible-node-labels.task.capacity</name>
<value>100</value>
</property>

上述配置的意思是：

对于Label为core的资源，default queue占用100%的资源
对于Label为task的资源，default queue占用100%的资源

保存配置之后，需要刷新YARN Scheduler queue

作业提交

在弹性伸缩场景下，task节点可能随时被停止，所以如果一个长时间运行的作业的application master（AM）被运行在Task节点上，当节点停止后AM就退出了，可能会造成作业失败。所以，比较好的策略是AM只启动在Core节点上。

如果集群开启了Node Label功能，我们可以通过配置作业的方式，将AM启动在Core节点上。本文中只介绍MapReduce和Spark两类作业

MapReduce作业

提交作业如下：

hadoop jar hadoop-mapreduce-examples-2.8.5.jar pi \
-Dmapreduce.job.am.node-label-expression=core \
10 100000000

mapreduce.job.am.node-label-expression=core参数指明了MapReduce AM申请core类型资源，所以AM一定会启动在Core节点上。同时，因为没有指定普通Task运行的资源（也就是申请了DEFAULT），所以普通Task可以同时运行在Core和Task节点上（exclusive=false）。

如果要希望MapReduce Map或Reduce task只运行在Task节点上，可以在提交参数上指定：