yarn-site.xml and mapred-site.xml 配置以及属性说明

最新推荐文章于 2024-03-27 13:23:39 发布

原创最新推荐文章于 2024-03-27 13:23:39 发布 · 3.3k 阅读

CC 4.0 BY-SA版权

本文介绍了如何通过YARN实现资源管理的高可用性配置。主要内容包括：设置YARN为资源管理框架；定义集群名称；配置ResourceManager的高可用选项，如ResourceManager别名、服务器ID以及Zookeeper地址等；最后启用了MapReduce的shuffle功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

//启用yarn 作为资源管理框架
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

<configuration>

//启用高可用

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>

</property>

// 定义集群的名称

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster1</value>

</property>

//为Resourcesmanager指定别名

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

// 为别名指定服务器id

   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>bigdatastorm</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>bigdatahadoop</value>
</property>

// 指定zookeeper 服务器

<name>yarn.resourcemanager.zk-address</name>
<value>bigdataspark:2181,bigdatacloud:2181,bigdatahadoop:2181</value>

</property>

//启用mapreducer 的shuffle 功能

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>