hadoop集群环境搭建之YARN HA的搭建

最新推荐文章于 2021-11-26 16:47:19 发布

原创最新推荐文章于 2021-11-26 16:47:19 发布 · 274 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍如何通过修改Hadoop配置文件实现YARN高可用搭建，包括角色分配、配置文件调整、进程管理及Zookeeper与ResourceManager的启动步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

yarn的高可用的搭建只需要更改Hadoop包的基本配置文件即可。

以下是角色的分配

…	Active NameNode	Standby NameNode	DataNode	Zookeeper	ZKFC	JournalNode	ResourceManage	NodeManager
node01	√	-	-	-	√	√	√
node02	-	√	√	√	√	√	√	√
node03	-	-	√	√	-	√		√
node04	-	-	√	√	-	-		√

此次搭建是在高可用的完全分布式的基础上操作的。

1.在node01节点上修改mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration

在这里插入图片描述
我们可以根据复制模板来自己新建mapred-site.xml文件在进行修改

2.修改yarn-site.xml

 <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
         </property>
         <property>
                 <name>yarn.resourcemanager.ha.enabled</name>
                 <value>true</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.cluster-id</name>
                 <value>cluster1</value>
       </property>
        <property>
                 <name>yarn.resourcemanager.ha.rm-ids</name>
                 <value>rm1,rm2</value>
       </property>
       <property>
                 <name>yarn.resourcemanager.hostname.rm1</name>
                 <value>node01</value>
      </property>
      <property>
                 <name>yarn.resourcemanager.hostname.rm2</name>
                 <value>node02</value>
      </property>
      <property>
                 <name>yarn.resourcemanager.zk-address</name>
                 <value>node02:2181,node03:2181,node04:2181</value>
      </property>