基于高可用的HDFS分布式集群搭建Yarn

最新推荐文章于 2024-03-17 14:35:51 发布

原创最新推荐文章于 2024-03-17 14:35:51 发布 · 303 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #yarn

大数据学习专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了如何在Hadoop环境下搭建YARN高可用集群，包括配置mapred-site.xml和yarn-site.xml文件，设置ResourceManager的高可用选项，以及启动Zookeeper和HDFS集群的步骤。

高可用的集群搭建可以参考博主的另一篇博客
https://blog.youkuaiyun.com/PowerBlogger/article/details/83018127

集群规划：在这里插入图片描述

基于HDFS高可用分布式集群搭建yarn步骤：

找到hadoop安装目录下的 mapred-site.xml.template ，将其更名为mapred-site.xml ，

mv mapred-site.xml.template mapred-site.xml

并在mapred-site.xml 配置如下信息：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

2.修改yarn-site.xml,添加如下配置信息：

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node01</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node02</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

配置新到这里就结束了，接下来是启动过程：