yarn分布式(HA)

最新推荐文章于 2021-10-16 21:32:58 发布

原创最新推荐文章于 2021-10-16 21:32:58 发布 · 436 阅读

CC 4.0 BY-SA版权

7 篇文章

订阅专栏

本文详细介绍了如何在Hadoop集群中实现高可用性(HA)配置。具体步骤包括使用五个节点进行时间同步，并配置yarn-site.xml和mapred-site.xml文件以支持资源管理器的高可用性。此外，还提供了启动和停止服务的命令，以及验证HA配置的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 5个节点：
 hadoop01
 ，
 hadoop02
 ，
 hadoop03，hadoop04，hadoop05
 （时间同步：ntpdate -u ntp.sjtu.edu.cn）

 1、
 配置yarn-site.xml文件

 <configuration>

      <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

      </property>

   <property>

     <name>yarn.resourcemanager.ha.enabled</name>

     <value>true</value>

   </property>

 
 <!-- 服务编号 -->

   <property>

     <name>yarn.resourcemanager.cluster-id</name>

     <value>
 yarn1</value>

   </property>

   <property>

     <name>yarn.resourcemanager.ha.rm-ids</name>

     <value>
 rm1,rm2</value>

   </property>

   <property>

     <name>yarn.resourcemanager.hostname.
 rm1</name>

     <value>hadoop01</value>

   </property>

   <property>

     <name>yarn.resourcemanager.hostname.
 rm2</name>

     <value>hadoop02</value>

   </property>

   <property>

     <name>yarn.resourcemanager.zk-address</name>

     <value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>

   </property>

 </configuration>

 2、
 配置mapred-site.xml文件

 <configuration>

     
 <!-- mapreduce的运行框架，yarn -->

     <property>

         <name>mapreduce.framework.name</name>

         <value>
 yarn</value>

     </property>

 </configuration>

 3、
 全面停止：

          stop-all.sh

 4、zk全部启动：

         zkServer.sh start

 5、全面启动：

         start-all.sh

 6、手动单独启动(第二个)standby状态的RM

         yarn-daemon.sh start resourcemanager

 6、查看mapred的HA是否搭建成功：

         
 http://hadoop01:8088

         
 http://hadoop02:8088

         查看hadoop01和hadoop02状态（
 active
 和
 standby
 ），访问standby状态的节点时候，显示访问的节点为standby，然后跳转到active状态的那个节点上。