yarn分布式(HA)

本文详细介绍了如何在Hadoop集群中实现高可用性(HA)配置。具体步骤包括使用五个节点进行时间同步,并配置yarn-site.xml和mapred-site.xml文件以支持资源管理器的高可用性。此外,还提供了启动和停止服务的命令,以及验证HA配置的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

5个节点: hadoop01 hadoop02 hadoop03,hadoop04,hadoop05 (时间同步:ntpdate -u ntp.sjtu.edu.cn)
  NN DN ZK ZKFC JN RM NM
hadoop01 Y   Y  Y 
hadoop02 Y Y  Y  Y Y
hadoop03  Y Y  Y  Y
hadoop04  Y Y  Y  Y
hadoop05  Y Y  Y  Y
1、 配置yarn-site.xml文件
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

 <property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>

<!-- 服务编号 -->
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value> yarn1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value> rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname. rm1</name>
   <value>hadoop01</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname. rm2</name>
   <value>hadoop02</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
 </property>
</configuration>
2、 配置mapred-site.xml文件
<configuration>
     <!-- mapreduce的运行框架,yarn -->
    <property>
        <name>mapreduce.framework.name</name>
        <value> yarn</value>
    </property>
</configuration>
3、 全面停止:
         stop-all.sh
4、zk全部启动:
        zkServer.sh start
5、全面启动:
        start-all.sh
6、手动单独启动(第二个)standby状态的RM
        yarn-daemon.sh start resourcemanager
6、查看mapred的HA是否搭建成功:
         http://hadoop01:8088

         http://hadoop02:8088
        查看hadoop01和hadoop02状态( active standby ),访问standby状态的节点时候,显示访问的节点为standby,然后跳转到active状态的那个节点上。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值