hadoop集群的yarn ha配置,亲测

最新推荐文章于 2025-05-25 00:42:05 发布

原创最新推荐文章于 2025-05-25 00:42:05 发布 · 3.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

大数据专栏收录该内容

17 篇文章

订阅专栏

本文详细介绍了如何在Hadoop集群中部署YARN HA，包括配置yarn-site.xml文件以启用resourcemanager HA，设置Zookeeper集群地址，以及如何在多台服务器上启动和测试HA服务。通过实际操作步骤，读者可以了解如何实现YARN资源管理器的高可用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

YARN HA部署

yarn-site.xml文件：
    <!--启用resourcemanager ha-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--开启HA-->
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
     </property>

    <!--声明两台resourcemanager的地址-->
     <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster1</value>
     </property>
     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>bigdata02.com</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>bigdata03.com</value>
     </property>

    <!--指定zookeeper集群的地址-->
     <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>bigdata01.com:2181,bigdata02.com:2181,bigdata03.com:2181</value>
     </property>

    <!--启用自动恢复-->
     <property>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
     </property>

    <!--指定resourcemanager的状态信息存储在zookeeper集群-->
    <property>
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

复制配置文件给其他服务
$scp -r etc/hadoop/yarn-site.xml node1:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/$ scp -r etc/hadoop/yarn-site.xml node2:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/

启动各个服务器的服务
1.启动HDFS
** zookeeper
bin/zkServer.sh start
** resourcemanager和nodemanager
在bigdata02：
$sbin/start-yarn.sh 在bigdata03：$ sbin/yarn-daemon.sh start resourcemanager

测试：
运行一个jar包进行测试

查看HA状态
$bin/yarn rmadmin -getServiceState rm1$ bin/yarn rmadmin -getServiceState rm2

$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input /output

把active服务器的resourcemanager进程杀掉，观察job任务运行
$ kill -9 6854

总结
ha namenode&resourcemanager
1、ha namenode启动顺序
2、ha resourcemanager启动顺序
3、kill 掉一个namenode和resourcemanager，观察wordcount程序，
运行使用的hdfs文件和yarn上运行的记录，关闭一个另外一个保持信息的一致性。