YRAN-HA

最新推荐文章于 2024-06-17 15:53:56 发布

qq_41028958

最新推荐文章于 2024-06-17 15:53:56 发布

阅读量146

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop集群搭建模式

本文链接：https://blog.youkuaiyun.com/qq_41028958/article/details/86155652

hadoop集群搭建模式专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何在多节点环境中部署YARN集群，包括修改配置文件以启用高可用性资源管理器，分发配置文件到各节点，启动YARN服务，并在特定节点上激活ResourceManager。此外，还提供了检查集群状态和运行分布式应用的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集群部署模型

修改配置文件

[root@node01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@node01 hadoop]# vi mapred-site.xml


 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

[root@node01 hadoop]# vi yarn-site.xml


 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

分发配置文件

[root@node01 hadoop]# scp mapred-site.xml yarn-site.xml node02:/opt/hadoop/hadoop-2.6.5/etc/hadoop/

[root@node01 hadoop]# scp mapred-site.xml yarn-site.xml node03:/opt/hadoop/hadoop-2.6.5/etc/hadoop/

[root@node01 hadoop]# scp mapred-site.xml yarn-site.xml node04:/opt/hadoop/hadoop-2.6.5/etc/hadoop/

开启yarn集群

[root@node01 hadoop]# start-yarn.sh

在node03,node04开启resourcemanager

[root@node03 ~]# yarn-daemon.sh start resourcemanager
[root@node04 ~]# yarn-daemon.sh start resourcemanager

访问WEB端口

重定向node03

查看node04的状态信息