(大数据方向）分布式实验五：mapreduce高可用环境配置（Yarn resouceManager HA)

Java从跨平台到跨行业

已于 2022-03-24 17:43:36 修改

阅读量2.2k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：（大数据方向）分布式实验文章标签： hadoop eclipse 分布式

于 2022-03-24 04:57:17 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_52008431/article/details/123701168

本文详细介绍了如何配置Hadoop MapReduce的高可用环境，包括YARN ResourceManager HA。从伪分布式到完全分布式，涵盖mapred-site.xml和yarn-site.xml的配置修改，节点分发，免密钥设置，以及启动Zookeeper、JournalNode、HDFS、YARN和ResourceManager的步骤。最后，通过运行wordcount示例验证配置成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Mapreduce是什么

Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；
核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上

集群环境说明

注：本例在 20192697-1伪分布式配置，20192697-2,20192697-3,20192697-4,20192697-5 进行高可用环境配置，
在20192697-1实践编程

伪分布式：20192697-1

完全分布式（高可用搭建）

主机名角色服务组件

20192697-2 NameNode（01） NameNode、JournalNode、Zookeeper、ZKFC

20192697-3 NameNode（02） NameNode、JournalNode、Zookeeper、ZKFC、DataNode、NodeManager

20192697-4 ResourceManager DataNode、JournalNode、Zookeeper、NodeManager、ResourceManager

20192697-5 ResourceManager DataNode、NodeManager、ResourceManager

一.伪分布式（单节点）配置修改

（1）mapred-site.xml

cd /etc/hadoop/hadoop/etc/hadoop

#进入自己hadoop的配置文件目录

ls
#查看该目录下有哪些文件与文件夹

mv mapred-site.xml.template  mapred-site.xml
#将mapred-site.xml.template重命名为mapred-site.xml
#如果自己已经是mapred-site.xml这个名字，忽略这一步

vim mapred-site.xml
#修改mapred-site.xml文件

 <property>

最低0.47元/天解锁文章

200万优质内容无限畅学

伪分布式：20192697-1
完全分布式（高可用搭建）
主机名	角色	服务组件
20192697-2	NameNode（01）	NameNode、JournalNode、Zookeeper、ZKFC
20192697-3	NameNode（02）	NameNode、JournalNode、Zookeeper、ZKFC、DataNode、NodeManager
20192697-4	ResourceManager	DataNode、JournalNode、Zookeeper、NodeManager、ResourceManager
20192697-5	ResourceManager	DataNode、NodeManager、ResourceManager