(大数据方向)分布式实验五:mapreduce高可用环境配置(Yarn resouceManager HA)

本文详细介绍了如何配置Hadoop MapReduce的高可用环境,包括YARN ResourceManager HA。从伪分布式到完全分布式,涵盖mapred-site.xml和yarn-site.xml的配置修改,节点分发,免密钥设置,以及启动Zookeeper、JournalNode、HDFS、YARN和ResourceManager的步骤。最后,通过运行wordcount示例验证配置成功。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

Mapreduce是什么

集群环境说明

 一.伪分布式(单节点)配置修改

(1)mapred-site.xml

(2)yarn-site.xml

二.完全分布式(高可用)配置修改 

(1)mapred-site.xml

(2) yarn-site.xml

(3)分发节点 

(4)免密钥

(5)启动相关进程 

       启动zookeeper

       启动journalnode

       启动hdfs

       启动yarn

       启动resourcemanager

       进程图示

(6)查看端口

(7)浏览器查看

(8)运行wordcount


Mapreduce是什么

Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;
核心功能:将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上

集群环境说明

注:本例在 20192697-1伪分布式配置,20192697-2,20192697-3,20192697-4,20192697-5 进行高可用环境配置
20192697-1实践编程
伪分布式:20192697-1
完全分布式(高可用搭建)
主机名 角色 服务组件
20192697-2 NameNode(01) NameNode、JournalNode、Zookeeper、ZKFC
20192697-3 NameNode(02) NameNode、JournalNode、Zookeeper、ZKFC、DataNode、NodeManager
20192697-4 ResourceManager DataNode、JournalNode、Zookeeper、NodeManager、ResourceManager
20192697-5 ResourceManager DataNode、NodeManager、ResourceManager

 一.伪分布式(单节点)配置修改

(1)mapred-site.xml

cd /etc/hadoop/hadoop/etc/hadoop

#进入自己hadoop的配置文件目录

ls
#查看该目录下有哪些文件与文件夹

mv mapred-site.xml.template  mapred-site.xml
#将mapred-site.xml.template重命名为mapred-site.xml
#如果自己已经是mapred-site.xml这个名字,忽略这一步

vim mapred-site.xml
#修改mapred-site.xml文件
 <property>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java从跨平台到跨行业

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值