HA集群安装

本文档详细介绍了如何在七台虚拟机上搭建Hadoop HA集群,包括硬件准备、安装JDK、ZooKeeper、Hadoop,以及一系列配置文件的修改和集群的启动测试。在安装过程中,重点涉及了ZooKeeper集群的启动、HDFS和YARN的格式化与启动,并通过访问50070端口进行测试。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

硬件准备

七台虚拟机、配置好hosts、免密登录等。

hadoop1  192.168.56.101 jdk、hadoop 			NameNode、DFSZKFailoverController(zkfc)
hadoop2  192.168.56.102 jdk、hadoop 			NameNode、DFSZKFailoverController(zkfc)
hadoop3  192.168.56.103 jdk、hadoop 			ResourceManager
hadoop4  192.168.56.104 jdk、hadoop 			ResourceManager
hadoop5  192.168.56.105 jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop6  192.168.56.106 jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop7  192.168.56.107 jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

安装jdk

jdk安装过程不再介绍

安装zookeerper

请看 zookeerper安装

安装hadoop

上传、解压

修改core-site.xml文件

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bi/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hdpdata/</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop5:2181,hadoop6:2181,hadoop7:2181</value>
</property>
</configuration>

修改mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

修改yarn-site.xml

<configuration>
<!-- 开启RM高可用 -->
<property>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值