HA集群安装

最新推荐文章于 2023-09-05 15:41:14 发布

原创

最新推荐文章于 2023-09-05 15:41:14 发布 · 400 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #HA

本文档详细介绍了如何在七台虚拟机上搭建Hadoop HA集群，包括硬件准备、安装JDK、ZooKeeper、Hadoop，以及一系列配置文件的修改和集群的启动测试。在安装过程中，重点涉及了ZooKeeper集群的启动、HDFS和YARN的格式化与启动，并通过访问50070端口进行测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

硬件准备

七台虚拟机、配置好hosts、免密登录等。

hadoop1  192.168.56.101 jdk、hadoop 			NameNode、DFSZKFailoverController(zkfc)
hadoop2  192.168.56.102 jdk、hadoop 			NameNode、DFSZKFailoverController(zkfc)
hadoop3  192.168.56.103 jdk、hadoop 			ResourceManager
hadoop4  192.168.56.104 jdk、hadoop 			ResourceManager
hadoop5  192.168.56.105 jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop6  192.168.56.106 jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop7  192.168.56.107 jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

安装jdk

jdk安装过程不再介绍

安装zookeerper

请看 zookeerper安装

安装hadoop

上传、解压

修改core-site.xml文件

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bi/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hdpdata/</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop5:2181,hadoop6:2181,hadoop7:2181</value>
</property>
</configuration>

修改mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

修改yarn-site.xml

<configuration>
<!-- 开启RM高可用 -->
<property>

最低0.47元/天解锁文章

200万优质内容无限畅学