centos7搭建hadoop高可用(ha)集群

最新推荐文章于 2024-05-15 18:20:17 发布

原创

最新推荐文章于 2024-05-15 18:20:17 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #ha #高可用

本文详细介绍了如何在CentOS7上搭建Hadoop高可用(HA)集群，包括将s101和s105设置为可切换的名称节点，s102至s104作为数据节点和JournalNode。步骤涵盖创建HA版本、配置Hadoop文件、分发文件、启动集群以及进行名称节点状态切换。

hadoop高可用(ha)集群实现目标：

s101和s105设置为名称节点，可以互相切换为active状态；

s102~104设置为数据节点和journalnode节点。

准备工作：

centos7搭建hadoop分布式集群，参考文章：https://blog.youkuaiyun.com/greatxiaoting/article/details/81571187

注：hadoop高可用(ha)集群的搭建是从hadoop分布式集群的基础上进行修改而来！

1.创建hadoop ha版本

1）进入ha创建目录

cd /soft/hadoop/etc

2）复制出ha目录

cp -r full ha //在hadoop分布式集群的基础上进行修改

2.ha hadoop文件配置

1）进入ha hadoop配置文件目录

cd /soft/hadoop/etc/ha

2）hdfs-site.xml文件配置

<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>

<!-- myucluster下的名称节点两个id -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>

<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>