(大数据方向）分布式实验三：高可用搭建

原创

已于 2022-03-22 20:12:44 修改 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #hadoop

于 2022-03-21 19:38:45 首次发布

本文档详细介绍了如何在已有的完全分布式Hadoop集群上，通过安装和配置Zookeeper实现高可用性。步骤包括节点间免密钥设置、核心和HDFS配置文件调整、Zookeeper的安装、配置、启动以及JournalNode的注册和启动。最后，通过浏览器检查集群状态。

注：本例中20192697-2~20192697-5为hadoop集群

这篇博客实在上一篇完全分布式的基础上进行的搭建，免除了克隆虚拟机等一些步骤详情请见

完全分布式

（8）启动journalnode(3个节点）

（9）格式化node02 （或 node03）

（10）注册两个namenode

（11）在20192697-2上启动

四.浏览器查看

一.免密钥

两个namenode节点互相免密钥（本例中20192697-2,和-3互相免密钥）

ssh-keygen -t rsa       
//分别在20192697-2与-3中生成密钥

ssh localhost
//登陆localhost

cd /root/.ssh
//进入.ssh文件夹

ssh-copy-id -i id_rsa.pub root@20192697-3
//在-2中向-3传递密钥
ssh-copy-id -i id_rsa.pub root@20192697-2
//在-2中向-2自身传递密钥

二. 配置文件

（1）core-site.xml

<configuration>
	<!-- 指定HDFS老大（namenode）的通信地址 -->
	<property>
		<name>fs.defaultFS</name>
		<!-- 根据自己的主机名填写 -->
		<value>hdfs://20192697-2:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<!-- 根据自己的安装路径配置，tmp目录提前创建好 -->
		<value>/etc/hadoop2/tmp</value>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/etc/hadoop2/ha</value>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/etc/hadoop2/ha/journalnode</value>
	</property>
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>20192697-3:2181,20192697-4:2181,20192697-5:2181</value>
	</property>
</configuration>

（2）hdfs-site.xml

<configuration>
<!-- 设置hdfs副本数量 -->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>20192697-2:50090</value>
	</property>
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>20192697-2:8020</value>
	</property>
	<property>
                <name>dfs.na