Hadoop高可用集群搭建

最新推荐文章于 2025-04-19 19:33:19 发布

原创最新推荐文章于 2025-04-19 19:33:19 发布 · 140 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #hadoop #zookeeper

本文详细介绍了如何搭建高可用的HDFS-HA集群，包括Hadoop完全分布式安装、ZooKeeper完全分布式环境配置。通过配置core-site.xml和hdfs-site.xml，设置HDFS-HA集群参数，实现自动故障转移。同时，讲解了启动和检查ZooKeeper集群状态的步骤，以及HDFS-HA集群的启动和故障转移操作。

高可用集群搭建

prepare：

1、Hadoop 完全分布式安装

2、ZooKeeper 完全分布式环境安装

解压安装zookeeper

tar -zxvf zookeeper-3.4.6.tar.gz → mv zookeeper-3.4.6 zkpr

配置vi zkpr/conf/zoo_sample.cfg → mv zoo_sample.cfg zoo.cfg

	initLimit=50							#线程数
	dataDir=/opt/software/zkpr/zkData		#定义日志目录
	最下面加入三个端口：
	server.0=hadoop100:2287:3387
	server.1=hadoop101:2287:3387
	server.2=hadoop102:2287:3387

新建zkData，配置myid（在zkpr目录下）

	mkdir zkData
	vi zkData/myid	→  编辑输入0

将配置号的zkpr发给分机

	scp -r zkpr root@hadoop101;$PWD/	→ 分机修改myid为1
	scp -r zkpr root@hadoop101;$PWD/	→ 分机修改myid为2

启动zooKeeper

bin/zkServer.sh start

查看状态

bin/zkServer.sh status

会显示`leader`、`follower`，
投票机制，谁快谁就是leader，
日志会存在于zkpr同一目录下的zookeeper下

配置HDFS-HA集群

1、配置core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoopHA</value>
  <!--<value>hdfs://node01:9000</value>-->
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/software/hadoop/tmp</value>
</property>
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>node01:2181,node02:2181,node03:2181</value>
</property>

2、配置hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>node02:50090</value>
</property>
<property>
  <name>dfs.nameservices</name>
  <value>hadoopHA</value>
</property>
<property>
  <name>dfs.ha.namenodes.hadoopHA</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.hadoopHA.nn1</name>
  <value>node01:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.hadoopHA.nn2</name>
  <value>node02:9000</value>
</property>
<property>
  <name>dfs.namenode.http-address.hadoopHA.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.hadoopHA.nn2</name>
  <value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/hadoopHA</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
        sshfence
        shell(/bin/true)
</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/software/hadoop/data/jn</value>
</property>
<property>
  <name>dfs.permissions.enable</name>
  <value>false</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.hadoopHA</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

3、启动HDFS—HA集群

在各个JournalNode节点上启动journalnode

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

在nn1上删除hadoop目录下的logs和tmp，格式化namenode，并启动namenode

	rm -rf tmp								#删除tmp
	rm -rf logs								#删除tmp
	hdfs namenode -format					#初始化namenode
	sbin/hadoop-daemon.sh start namenode	#开启namenode

在nn2上同步nn1的元数据信息

bin/hdfs namenode -bootstrapStandby

或者在nn1中将tmp发送至nn2

scp -r tmp root@hadoop102:$PWD/

启动nn2 namenode

sbin/hadoop-daemon.sh start namenode

将nn1转换为active

bin/hdfs haadmin -transitionToActive nn1

4、配置HDFS-HA自动故障转移

关闭所有HDFS服务

sbin/stop-dfs.sh

启动Zookeeper集群

bin/zkServer.sh start

初始化HA在Zookeeper中状态

bin/hdfs zkfc -formatZK

启动HDFS服务

sbin/start-dfs.sh