Hadoop——HA模式搭建

最新推荐文章于 2022-08-31 07:45:34 发布

Song X.

最新推荐文章于 2022-08-31 07:45:34 发布

阅读量452

点赞数

文章标签：分布式大数据 java hadoop hdfs

本文链接：https://blog.youkuaiyun.com/qq_22938671/article/details/104484405

版权

在增加了JN，ZKFC，ZK角色，取消SNN角色之后，按照以下规划搭建一个HA模式的分布式Hadoop集群。
在这里插入图片描述

配置：

core-site.xml
		<property>
		  <name>fs.defaultFS</name>
		  <value>hdfs://mycluster</value>
		</property>

		#配置zookeeper启动在什么结点
		 <property>
		   <name>ha.zookeeper.quorum</name>
		   <value>node02:2181,node03:2181,node04:2181</value>
		 </property>

hdfs-site.xml
		#以下是HA nameservices一对多，逻辑到物理节点的映射拍配置
		#mycluster -> nn1, nn2 ->  (nn1 -> node01:8020) (nn2 -> node02:8020)
		#以下的所有出现的 "mycluster" 与在core-site.xml中配置的fs.defaultFS同名
		<property>
		  <name>dfs.nameservices</name>
		  <value>mycluster</value>
		</property>
		<property>
		  <name>dfs.ha.namenodes.mycluster</name>
		  <value>nn1,nn2</value>
		</property>
		<property>
		  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
		  <value>node01:8020</value>
		</property>
		<property>
		  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
		  <value>node02:8020</value>
		</property>
		<property>
		  <name>dfs.namenode.http-address.mycluster.nn1</name>
		  <value>node01:50070</value>
		</property>
		<property>
		  <name>dfs.namenode.http-address.mycluster.nn2</name>
		  <value>node02:50070</value>
		</property>

		#以下是JN在哪里启动，数据存储路径
		<property>
		  <name>dfs.namenode.shared.edits.dir</name>
		  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
		</property>
		<property>
		  <name>dfs.journalnode.edits.dir</name>
		  <value>/var/bigdata/hadoop/ha/dfs/jn</value>
		</property>
		
		#HA角色切换的代理类和实现方法，我们用的ssh免密
		<property>
		  <name>dfs.client.failover.proxy.provider.mycluster</name>
		  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>
		<property>
		  <name>dfs.ha.fencing.methods</name>
		  <value>sshfence</value>
		</property>
		<property>
		  <name>dfs.ha.fencing.ssh.private-key-files</name>
		  <value>/root/.ssh/id_dsa</value>
		</property>
		
		#开启自动化：启动zkfc，以后启动nn的时候会在同机一起启动zkfc；如果配置为false，则zkfc不会跟着nn一起启动
		 <property>
		   <name>dfs.ha.automatic-failover.enabled</name>
		   <value>true</value>
		 </property>

		#由于dfs.namenode.name.dir和dfs.datanode.data.dir的配置目录之前用过了，现在换一个目录
       <property>
                <name>dfs.namenode.name.dir</name>
                <value>/var/bigdata/hadoop/ha/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/var/bigdata/hadoop/ha/dfs/data</value>
        </property>

注意，HA模式是要用到Zookeeper的，所以要提前装好Zookeeper。并且HA模式下，每一个NN会启动对应的ZKFC，而ZKFC会控制自己的NN和check其他NN的状态，这就要求ZKFC与NN之间的连接也是要ssh免密的。

下面是具体操作

1）NN之间需要互相免密登录，之前的配置只能让node01免密登录node02，现在让node02也能免密登录node01，也就是让node01拥有node02的公钥

node02中: 
			cd ~/.ssh
			ssh-keygen -t dsa -P '' -f ./id_dsa
			cat id_dsa.pub >> authorized_keys
			scp ./id_dsa.pub  node01:`pwd`/node02.pub
node01中:
			cd ~/.ssh
			cat node02.pub >> authorized_keys

2)Zookeeper 集群搭建，需要当前环境支持java，所以需要JDK，我们部署在node02，03，04

node02:
			tar xf zook....tar.gz
			mv zoo...    /opt/bigdata
			cd /opt/bigdata/zoo....
			cd conf
			cp zoo_sample.cfg  zoo.cfg
			vi zoo.cfg
				改为datadir=/var/bigdata/hadoop/zk
				#最后新增三行 这里的.1 .2 .3的数字是zk的权重
				#也就是给node02的zk赋权重1，给node03的zk赋权重2，给node03的zk赋权重3
				#2888和3888分别是zk无主状态时和有主状态时连接的端口号
				server.1=node02:2888:3888
				server.2=node03:2888:3888
				server.3=node04:2888:3888
			#创建zk的数据目录
			mkdir /var/bigdata/hadoop/zk
			#将刚才配置的本机的zk权重写入当前目录的myid文件里，注意这个文件规定只能叫myid
			echo 1 >  /var/bigdata/hadoop/zk/myid 
			vi /etc/profile
				export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6
				export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
			source /etc/profile
			cd /opt/bigdata
			#给node03和node04分发zookeeper
			scp -r ./zookeeper-3.4.6  node03:`pwd`
			scp -r ./zookeeper-3.4.6  node04:`pwd`
node03:
			mkdir /var/bigdata/hadoop/zk
			#将刚才配置的本机的zk权重写入当前目录的myid文件里
			echo 2 >  /var/bigdata/hadoop/zk/myid
			export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6
				export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
			source /etc/profile
node04:
			mkdir /var/bigdata/hadoop/zk
			#将刚才配置的本机的zk权重写入当前目录的myid文件里
			echo 3 >  /var/bigdata/hadoop/zk/myid
			export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6
				export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
			source /etc/profile
			
node02~node04:
	zkServer.sh start

3）按照配置hadoop的core和hdfs
4）分发配置

node01: 
	cd $HADDOP_HOME/etc/hadoop
	scp core-site.xml hdfs-site.xml  node02:`pwd`
	scp core-site.xml hdfs-site.xml  node03:`pwd`
	scp core-site.xml hdfs-site.xml  node04:`pwd`

5）初始化：

1）先启动JN   hadoop-daemon.sh start journalnode （node01 02 03都启动）
2）任意选择一个NN 做格式化：hdfs namenode -format   <只有第一次搭建做，以后不用做>，其他NN步坐
3)启动这个格式化的NN ，以备另外一台同步  hadoop-daemon.sh start namenode 
4)在另外一台机器中： hdfs namenode -bootstrapStandby（将格式化的那个NN的数据同步过来）
5)在第一台nn格式化zk：   hdfs zkfc  -formatZK     <只有第一次搭建做，以后不用做>  这句话其实就是在zookeeper里创建了一个目录
6) start-dfs.sh

这时分别登录node01:50070和node02:50070会发现集群已正常启动，且node01为Active，node02为Standby
在这里插入图片描述

也可以在02，03，04随便一台启动Zookeeper，使用zkCli.sh，然后输入ls /hadoop-ha/mycluster会发现多了一个ActiveStandbyElectorLock文件，表示已经有一个NN抢到锁了，使用get /hadoop-ha/mycluster/ActiveStandbyElectorLock查看这个文件，会观察到，确实是node01抢到了锁，所以node01变成了Active。注意：在Zookeeper中使用上述命令，一定要写完整路径名，不然会提示无法找到该结点

以后启动集群，要先在node02, 03, 04上使用zkServer.sh start，再在node01使用start-dfs. sh，就可以成功启动集群。

-----------------------------------------------------------

今后在企业里，肯定不可能用root用户做操作，所以接下来，我们创建一个新用户，以后都用这个用户来操作Hadoop。

以下操作除特别指明，在四个节点中全部都要做一遍
node01~node04:
#在root用户下，假设我们给用户起名叫god
useradd god
passwd god
#我们将hadoop文件相关的两个目录权限赋予god用户
chown -R god /opt/bigdata/hadoop-2.6.5 #这是hadoop的安装目录
chorn -R god /var/bigdata/hadoop #这是之前在前面博客中配置的，存放hadoop数据的目录
#在god用户中，节点间的互相访问也需要免密登录，所以还要配置免密。
su god
ssh localhost
node01~node02:
cd /home/god/.ssh
ssh-keygen -t dsa -P '' -f ./id_dsa
node01:
ssh-copy-id -i id_dsa node01
ssh-copy-id -i id_dsa node02
ssh-copy-id -i id_dsa node03
ssh-copy-id -i id_dsa node04
node02:
cd /home/god/.ssh
ssh-copy-id -i id_dsa node01
ssh-copy-id -i id_dsa node02
#最后别忘了我们之前在hdfs-site.xml中配置过fencing使用的密钥，现在要改为god用户的密钥了
node01:
在hdfs-site.xml中，将fencing配置改为如下
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/god/.ssh/id_dsa</value>
	</property>
分发给各机
scp hdfs-site.xml node02:`pwd`
scp hdfs-site.xml node03:`pwd`
scp hdfs-site.xml node04:`pwd`

这就配置成功了，接下来在node01中用god用户start-dfs.sh启动hadoop即可
需要注意的是，我们并没有将zookeeper的权限也给god，所以现在在node02~04里使用god用户是无法启动zookeeper的，如果想启动zookeeper，只需要像前面一样将zookeeper的目录权限赋给god即可

注意：Linux的超级管理员是root，而对于Hadoop集群来说，谁启动Hadoop谁就是超级管理员。在Linux中，文件权限对root用户来说形同虚设，root用户可以在任意位置操作文件及目录。而在Hadoop中，如果当前是god用户启动的Hadoop，接下来如果是root用户在linux中使用如hdfs dfs -mkdir /user/abc这样的命令(user是之前由god用户所创)，是不被允许的，因为root不是Hadoop的超级管理员，god才是。

我将在下一篇博客中介绍如何使用IDEA+Maven的方式开发Hadoop项目