6,Hadoop HA配置

HA配置：

1. 配置NameNode逻辑到物理的映射关系
2. 配置JN结点的通信方式
3. Ssh

手动HA基本上配置完了

1. 部署 手动HA  

必须先启动journalNode，此时集群还没有格式化，没格式化之前不能用start-dfs.sh来启动所有角色，会报错。必须格式化完成后才能使用启动脚本。但是在HA中格式化之前要先启动journalNode，因为在格式化的时候最重要是生成一个集群的ID（ClusterID），格式化命令执行的时候在NameNode结点上有一个verson，在journalNode中也有一个version。有两台NameNode，在一台NameNode格式化完后，另一台怎么办？是否也需要格式化呢？

很显然，另一台NameNode肯定也是需要格式化的，但是如果执行格式化命令就会产生一个新的clusterID。首先启动journalNode集群，然后再第一台NameNode上执行格式化，然后启动这个NameNode，在第二台没有启动NameNode的执行hdfs namenode -bootstrapStandby,第二台会和第一台进行socket链接，从第一台中同步到格式化的文件。这时才可以start-dfs。这时是手动启动。此时只会启动  两个NameNode，DataNode，两个JournalNode。ZK和ZKFC属于自动化模块，并未被启动。

JouralNode只有在第一次格式化集群的时候需要手动启动，后面停了服务再次启动时无需单独启动journalNode，只需要start-dfs ，自动就会启动这些角色。

 

部署自动HA

5.1，配置开启自动HA

5.2，配置ZKFC和ZK的联系

ZKFC没有配置在哪里启动，原因是ZKFC默认在NameNode同结点启动的。

操作系统的配置：

配置两台NameNode彼此之间免秘钥和对自己免秘钥。

Node01已经可以对自己和其它三个结点免秘钥了。

在Node02上

配置Node02对自己免秘钥

[root@node02 .ssh]# ssh-keygen -t dsa -P '' -f ./id_dsa      // 生成公钥密钥
[root@node02 .ssh]# cat id_dsa.pub >> authorized_keys     // 将node02公钥追加到自己的认证文件中

配置Node02对Node01免密钥
[root@node02 .ssh]# scp id_dsa.pub node01:`pwd`/node02.pub   //将node02的公钥同步到01上
[root@node01 .ssh]# cat node02.pub >> authorized_keys     //讲node02公钥追加到node01的认证文件中

安装zookeeper

1，上传zookeeper到其中一台服务器
2，[root@node01 zookeeper-3.4.6]# tar -zxvf zookeeper-3.4.6.tar.gz  -C /opt/sxt/   解压到opt/sxt目录
3，配置zookeeper环境变量
export ZOOKEEPER_PREFIX=/opt/sxt/zookeeper-3.4.6
Export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$ZOOKEEPER_PREFIX/bin
4，修改zookeeper的配置文件
[root@node02 conf]# cp zoo_sample.cfg  zoo.cfg    //程序是读zoo.cfg这个名字配置文件的
修改配置文件中数据存储的路径：
# example sakes.
dataDir=/tmp/zookeeper
修改为：dataDir=/var/sxt/hadoop/zk
在配置文件末尾加上：
#autopurge.purgeInterval=1
server.1=192.168.25.202:2888:3888
server.2=192.168.25.203:2888:3888
server.3=192.168.25.204:2888:3888

在/var/sxt/hadoop中创建zk目录，并新建myid文件，里面内容为1

5，将zookeeper安装目录和/etc/profile文件中配置scp到node03和node04
在/var/sxt/hadoop中创建zk目录，并新建myid文件，里面内容分别为2,3

配置hadoop集群

1，修改hdfs-site.xml
HA中不需要SecondaryNameNode删掉secondaryNameNode的配置
2，增加NameNode在哪的配置
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>

3，增加journalNode在哪的配置

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>

journalNode数据存储的配置
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/sxt/hadoop/ha/jn</value>
</property>


4，active和standby切换方式
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>

5,自动化开启
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

修改core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
1，单节点入口改成集群入口
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
</property>


<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/full</value>
</property>
2，存储目录改成
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/ha</value>
</property>

3，配置zookeeper以便ZKFC可以找到zookeeper
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

截止目前为止，两个NameNode，JournalNode，ZKFC随着NameNode启动以上角色均已配置好。

DataNode在slaves中配置，无需修改

ZK 已经成功跑起来了。

剩下就是部署的工作了

1，分发配置文件

[root@node01 hadoop]# scp core-site.xml hdfs-site.xml  node02:`pwd`
core-site.xml                                              100% 1086     1.1KB/s   00:00    
hdfs-site.xml                                              100% 2172     2.1KB/s   00:00    
[root@node01 hadoop]# scp core-site.xml hdfs-site.xml  node03:`pwd`
core-site.xml                                              100% 1086     1.1KB/s   00:00    
hdfs-site.xml                                              100% 2172     2.1KB/s   00:00    
[root@node01 hadoop]# scp core-site.xml hdfs-site.xml  node04:`pwd`
core-site.xml                                              100% 1086     1.1KB/s   00:00    
hdfs-site.xml                                              100% 2172     2.1KB/s   00:00 

2，格式化之前，先单独启动jouralNode

[root@node01 hadoop]# hadoop-daemon.sh  start journalnode
[root@node02 conf]# hadoop-daemon.sh  start journalnode
starting journalnode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-journalnode-node02.out
[root@node02 conf]# jps
1805 JournalNode
1851 Jps
1672 QuorumPeerMain

[root@node03 .ssh]# hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-journalnode-node03.out
[root@node03 .ssh]# jps
1986 QuorumPeerMain
2097 JournalNode
2143 Jps

此时journalnode均已启动，但是ha中的jn文件夹中为空的。

格式化其中某一台NameNode

[root@node01 jn]# hdfs namenode -format

格式化成功后，在jn中就生成了mycluster目录，里面有version文件，这是journalnode的数据目录，此时NameNode也有了dfs数据目录。

查看第一台格式化的NameNode的version信息

[root@node01 current]# cat VERSION 
#Sun Oct 14 00:34:08 CST 2018
namespaceID=1831491601
clusterID=CID-83df3cc2-e5f6-4ec0-b40b-3cd8ff121d43
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1851265382-192.168.25.201-1539448448658
layoutVersion=-60

在格式化的NameNode上启动NameNode 以便同步静态元数据到另一台NameNode

[root@node01 dfs]# hadoop-daemon.sh  start namenode

在另一台NameNode上同步

[root@node02 conf]# hdfs namenode -bootstrapStandby

查看同步的NameNode的version信息

[root@node02 current]# cat VERSION 
#Sun Oct 14 00:41:06 CST 2018
namespaceID=1831491601
clusterID=CID-83df3cc2-e5f6-4ec0-b40b-3cd8ff121d43
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1851265382-192.168.25.201-1539448448658
layoutVersion=-60

启动服务的时候ZKFC会跟着一起启动，但是ZKFC之前需要格式化Zookeeper

[root@node02 current]# hdfs zkfc -formatZK
18/10/14 00:49:21 INFO ha.ActiveStandbyElector: Successfully deleted /hadoop-ha/mycluster from ZK.
18/10/14 00:49:21 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/mycluster in ZK.

格式化的过程就是在ZK中创建了hadoop-ha/mycluster目录而已

现在该做的准备都准备好了，启动集群

[root@node01 current]# start-dfs.sh 
Starting namenodes on [node01 node02]
node01: namenode running as process 1703. Stop it first.
node02: starting namenode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-namenode-node02.out
node03: starting datanode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-datanode-node03.out
node04: starting datanode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-datanode-node04.out
node02: starting datanode, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-datanode-node02.out
Starting journal nodes [node01 node02 node03]
node01: journalnode running as process 1577. Stop it first.
node03: journalnode running as process 2097. Stop it first.
node02: journalnode running as process 1805. Stop it first.
Starting ZK Failover Controllers on NN hosts [node01 node02]
node01: starting zkfc, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-zkfc-node01.out
node02: starting zkfc, logging to /opt/sxt/hadoop-2.6.5/logs/hadoop-root-zkfc-node02.out

验证下每个结点上的角色：

[root@node01 current]# jps
1703 NameNode
2218 DFSZKFailoverController
1577 JournalNode
2278 Jps

[root@node02 current]# jps
1805 JournalNode
2204 Jps
2010 DataNode
1950 NameNode
1672 QuorumPeerMain
2108 DFSZKFailoverController

[root@node03 .ssh]# jps
1986 QuorumPeerMain
2097 JournalNode
2177 DataNode
2263 Jps

[root@node04 .ssh]# jps
1719 DataNode
1629 QuorumPeerMain
1788 Jps

至此HA的集群搭建成功