七、Hadoop 2.5.2+zookeeper高可用部署

一、原理（四大要点）

（1）保证元数据一致（edits）

namenode   （fsimage  edits）

  a、NFS

  b、journalnode

  c、zk

（2）只有一台namenode对外提供服务（proxy）

（3）接受datanode的心跳

（4）隔离

二、HDFS HA启动并测试

主机名	ip	配置	服务
Bigdata01.xxx.com	192.168.249.130	内存1g Cpu 1核 硬盘 10g	QuorumPeerMain DataNode DFSZKFailoverController NameNode JournalNode
Bigdata02.xxx.com	192.168.249.131	内存1g Cpu 1核 硬盘 10g	QuorumPeerMain DataNode DFSZKFailoverController NameNode JournalNode
Bigdata03.xxx.com	192.168.249.132	内存1g Cpu 1核 硬盘 10g	QuorumPeerMain DataNode JournalNode

在Bigdata01.xxxx.com中配置：

Core-site.xml

hdfs-site.xml

把hadoop分别拷贝到bigdata02与bigdata03

$scp -r hadoop-2.5.2/ bigdata03.xxxx.com:/home/jit/app

按照以下步骤启动

启动服务

Step1 :启动Zookeeper 集群 bin/zkServer.sh start

在各个JournalNode节点上，输入以下命令启动journalnode服务：

       $ sbin/hadoop-daemon.sh start journalnode

Step2:在[nn1]上，对其进行格式化，并启动：

       $ bin/hdfs namenode –format

初始化 HA 在Zookeeper中状态 bin/hdfs zkfc -formatZK

       $ sbin/hadoop-daemon.sh start namenode

在各个NameNode节点上启动DFSZK Failover Controller，先在那台机器启动，那个机器的NameNode就是Active NameNode

       sbin/hadoop-daemin.sh start zkfc

Step3:在[nn2]上，同步nn1的元数据信息：

       $ bin/hdfs namenode -bootstrapStandby

Step4:启动[nn2]：

       $ sbin/hadoop-daemon.sh start namenode

Step6:在[nn1]上，启动所有datanode

       $ sbin/hadoop-daemons.sh start datanode

Bigdata01

Bigdata02

Bigdata03

Kill -9 bigdata01的namenode

Bigdata02变为active

上传文件

三、和ResouceManager Restart 功能及配置部署与测试

三台机器yarn-site.xml分配进行配置

进行yarn启动，并查看yarn的状态

Kill 掉rm1后

Rm2状态变为active

重启rm1后状态变为standy

主机名	ip	配置	服务
Bigdata01.xxxx.com	192.168.249.130	内存1g Cpu 1核 硬盘 10g	QuorumPeerMain DataNode DFSZKFailoverController NameNode JournalNode
Bigdata02.xxxx.com	192.168.249.131	内存1g Cpu 1核 硬盘 10g	QuorumPeerMain DataNode DFSZKFailoverController NameNode JournalNode
Bigdata03.xxxx.com	192.168.249.132	内存1g Cpu 1核 硬盘 10g	QuorumPeerMain DataNode JournalNode

在Bigdata01.ibeifeng.com中配置：