hadoop2.6的HA配置

前面讲述了一般的配置方式，下面讲HA的配置

1、选择两台机器做namenode ,210.10与210.11，命名为ns1与ns2

     命名空间为mycluster

2、选择三台机器部署journal ，或多余三个的奇数台，journal作用不做详述

主要修改core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml 

3、主要修改配置

（1）core-site.xml

有hdfs://ip:port修改成如上，ns1即命名空间

（2）hdfs-site.xml

命名空间名的命名

命名空间ns1所包含的2个namenode，目前只支持两个

namenode ns1与ns2所对应的IP、port信息配置

ha通信方式此处选择shell,若集群的所有机器间都可以ssh无密码登录可以选择ssh的方式

journalnode的配置

（3）mapred-site.xml

此处配置与core-site.xml保持一致

historyserver的配置，若不配置，则无法查看job运行日志

（4）yarn-site.xml

配置resourcemanage的IP，在两个namenode机器中选择其一即可

此处设置为true,在mapred-site.xml配置的historyserver才会起作用

（5）scp配置文件到集群的其他机器

3、第一次启动过程

（1）启动 journal 节点

在各个JournalNode机器上执行命令“hadoop-daemon.sh  journalnode”。

（2）格式化 NN1 命名空间

bin/hadoop namenode -format

（3）初始化JournalNode 节点

 在nn1上执行bin/hdfs namenode -initializeSharedEdits -force

（4）启动 NN1的 namenode

 sbin/hadoop-daemon.sh start namenode

 （5）拉取NN1的namenode 元信息

 在nn2上执行bin/hdfs namenode -bootstrapStandby -force

 （6）启动NN2的namenode

   sbin/hadoop-daemon.sh start namenode

 （7）启动所有的数据节点

  sbin/hadoop-daemons.sh start datanode

（8）启动historyserver

在mapred-site.xml配置的historyserver启动sbin/mr-jobhistory-daemon.sh historyserver

（9）最后为了防止其他启动的漏启动，可以执行一下start-all.sh

 

5\验证配置 namenode自动切换

(1)找到active的namenode，kill掉

（2）再次查看另一个namenode由standy变为了active

至此HA的配置完成。