Hadoop HA的搭建

我们目前只有4台机器，所以需要好好规划一下机器的角色。如果机器多最好还是分得开一点

机器名	角色
amaster	NameNode ResourceManager ZooKeeper
anode1	NameNode ZooKeeper JournalNode
anode2	DataNode NodeManager ZooKeeper JournalNode
anode3	DataNode ResourceManager JournalNode

这时候资源很紧张，估计会很不稳定。所以我们不要作，开始之前整个快照，玩完之后恢复好了。

配置文件

我就在目前我自己的集群上继续往上整。需要完成的前期安装工作包括：

• ZooKeeper的安装，参考http://blog.youkuaiyun.com/mrbcy/article/details/54767484
• Hadoop完全分布式安装，参考http://blog.youkuaiyun.com/mrbcy/article/details/55241141

修改core-site.xml

修改为如下内容：

<configuration>
 <!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bi/</value>
        </property>
        <!-- Size of read/write buffer used in SequenceFiles. -->
        <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>
        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/root/apps/hadoop-2.7.3/tmp</value>
        </property>
        <!-- 指定ZooKeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>amaster:2181,anode1:2181,anode2:2181</value>
        </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice为bi，需要和core-site.xml中的保持一致 -->
    <property>
    <name>dfs.nameservices</name>
    <value>bi</value>
    </property>
    <!-- bi下面有两个NameNode，分别是nn1，nn2 -->
    <property>
    <name>dfs.ha.namenodes.bi</name>
    <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
    <name>dfs.namenode.rpc-address.bi.nn1</name>
    <value>amaster:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
    <name>dfs.namenode.http-address.bi.nn1</name>
    <value>amaster:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
    <name>dfs.namenode.rpc-address.bi.nn2</name>
    <value>anode1:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
    <name>dfs.namenode.http-address.bi.nn2</name>
    <value>anode1:50070</value>
    </property>
    <!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
    <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://anode1:8485;anode2:8485;anode3:8485/bi</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/root/apps/hadoop-2.7.3/journaldata</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
    <name>dfs.client.failover.proxy.provider.bi</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
    sshfence
    shell(/bin/true)
    </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    </property>
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
    </property>
</configuration>

修改mapred-site.xml

<configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <!-- 开启RM高可用 -->
    <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>amaster</value>
    </property>
    <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>anode3</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>amaster:2181,anode1:2181,anode2:2181</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置slaves文件

anode2
anode3

启动

要严格按照下面的步骤来启动。

启动ZooKeeper

先启动ZooKeeper

./start_zookeeper_all.sh

启动JournalNode

在anode1，anode2，anode3下面启动JournalNode。使用下面的命令：

hadoop-daemon.sh start journalnode

用jps查看会多出一个JournalNode。

格式化HDFS

在amaster上执行下面的命令：

hdfs namenode -format

格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/root/apps/hadoop-2.7.3/tmp，然后将/root/apps/hadoop-2.7.3/tmp拷贝到anode1的/root/apps/hadoop-2.7.3下。

然后用下面的命令把文件拷过去。

scp -r /root/apps/hadoop-2.7.3/tmp root@anode1:/root/apps/hadoop-2.7.3/

初始化ZKFC

在amaster上执行下面的命令：

hdfs zkfc -formatZK

启动hdfs

在amaster上执行下面的命令：

start-dfs.sh

启动YARN

在amaster上执行下面的命令：

start-yarn.sh

验证

可以访问amaster:50070和anode1:50070来查看集群状态。

现在我们kill掉active的NameNode。

7216 NameNode
2499 AmbariServer
7699 ResourceManager
6435 QuorumPeerMain
7549 DFSZKFailoverController
8158 Jps

然后运行kill -9 7216

发现anode1上面的NameNode已经变成Active了。如果amaster掉电了，anode1将会维持standby状态30s。

再通过下面的命令重新启动手动关掉的NameNode：

hadoop-daemon.sh start namenode

现在amaster上的是standby了。