hadoop2.7.5搭建高可用集群

本文目的：搭建hadoop的高可用集群

集群规划

1.下载 hadoop-2.7.5-centos-6.7.tar.gz 安装包

2.通过CRT软件上传到hadoop02号机器

3.解压软件到apps目录下

tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/

4.修改hadoop-env.sh 配置文件

先查看jdk安装路径

echo $JAVA_HOME

 vim hadoop-env.sh 修改为下图所示

5.修改core-site.xml 配置文件

vim core-site.xml 为下面所示

<!-- 指定hdfs的nameservice为myha01 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://myha01/</value>
</property>


<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>


<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
</property>


<!-- hadoop链接zookeeper的超时时长设置 -->
<property>
<name>ha.zookeeper.session-timeout.ms</name>
<value>1000</value>
<description>ms</description>

</property>

6.修改hdfs-site.xml配置文件

 vim hdfs-site.xml

为下图所示

<!-- 指定副本数 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>


<!-- 配置namenode和datanode的工作目录-数据存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/hadoopdata/dfs/data</value>
</property>


<!-- 启用webhdfs -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>


<!--指定hdfs的nameservice为myha01，需要和core-site.xml中的保持一致 
    dfs.ha.namenodes.[nameservice id]为在nameservice中的每一个NameNode设置唯一标示符。 
配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。 
例如，如果使用"myha01"作为nameservice ID，并且使用"nn1"和"nn2"作为NameNodes标示符 
-->
<property>
<name>dfs.nameservices</name>
<value>myha01</value>
</property>


<!-- myha01下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.myha01</name>
<value>nn1,nn2</value>
</property>


<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.myha01.nn1</name>
<value>hadoop02:9000</value>
</property>


<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.myha01.nn1</name>
<value>hadoop02:50070</value>
</property>


<!-- nn2的RPC通信地址 -->
<property>