高可用集群搭建系列文章之三：Hadoop集群搭建

本篇文章主要介绍Hadoop HA的搭建

1、下载安装包，并解压

下载地址
解压命令如下：

tar -zxvf hadoop-2.6.5.tar.gz

2、配置/etc/profile

export HADOOP_HOME=/home/hadoop/app/hadoop/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3、配置hadoop-env.sh，添加jdk路径

export JAVA_HOME=/opt/java/jdk1.8.0_221

4、配置core-site.xml

  <!-- hdfs地址，ha模式中是连接到nameservice -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://mycluster</value>
        </property>
        <!--==============================Trash机制======================================= -->
        <property>
                <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
                <name>fs.trash.checkpoint.interval</name>
                <value>0</value>
        </property>
        <property>
                <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
                <name>fs.trash.interval</name>
                <value>1440</value>
        </property>
         <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这>个路径中 -->
        <property>   
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop/hadoop-2.6.5/tmp</value>
        </property>
         <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>slave01:2181,slave02:2181,slave03:2181,master01:2181,master02:2181</value>
        </property>
         <!--指定ZooKeeper超时间隔，单位毫秒 -->
        <property>
                <name>ha.zookeeper.session-timeout.ms</name>
                <value>2000</value>
        </property>
       <!--配置该hadoop允许通过代理访问的主机节点 -->
        <property>
           <name>hadoop.proxyuser.hadoop.hosts</name>
           <value>*</value> 
        </property> 
       <!--配置该hadoop允许代理的用户所属组 -->
        <property> 
            <name>hadoop.proxyuser.hadoop.groups</name> 
            <value>*</value> 
       </property> 

5、配置hdfs-site.xml，其中dfs.nameservices的值要和fs.defaultFS的值一致

  <!--HDFS超级用户 -->
    <property>
        <name>dfs.permissions.superusergroup</name>
	    <value>hadoop</value>
    </property>

	<!--开启web hdfs -->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/home/hadoop/app/hadoop/hadoop-2.6.5/data/dfs/name</value>
		<description> namenode 存放name table(fsimage)本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/home/hadoop/app/hadoop/hadoop-2.6.5/data/dfs/data</value>
		<description>datanode存放block本地目录（需要修改）</description>
	</property>
	<!-- 备份份数 -->
	<property>
		<name>dfs.replication</n