Hadoop高可用3台集群搭建步骤

hadoop高可用搭建与普通搭建在与haoop和hbase的安装配置不同，其他一致，
可看普通搭建：linux大数据集群搭建步骤

1.基本公共搭建

NAT网络；

防火墙；

ssh免密；

主机名；

主机IP映射；

环境变量

JAVA_HOME=/home/hadoop/app/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
HADOOP_HOME=/home/hadoop/app/hadoop
HIVE_HOME=/home/hadoop/app/hive
HBASE_HOME=/home/hadoop/app/hbase
SCALA_HOME=/home/hadoop/app/scala
SPARK_HOME=/home/hadoop/app/spark
PATH=/home/hadoop/tools:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL CLASSPATH ZOOKEEPER_HOME HADOOP_HOME JAVA_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HIVE_HOME
export HBASE_HOME
export SCALA_HOME
export SPARK_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export JAVA_LIBRARY_PATH=$JAVA_HOME/lib/native
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

2.jdk安装

3.zookeeper安装

4.hadoop安装

（1）创建Hadoop工作路径（在master节点上操作）

cd /home/hadoop/app/

（2）解压Hadoop到相应目录中改名

tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz 
mv hadoop-2.7.3.tar.gz

（4）修改相关配置文件,编辑文件在 /hadoop/etc/hadoop/目录下

①添加jdk环境变量到hadoop-env.sh文件

cd /home/hadoop/app/hadoop/etc/hadoop/

vi hadoop-env.sh

添加如下内容

export JAVA_HOME=/home/hadoop/app/jdk

②编辑core-site.xml文件，并将内容添加到里面

vi core-site.xml

添加如下内容

<configuration>
<!-- 指定hdfs的nameservice为ns -->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://zls1</value>
      <!--1.x中为fs.default.name， 一定得是namenode的hostname>或者 ip，并且不用加端口号（这里的名称与HA配置hdfs-site.xml中的
dfs.nameservices必须保持一致） -->
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/hadoop/tmp</value>
    <!-- 指定hadoop临时目录 -->
  </property>

  <!-- 配置HA时才用配置该项 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>zls1:2181,zls2:2181,zls3:2181</value>
    <!--各个ZK节点的IP/host，及客户端连接ZK的端口，该端口需与zoo.cfg中的 clientPort一致！ -->
  </property>
</configuration>

③编辑yarn-site.xml文件

vi yarn-site.xml

添加如下内容

<configuration>  
  
<!-- Site specific YARN configuration properties -->  
  
  <property>  
    <name>yarn.resourcemanager.ha.enabled</name>  
    <value>true</value>  
    <!-- 开启RM高可用 -->  
  </property>  
    
  <property>  
    <!--启动自动故障转移,默认为false-->  
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  
    <value>true</value>  
  </property>  
  
  <property>  
    <!--启用一个内嵌的故障转移，与ZKRMStateStore一起使用。-->  
    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>  
    <value>true</value>  
  </property>  
   
  <property>  
    <name>yarn.resourcemanager.cluster-id</name>  
    <value>yrc</value>  
    <!-- 指定RM的cluster id -->  
  </property>  
  
  <property>  
    <n