haoop2.x ha搭建

1.搭建：https://www.jianshu.com/p/7904fcc727d7

2.注意：

     1).  ha模式，在一个选为active的namenode节点上执行格式化命令hdfs namenode -format后，

          先用命令hadoop-daemon.sh start namenode单独启动该namenode。然后在其他namenode节

          点上执行命令hdfs namenode -bootstrapStandby来同步fsimage。如果不进行同步会造成standby的namenode

         启动失败，会报没有格式化异常。

     2）多次格式化的情况，重点要在格式化前清理所有namenode和datanode的相关目录：

           参考：https://blog.youkuaiyun.com/gis_101/article/details/52821946

          rm -rf /data/app/hadoop-2.7.7/nameNode/*  元数据目录
          rm -rf /data/app/hadoop-2.7.7/dataNode/*    数据目录
          rm -rf /data/hadoop/tmp/*                              hadoop临时存储目录
          rm -rf /data/app/hadoop-2.7.7/logs/*              运行日志目录

          hdfs zkfc -formatZK（在其中一台NameNode上）  清理zk

4.hadoop需要手动单独启动的服务：

  jobhistory服务：mr-jobhistory-daemon.sh start historyserver

  如果yarn-site.xml中配置了yarn.web-proxy.address，需要手动启动WebAppProxyServer服务：yarn-daemon.sh start proxyserver 

3.启动停止命令 

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

sbin/hadoop-daemons.sh start namenode 单独启动NameNode守护进程

sbin/hadoop-daemons.sh stop namenode 单独停止NameNode守护进程

sbin/hadoop-daemons.sh start datanode 单独启动DataNode守护进程

sbin/hadoop-daemons.sh stop datanode 单独停止DataNode守护进程

sbin/hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程

sbin/hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程

sbin/start-yarn.sh 启动ResourceManager、NodeManager

sbin/stop-yarn.sh 停止ResourceManager、NodeManager

sbin/yarn-daemon.sh start resourcemanager 单独启动ResourceManager

sbin/yarn-daemons.sh start nodemanager  单独启动NodeManager

sbin/yarn-daemon.sh stop resourcemanager 单独停止ResourceManager

sbin/yarn-daemons.sh stopnodemanager  单独停止NodeManager

 

sbin/mr-jobhistory-daemon.sh start historyserver 手动启动jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver 手动停止jobhistory