基于centos7.5minimal系统的7台主机HA机制hadoop3.1.1安装配置

一、参考文章：

1、配置时我觉得唯一好的参考文章：
https://blog.youkuaiyun.com/czw698/article/details/44274317 作者：优快云----年华似水
还有一大堆好的csdn和其他网络资源文章，具体我记不得了希望各位博主看到是我有你们的原创的内容不要怪罪，留言给我我加连接。。。

二、安装配置：

centos7.5minimal下载地址：https://mirrors.tuna.tsinghua.edu.cn/centos/7.5.1804/isos/x86_64/
1、centos7.5minimal系统中的配置：（系统安装省略，默认你的centos7.5minimal装好了）

1. 安装好centos7.5minimal位操作系统以后要改其中的网络配置：
   a、指令：

   `cd /etc/sysconfig/network-scripts/`
   
   然后找到ifcfg-..文件（这里一般是ifcfg-ens33文件，但是在centos6中文件名不一样，具体操作我没有详细的研究）
   vi ifcfg-ens33将其中的自动连接网络设置打开，既修改“ONBOOT”选项设置为“yes”。
   b、重启network即可完成网络自动连接：
   
   	`service network restart`
   

   (2)获取本机ip地址：
   有两种方式可以获得：
   a、指令 ip addr 一般会弹出来3个ip，看你的是连接的wifi还是网线，wifi是看ens33（就i是上边修改的那个文件的后缀名）里面的ip既主机ip，网线应改一样。
   b、一般是用ifconfig指令查看，但是centos7.5minimal系统自己没有装这个指令，所以要自己下载指令工具
   指令：

   	`yum install net-tools`   （一路确认即可）
   
   然后用ifconfig查看（同a的查看方法）
   

   (3)关闭防火墙：
   a、临时关闭防火墙：
   systemctl stop firewalld.service
   b、开机禁止自动开启防火墙：
   systemctl disable firewalld.service
   C、补充介绍：
   (1)(2)两个步骤的原因我就不解释，但是这里可能一些人不明白我为什么关防火墙，原因是hadoop在通信方面会被防火墙拦截。

   (4)更改主机名：
   hostnamectl set-hostname HOSTNAME (”HOSTNAME“是你想改成的主机名)
   然后重新连接(或者重启reboot)才能看到主机名修改

   注释：
   修改hostname是为了后面方便多台主机在连接通信的时候不用繁琐的输入ip，直接将其ip跟主机名写在/etc/hosts这个文件里然后在hadoop配置连接里就可以之际引用主机名。
   

   (5)添加一个指令：
   yum install psmisc
   没有该指令的在初始化ZKFC的时候会出现一个错误，这个是centos7minimal系统的缺陷，没有全套的指令，无关大雅，但是必须添加。

   #########################################################################################
   (1)正式开始部署HA hadoop集群之前我要做一下步骤说明：
   1、搭建zookeeper集群（用来管理hadoop集群和同步namenode数据）
   2、搭建hadoop集群（这里又主要分为两个步骤）：
   (1)hdfs框架的搭建
   存储数据，切分、分片、多位置存储、提供云存储
   (2)yarn框架的搭建
   处理数据，主要是用于各种运算框架任务的控制，这里只是配置了mapreduce的普通框架，还有spark、storm等实时运算处理的框架
   (2)再来介绍一下我的集群配置：
   1、7台主机的ip地址：
   192.168.43.69 hadoop0
   192.168.43.218 hadoop1
   192.168.43.190 hadoop2
   192.168.43.36 hadoop3
   192.168.43.211 hadoop4
   192.168.43.161 hadoop5
   192.168.43.248 hadoop6
   把这个ip地址添加到/etc/hosts里边去
   2、七台机器的任务分配：
   hadoop0 / hadoop1 / hadoop2:
   主要分配zookeeper集群任务，datanode任务，nodemanager任务
   hadoop3 / hadoop4:
   主要分配namenode任务及其监视器
   hadoop5 / hadoop6
   主要分配resourcenamager任务
   hadoop3.1.1下载地址：（下载地址我全部都是给的国内镜像地址，也是官网推荐地址，有更好的下载链接就用自己的下载链接，也麻烦留言）
   http://mirrors.shu.edu.cn/apache/hadoop/common/
   #########################################################################################

2. hadoop集群配置：
   (1)安装java：
   该步骤省略，百度一下就能找到结果。
   主机中的hadoop及java环境配置：

		export JAVA_HOME=/**(PATH)**/jdk1.8.0_181
		export HADOOP_HOME=/**(PATH)**/hadoop-3.1.1
		我的就是：
			export HADOOP_HOME=/usr/hadoop/hadoop3.1.1
			export JAVA_HOME=/usr/java/jdk1.8.0_181
		export PATH=$JAVA_HOME/bin:$JAVA_HOME/jar/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

(2)首先安装zookeeper集群：
	简介：zookeeper是hadoop HA机制的核心组件，其是用来监控namenode，resourcemanager数据同步及active，standby