hadoop+hive三节点环境搭建

以下使用虚拟机搭建Hadoop+Hive环境
虚拟机：Oracle VirtualBox
操作系统：centos7.6
JDK：1.8.0_201
MySql： 5.7.25
Hadoop：hadoop-2.8.1
Hive：apache-hive-1.2.2-bin

Hadoop集群为三个节点：
主节点hadoop1 192.168.18.171
从节点hadoop2 192.168.18.172
从节点Hadoop3 192.168.18.173
1、Centos7镜像下载
http://mirrors.aliyun.com/centos/7/isos/x86_64/
2、三个节点分别设置hostname，hadoop1、hadoop2、hadoop3
永久修改hostname，以hadoop1为例：
Centos7：hostnamectl set-hostname hadoop1
Centos6：
① vi /etc/sysconfig/network
修改localhost.localdomain为hadoop1

② vi /etc/hosts
添加一条：192.168.18.171 hadoop1
③ reboot
每个节点的host文件都配置包含三个节点信息：

3、关闭防火墙和selinux
三台节点都需要需要关闭防火墙和selinux
systemctl stop firewalld.service
systemctl disable firewalld.service
vi /etc/selinux/config

重启设备生效
4、创建hadoop用户
为三个节点分别创建相同的用户hadoop，后续都在此用户下操作：
useradd -m hadoop
passwd hadoop
为hadoop添加sudo权限：hadoop ALL=(ALL) ALL

切换到hadoop用户：su - hadoop
注意：三个节点的用户名必须相同，不然以后会对后面ssh及hadoop集群搭建
产生影响
5、设置ssh免密登录
以hadoop1节点ssh免密登陆hadoop2、hadoop3节点设置为例：
生成hadoop1的rsa密钥：ssh-keygen -t rsa
设置全部采用默认值进行回车
将生成的rsa追加写入授权文件：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
给授权文件权限：chmod 600 ~/.ssh/authorized_keys
进行本机ssh测试：
ssh hadoop1正常免密登陆后所有的ssh第一次都需要密码，此后都不需要密码
将hadoop1上的authorized_keys分别传到hadoop2、hadoop3
sudo scp ~/.ssh/id_rsa.pub hadoop@hadoop2:~/
sudo scp ~/.ssh/id_rsa.pub hadoop@hadoop3:~/
以hadoop2为例（hadoop3同样操作）：
登陆到hadoop2操作：$ssh hadoop2输入密码登陆
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
修改authorized_keys权限：chmod 600 ~/.ssh/authorized_keys
退出hadoop2：exit
进行免密ssh登陆测试：ssh hadoop2

6、JDK安装，三个节点都需要安装
下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
为jdk8的新版本，下载jdk-8u201-linux-x64.tar.gz
解压：sudo tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local/
配置hadoop用户的JAVA环境变量
vi ~/.bashrc
文件末尾追加以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_201
export JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:${JAVA_HOME}/lib:$JR{E}_{H}OME/libexportPATH=${JAVA_HOME}/bin:$PATH
使环境变量生效：source ~/.bashrc

7、Hadoop安装，在hadoop1节点安装，拷贝到hadoop2、hadoop3节点
下载地址&