Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装以及测试

Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2完全分布式安装以及测试

1. 系统环境
1.1 软件版本，如下是所安装软件的信息

软件	版本	下载地址
系统	x86_64 GNU/Linux
hadoop	3.1.3-tar.gz	官网
zookeeper	3.5.6-bin-tar.gz	官网
hbase	2.2.2-bin-tar.gz	官网
hive	3.1.2-bin-tar.gz	官网

更多版本匹配信息建议上官网，强烈建议先看版本匹配
hbase官网里面有一个hadoop与hbase的版本匹配表格，可能会有更新，在此就不贴出来了，zookeeper一般是越新越好，hive可以去hive官网查看版本匹配信息（具体可以看下这篇文章）

1.2网络配置

主机名	IP地址
hadoop1（master节点）	10.86.33.61
hadoop2	10.86.33.62
hadoop3	10.86.33.63

在三台机器上操作：vim /etc/hosts

10.86.33.61 hadoop1
10.86.33.62 hadoop2
10.86.33.63 hadoop3

（1）关闭三台机器防火墙
说明：其实可以不关闭防火墙，进行权限设置，但是为了方便访问，于是便关闭了防火墙。每个机器都做。

查看防火墙状态：systemctl status firewalld
暂时关闭防火墙：systemctl stop firewalld
重启防火墙：systemctl enable firewalld

（2）确认三个服务器之间能相互ping通
（3）ssh免密登陆
设置ssh免密码登录是为了操作方便
首先生成秘钥文件 ，在每台机器上都执行一遍
输入:

ssh-keygen -t rsa -P ''

生成秘钥之后，然后将每台机器/root/.ssh 都存入内容相同的文件，文件名称叫authorized_keys，文件内容是我们刚才为3台机器生成的公钥。可以在一台机器上生成，然后复制到其它的机器上。
新建authorized_keys文件 ，输入：

touch  /root/.ssh/authorized_keys

编辑 authorized_keys
将本台机器以及其他两台的/root/.ssh/ id_rsa.pub 的内容拷贝到 authorized_keys这个文件中
第一台机器：

第二台机器

第三台机器

最终authorized_keys文件的内容

将这个最终的authorized_keys文件copy到其他机器的 /root/.ssh 目录下

scp -r /root/.ssh/authorized_keys root@hadoop2:/root/.ssh
scp -r /root/.ssh/authorized_keys root@hadoop3:/root/.ssh

测试免密登陆

（4）安装Java环境,JDK版本选择1.8比较合适
（5）时间配置
集群上的机器时间要同步，可以先查看时间：

date

如果时间不同步，再使用如下命令更新时间

ntpdate cn.pool.ntp.org

2. hadoop分布式部署
2.1 解压hadoop到root下（目录自己选择）

tar -xzvf /root/hadoop-3.1.3.tar.gz -C /root

2.2 进入配置文件目录 cd hadoop-3.1.3/etc/hadoop/，修改配置文件core-site.xml
（以下配置文件都在同一目录）

vim core-site.xml

添加如下配置

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop1:9000</value>
</property>

2.3 vim hadoop-env.sh

添加如下配置（换成自己的目录）

export JAVA_HOME="/usr/java/jdk1.8.0_181-amd64"：q

2.4 vim hdfs-site.xml

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/hadoop_data/name</value>
</property>

2.5 cp mapred-site.xml.template mapred-site.xml 和vim mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

2.6vim workers(前面版本修改slaves）