hadoop-3.2.0分布式环境搭建--详细教程

手把手教大家使用hadoop-3.2.0搭建MapReduce分布式环境

笔者使用VMware-workstation15+CentOS7+hadoop-3.2.0+jdk1.8.0_11，在本机使用虚拟机搭建了一主两从三个结点。话不多说，上干货。

1. 下载WMwork15，并安装，如需破解，请百度一个注册码即可，至于hadoop，jdk和CentOS7，大家也可以在网上自行下载，这里就不赘述。

2. 打开WMwork15，并新建虚拟机，
   
   下一步：
   
   下一步：
   
   【注】主节点一般命名为namenode.安装位置不要选在C盘，虚拟机很占空间。
   下一步：
   
   下一步：
   
   【注】这里点击自定义硬件可以修改虚拟机的设置，笔者在这里把主节点的内存设置为了2048MB

3. 对CentOS7的设置：
   
   对系统模块进行点击设置
   
   
   【注】在这里选择带界面的安装还是简单安装，笔者将主节点的安装设置带操作界面的模式。

下一步：进行网络设置，点击wmwork的编辑–虚拟网络编辑器。选择NAT模式：

【注】为保证虚拟机和宿主机处于同一网段中（只有这样才能 ping 通），设置网卡地址与 VMne8t 同网段，故虚拟机的 IP 地址应设为 192.168.137.x，这里设置为 192.168.137.130。 点击“NAT 设置”，查看网关 IP，一般为 xxx.xxx.xxx.2，这里设置为 192.168.137.2

再对centos7的网络进行设置：


【注】注意修改主机名，如若忘记，安装完成后也可修改

【注】创建完成后，安静等待一会儿。

安装完成后，以 root 用户登录，关闭防火墙，并禁止开机启动防火墙。这样能省很多麻烦。

[root@namenode ~]# systemctl stop firewalld.service 
[root@namenode ~]# systemctl disable firewalld.service 

测试网络连通性： 在本机使用cmd等ping一下

【注】如果返回结果如图所示就说明网络配置成功。当然，也可以在虚拟机中ping宿主机。
若ping不通，查看虚拟机的防火墙是否关闭，宿主机的防火墙也可在控制面板中关闭。

3.1 对从节点进行安装设置

关闭防火墙等
3.2 第二个从节点既可以通过克隆实现，也可以通过手动再安装一遍，如若害怕出错，笔者推荐手动再安装一次。但是笔者在这里介绍一个克隆的方法。

关闭虚拟机 datanode1，选择菜单栏中的“虚拟机”——>“管理”——>“克隆”。 克隆类型选择“创建完整克隆”

更改虚拟机的MAC地址

datanode1: HWADDR=00:0C:29:F6:EA:26 
datanode2: HWADDR=00:50:56:32:A1:9A 

地址与被克隆的虚拟机不重复即可。

以 root 用户登录，更改新建主机的 hostname

[root@datanode1 ~]# vi /etc/hostname 

将原有的 datanode1 改为 datanode2。
更改 datanode2 的 IP 配置，其中 eno16777736 是 CentOS 7 默认的网卡名称（7 之 前的版本默认名称为 eth0）。

[root@datanode1~]#vi/etc/sysconfig/network-scripts/ifcfg-eno16777736 IPADDR="192.168.137.132

关闭防火墙。

4.建立三个结点的ssh免密互访，
笔者使用的XShell连接工具，大家也可使用 SecureCRT


双击，并输入普通用户的账号密码进行登录，成功如下图所示

同理，建立其他两个连接即可

	以 root 用户登录 namenode，修改/etc/hosts 文件。 将原有的内容注释，并改为以下内容

192.168.137.130 namenode 
192.168.137.131 datanode1 
192.168.137.132 datanode2 

将/etc/hosts 文件拷贝至另两台虚拟机中。

[root@namenode ~]# scp