【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建

还是因为迁移到Deepin上开发的缘故，原来在win10上搭建的hadoop集群用不上了，所以这次重新搭一下。我之前写过一篇hadoop伪分布式搭建的文章，完全分布式集群的搭建和这差不多，不同点在于如何构建集群，以及配置文件上有些许不同。另外，我前几天写了Deepin下java、大数据开发环境配置【一】是这次博客的前提，讲了如何在Deepin Linux下安装java、VMware以及VMware上安装Centos等等

准备

下载：Hadoop CDH发行版本（http://archive-primary.cloudera.com/cdh5/cdh/5/ ），为了后续和Hive、HBase、flume等版本对应，这里限定使用cdh5.12.1结尾的hadoop-2.6.0-cdh5.12.1.tar.gz（也是我之前下好的）

集群节点

三台虚拟机，分别为Master（192.168.17.10）、Slave1（192.168.17.10）、Slave2（192.168.17.10）

修改VMware的网络配置

这一步主要是为了给虚拟机分配一个固定IP地址，便于集群间通讯

启动器或者打开ＶＭＷａｒｅ找到VMware Network Editor，IP地址限定在192.168.17.1网段，网关是192.168.17.2，掩码255.255.255.0，如下图配置

配置虚拟机网络环境

启动之前安装好的Centos7，不知道怎么安装我文章开头提到了

• 设置静态IP

同样是在/etc下（这是配置文件所在地）

ls sysconfig/network-scripts/ifcfg-ens*
# 输出结果就是要配置的文件

vi sysconfig/network-scripts/ifcfg-en*
# 进入编辑

改动以下设置

BOOTPROTO=static //改成static
ONBOOT=yes //改成yes
IPADDR=192.168.17.10 //随便设，不过要在子网192.168.17.0下
NETMASK=255.255.255.0 //掩码
GATEWAY=192.168.17.2 //第一步配置时设好的
DNS1=192.168.17.2 //随便写

• 设置主机名

命令行下输入hostname可查看主机名，一般是localhost，但为了方便重新设置主机名

vi /etc/hostname 

删掉原先的，配置主机名为master

• 绑定IP地址和主机名

vi /etc/hosts

# 追加如下内容
127.168.17.10 master //就是你配置的固定IP和主机名

• 关闭防火墙

我这里是centos，防火墙是firewall，而不是iptables【其他系统有其他关闭方法】。防火墙务必要关闭，否则完全分布式搭建的话无法和其他主机相