大数据之Hadoop集群搭建（4个节点）

---

大数据必备–搭建Hadoop集群（4个节点）

初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统

• 对四台虚拟机进网络和静态IP设置
• Hadoop、jdk的安装
• 创建hadoop文件目录
• 导入jdk和hadoop的环境变量
• 修改hadoop配置文件
• 修改虚拟机主机名
• 绑定hostname与ip地址
• 关闭防火墙
• 配置节点之间的免密登录
• 格式化HDFS文件系统
• 启动HDFS文件系统

完成以上步骤就算搭建成功，当然有很多教程说要先配置主机名等等，本教程将配置主机名、实现节点之间的免密登录放到了靠后的位置，初学者不要对此有疑惑，结果都是一样的

以上步骤从第一步（对四台虚拟机进网络和静态IP设置）到第八步（关闭防火墙）在每个节点上都需要操作一遍

1.对四台虚拟机进网络和静态IP设置

所有对虚拟机进行的命令操作建议在xshell中进行，比较方便，可以同时操作多个窗口

本文章不提供xshell安装包，因为xshell并不是必须的

使用下面的命令

[roo@localhost local]$ cd /etc/sysconfig/network-scripts/
[roo@localhost network-scripts]$ vi ifcfg-ens33

删除该文本原来的内容，添加如下内容

TYPE=Ethernet
OXY_METHOD="none"
BROWSER_ONLY=no
BOOTPROTO="static"
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=56ae74d7-3cff-41bb-a86e-707762cb5826
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.5.128
PREFIX=24
IPV6_PRIVACY=no
GATEWAY=192.168.5.0
NETMASK=255.255.255.0
DNS1=114.114.114.114

里面的GATEWAY=192.168.5.0是自己设置的，我设置的是192.168.5.0，在添加文本文件前先在虚拟机中修改


子网ip192.268.5.0中的5是随机的，尽量写大于2的数

文本里面的IPADDR=192.168.5.128是设置你现在操作的节点的ip地址，中的5是保证跟你刚刚设置的子网ip在同一个网段下，后面的128是我随机写的，写成什么都可

重启网络服务

[root@localhost network-scripts]# service network restart

重启虚拟机

[root@localhost network-scripts]#reboot

查看该节点当前ip

[root@localhost]# ifconfig

有如下结果

用以上方法将每个节点的网络配置文件都修改一下

2.Hadoop、jdk的安装

首先将/usr/local/下的所有内容删除，使用如下命令

[root@localhost ~]# rm -rf /usr/local/*
[root@localhost ~]# ls -l /usr/local/
总用量 0

将jdk安装压缩包上传到各个节点，将hadoop安装压缩包上传到各个节点；如果用的xshell工具，直接拖住要传过去的压缩文件到命令框（拖过去之前现在命令框中打开要传入的目录）就可以了，结果就是压缩包到了命令框中打开的相应的文件；当然如果直接用的Vmware也可以拖到桌面上，但是要清楚直接拖过去的话该压缩包文件是传到了桌面文件（可能叫做Desktop）下；
本文章是直接用的xshell拖过去的
网盘链接（提供hadoop、jdk1.8安装包）
链接：https://pan.baidu.com/s/1ssitRxLFs1eNJjSmVB-Jpg
提取码：j9mv

解压安装文件

[root@localhost ~]#cd /usr/local          ----到指定存放压缩包的目录，hadoop、jdk压缩包和解压后的文件都存放在了这里
[root@localhost local]# tar -zxvf jdk-8u181-linux-x64.tar.gz
[root@localhost local]# tar -zxvf hadoop-2.8.5.tar.gz

对解压后的文件更改名字

[root@localhost local]# mv hadoop-2.8.5