Ubuntu 16.04 下搭建 Hadoop 3.1.1 集群

注：

• 以下标 $\star$ 的步骤需要在三台机器上各自完成，其余只需要在 $master$ 上完成；
• 教程中涉及的用户名、路径和 $IP$ 地址等信息根据实际情况填入即可。

环境说明

• $Ubuntu16.04$ 虚拟机三台，内存为 $4GB$ ;
• $JDK$ 环境（最新版本为 $1.8.0\_191$ ）;
• $Hadoop$ 环境（最新版本为 $\mathrm{3.1.1}$ ）。

前期准备

• 修改主机名 $\star$
  • 修改 $hostname$：一台修改为 $master$，另外两台分别修改为 $slave1$ 和 $slave2$。

    ubuntu@VM-0-16-ubuntu:~$ sudo vim /etc/hostname
    

  • 修改 $hosts$：添加新的主机名。

    ubuntu@VM-0-16-ubuntu:~$ sudo vim /etc/hosts
    

    以 $master$ 为例：

    127.0.0.1 localhost
    127.0.1.1 master
    

  • 执行重启命令。

    ubuntu@VM-0-16-ubuntu:~$ sudo reboot
    

    重启后显示如下则表示修改成功。

    ubuntu@master:~$ 
    

• 配置 $hosts$ 文件 $\star$
  将三台虚拟机的内网 $IP$ 及主机名写入 $hosts$ 文件。

  172.21.0.16 master
  172.21.0.2 slave1
  172.21.0.10 slave2
  

• 关闭防火墙 $\star$
  • 查看防火墙状态： $active$ 为开启， $inactive$ 为关闭。

    ubuntu@master:~$ sudo ufw status
    

  • 开启/关闭防火墙。

    ubuntu@master:~$ sudo ufw enable|disable
    

• 安装 $SSH$ $\star$
  • 更新源列表。

    ubuntu@master:~$