大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

---

一、搭建准备

1.安装VMware虚拟机

官网链接
进入后网站如图，各位按需下载

2.Xshell 7 远程客户端及Xftp 7安装

官网链接
进入页面点击下载

再根据我们需要下载的软件进入下载页面

点击右侧红框内的免费授权页面获取免费许可

进入后如图，两者我们都需要所以都勾选，填写的邮箱用于接收下载链接，下载后进行安装即可

3.搭建模板虚拟机hadoop100

这里先和大家强调一点，模板虚拟机搭建完成后作为母本不要去随意修改变动，因为当你的集群崩溃或者出现其它各种问题需要重新搭建时就可以直接克隆模板虚拟机了，省去不少时间，否则当出现问题时想起自己没有备留母本每次都要重新配置是很麻烦的

配置虚拟机网络

首先确认虚拟机是否可以联网，因为后面yum安装是需要网络的
如图为联网失败，正常未配置网络时应该是这样的

这里表示网络配置成功

下面说明如何配置网络
这里我使用的是minimal的centos7作为虚拟机范本，minimal版本的好处就是包体较小，需要什么工具自己再安装即可，相对的除了一些基本的工具和内核，其它例如图形化界面都是没有的（都可自行安装）

首先点击VM左上角的编辑，再点击虚拟网络编辑器进入后点击如图的更改设置

进入后点击NAT模式，可以按照我的图示修改子网和子网掩码以及网关（点击NAT设置），子网IP也可自己设置但别设置一些特殊的就行，网关和子网前三位保持一致，还有这些设置的值请记住后面还要用到

然后我们返回主机Windows
这里是Win11系统，在设置中点击网络和Internet再进入高级网络设置，点击更多网络适配器选项，不同系统版本进入方式可能会有所不同

进入后点击VMnet8，再点击IPv4按照之前虚拟机中的网络配置对此处进行相同操作，DNS可填8888等也可不填，IP地址和子网掩码，网关务必保持一致

之后回到虚拟机
minimal的centos是没有vim编辑器及一些工具包的，所以进行网络配置时我们选择通过vi命令访问文件进行修改
输入

su //回车后输入root密码进入root管理员模式才能修改保存接下来的文件
vi /etc/sysconfig/network-script/ifcfg-ens33

按照图上进行修改，把ip由原先的dhcp修改为static（静态），后面再补上IP地址，子网掩码，网关，DNS等，ZONE那行可以不写

看到这里相信大家也注意到了，配置虚拟机网络最关键的一点在于保证虚拟网络编辑器、主机Windows以及虚拟机内部网卡三者的子网地址、子网掩码以及网关等保持一致

配置完成后输入以下代码重启网络服务

service network restart

再进行网络检测，ping网成功

最后再安装相关的工具包及软件，模板虚拟机基本搭建完成

yum install -y net-tools     //安装工具包集合，包含ifconfig等命令
yum install -y vim           //安装vim编辑器
yum install -y epel-release  //epel指Extra Packages for Enterprise Linux，提供额外的软件包。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

为虚拟机普通用户配置root权限

在root用户下输入

vim /etc/sudoers

或者在普通用户下输入

sudo vim /etc/sudoers //注意这里因为还未配置root权限，所以需要输入用户密码

修改文件，找到%wheel这行，在其下添加

用户名   ALL=(ALL)     NOPASSWD:ALL

如图，用户名填自己的

之后再执行需要root权限的命令时可直接输入sudo + 命令执行，不需要再输入密码

4.克隆三台虚拟机用于搭建完全分布式集群

关闭hadoop100，右键划至管理，点击克隆
注意下图，这里点击创建完整克隆而非链接克隆

克隆出3台虚拟机分别命名为hadoop101，hadoop102，hadoop103，并通过命令进入ens33各自修改下IP地址
如图hadoop101为例：
这里我将原先的结尾的100改为了101，前三位的数字不要改变，大家在保证几个虚拟机的地址不冲突的情况下修改就行

二、环境搭建

1.主机地址的映射

首先进入root模式
再修改主机名称

vim /etc/hostname
hadoop101 //每个克隆的主机名称依次改为101，102，103

再配置主机名称的映射hosts文件

vim /etc/hosts

将下面的内容粘贴进去，使主机名与IP地址相映射

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168