开源大数据——Hadoop集群完全分布式的搭建

说明：此模式是在伪分布模式的基础上搭建，hadoop的主目录为/opt/software/hadoop-2.6.5()，所有的操作都是在root用户执行的。也没有做ssh安装、Java JDK、Hadoop的解压安装的步骤，详情请查看前面的博客。
开源大数据Hadoop伪分布式搭建及虚拟机的创建

一、分布式集群的网络和节点规划

⑴网络规划

主机名	IP地址	节点类型
hadoop100	192.168.36.128	master
hadoop101	192.168.36.129	slave1
hadoop102	192.168.36.130	slave2

⑵ 节点规划

服务	hadoop100	hadoop101	hadoop102
NameNode	✔
Secondary NameNode
DataNode	✔	✔	✔
ResourceManager	✔
NodeManager	✔	✔	✔

二 、分布式集群的环境准备

⑴克隆虚拟机

在进行克隆前我们需要先关闭hadoop的全部进程，然后删除之前实验中产生的文件。
 

stop-all.sh
rm -rf hdfs/ logs/ tmp/ input/ output/

在伪分布模式的基础上，前面已经将创建好用户、安装ssh服务、安装配置Java环境等，所以把hadoop100作为Master节点，克隆两台虚拟机作为slave节点（分别是hadoop101、hadoop102）。
关闭hadoop100虚拟机进行虚拟机完整克隆，克隆出hadoop101与hadoop102.（右键hadoop100虚拟机——管理——克隆——当前状态——创建完整克隆——给定对应虚拟机名称与存储位置）

操作过程如下：
需要在关闭虚拟机的情况下去克隆。




完整克隆和链接克隆的区别在于，链接克隆，如果母机宕机，克隆后的虚拟机也不可用。

⑵网络配置、修改主机名、配置网络映射

①配置IP

根据集群网络IP规划，分别将IP，主机名，网络映射配置好。

IP地址	主机名
192.168.36.128	master
192.168.36.129	slave1
192.168.36.130	slave2

然后根据你规划好的IP地址去修改克隆虚拟机的IP
输入命令：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

将hadoop101和hadoop102分别修改为192.168.36.129和192.168.36.130
然后分别重启网络后查看

service network restart #重启网络
ifconfig

 

②配置主机名

(三台虚拟机都需要执行)分别修改虚拟机的主机名称为hadoop100、hadoop101与h