前言
我们之前搭建了hadoop的伪分布式的集群,伪分布式的集群对于学习一些基础的hadoop操作是足够的,但是当你涉及到更复杂的操作时,伪分布式就不够了,完全分布式的性能比伪分布的要强,而且完全分布式可操作性也更高,与此同时完全分布式对于电脑的配置也要求更高,完全分布式一般需要3台虚拟机来完成,下面我们开始搭建自己的完全分布式。
使用环境
下面是本次搭建使用的环境
操作环境 | 主机名 | IP地址 | jdk | hadoop版本 | |
---|---|---|---|---|---|
centos6.8 | hadoop102 | 192.168.128.172 | jdk1.8.0_191 | hadoop-2.7.2 | |
hadoop103 | 192.168.128.173 | ||||
hadoop104 | 192.168.128.174 |
本文中使用的各种包,后续我会进行上传,以方便读者的使用
搭建步骤详解
1.修改各节点的网络配置
在虚拟机中输入
vim /etc/sysconfig/network-scripts/ifcfg-eth0
可以进入虚拟机的网卡配置
我们需要修改虚拟机的网卡默认配置,将我们的虚拟机的网卡配置设置为静态ip
ip地址 根据 VMware 虚拟网络进行相关配置 如图
[外链图片转存失败(img-gxCXrjMp-1569293043216)(http://qqa.nghqqa.cn/blog/20190811/lihMS1cmJ5ds.png?imageslim)]
在虚拟机里修改配置可以如图所示
修改完输入
service network restart
重启网络服务
对其他两个hadoop节点也同样做上述操作,只不过在IPADDR值不一样,分别填其节点对应的ip
2.修改节点主机名,并且添加各节点映射
在命令行中输入
vim /etc/sysconfig/network
进入文件中修改hostname名称ÿ