(注:搭建的是三节点Hadoop集群。)
-
创建 DataNode
上一篇 已经创建了NameNode。DataNode与NameNode安装CentOS7 的 不同处有:
1.NameNode 建议磁盘大于50G,DataNode 建议磁盘大于30G。
2.NameNode 和 DataNode 的内存和处理器看电脑配置决定。一般NameNode 比 DataNode 内存大,处理器多。
3.NameNode 的“SOFTWARE SELECTION”选择"server with GUI",带有图形界面。DataNode 的“SOFTWARE SELECTION”选择“Minimal install”。
PS:各节点用户名要相同。 -
编辑网卡配置文件,保证能正常上网
-
对于带GUI的NameNode节点虚拟机可以直接 在图形界面中设置网卡,勾选“connect automatically”。
2.对于不带GUI的DataNode节点虚拟机可以 用 命令 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 来直接修改网卡配置文件,将 ONBOOT=no 改为 ONBOOT=yes,并保存文件退出。重启该虚拟机后,终端上可以ping通网站。 -
网络地址设置
在vmware菜单:编辑—>虚拟网络编辑器,应该看到三个网卡,否则点击“还原默认设置”,前提是以管理员身份运行的vmware。建议如果不是多物理机运行,选择NAT模式。多物理机运行就用桥接模式。
192.168.137是网络地址,后面的是主机地址。
NAT模式下子网IP可以自由设置“NAT设置”下的网关地址。网关地址最后面不能是0,1或255。 -
修改主机名
sudo vi /etc/hostname 把里面内容改成自己需要的主机名,只要是为了好区分。 -
设置静态IP
在集群设置中,需要进行ssh免密,如果IP地址变化,免密就需要重新设置。如果使用DHCP自动获取IP地址,那么集群中有任何一个IP地址发生变化,整个集群将不能正常运行。所以我们要设置静态IP。
1.对于带GUI的NameNode节点的虚拟机,可以直接在图形界面上配置,写好后点击“Appy”,也可以和DataNode节点一样通过修改文件来设置。
(前面就是上面的网络地址。网关IP和上面要一样。我设20为主机地址,这个可以自由设置)
2.DataNode节点虚拟机
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
添加:
IPADDR=192.168.137.21
PREFIX=24
GATEWAY=192.168.137.2
DNS1=192.168.137.2
上面21只要是与NameNode 的主机地址不同即可。 -
拷贝DataNode 节点。
先把DataNode 节点虚拟机关机,再直接拷贝文件。在vmware中打开,并将其改名为DataNode2,开机后,修改hostname和ifcfg-ens33。ifcfg-ens33中“IPADDR=192.168.137.21” 的后面改为其他数字,保证IP地址不重叠。修改后重启,使其可以上网。
三个节点,相互ping一下,保证网络畅通。 -
设置域名解析
为了可以在ping的时候不用写IP地址,我们设置域名解析。
sudo vi /ect/hosts
hosts添加,内容如下:
192.168.137.20 master
192.168.137.21 slave1
192.168.137.22 slave2
每个节点的虚拟机均这样设置域名解析。然后验证,例如ping master ,ping slave1,ping slave2。建议在master上用远程操作,因为master有图形界面,拷贝粘贴比较方便。NameNode的域名设置好后,可以通过命令sudo ssh slave1进行远程登陆,进行远程操作IP地址为192.168.137.21的虚拟机。
~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~
下一篇 是 Hadoop节点安装前的准备—SSH免密设置