使用VM搭建分布式集群环境

最新推荐文章于 2024-09-10 16:33:20 发布

红豆半升

最新推荐文章于 2024-09-10 16:33:20 发布

阅读量895

点赞数 1

分类专栏： ------[hadoop] ------[linux] ------[VM] 软件中间件

本文链接：https://blog.youkuaiyun.com/huobaopaopao/article/details/83112439

版权

软件同时被 3 个专栏收录

5 篇文章

订阅专栏

中间件

3 篇文章

订阅专栏

------[hadoop]

2 篇文章

订阅专栏

本文详细介绍了如何使用VM9和Xshell在CentOS7上搭建集群环境，包括虚拟机的创建、系统安装、网络配置、防火墙管理、hostname设置及JDK安装等步骤。同时，提供了从master机到slave机的配置调整方法，确保集群内各节点间能够互相通信。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、工具

VM9+CentOS7+Xshell

CentOS7: http://isoredirect.centos.org/centos/7/isos/x86_64/

Xshell: https://pan.baidu.com/s/1hODydjhblWAtIkrZ7PBgNA 密码：b47l

二、集群搭建

新建虚拟机（以下均master机为例，slave机通过克隆获取）

1、新建虚拟机（新建虚拟机master），选择标准

2、选择系统安装镜像文件

3、设置虚拟机名称以及虚拟机安装位置（建议虚拟机安装位置选择磁盘容量较大的盘符）

4、选择磁盘容量

5、设置硬件配置

6、设置网络连接模式

7、设置情况

8、新建虚拟机完毕

CentOS安装

1、开机，选择install centOS7

2、选择安装目标位置，勾选“我想让额外空间可用”，点击完成。在弹出的回收磁盘空间对话框里选择回收空间。

3、设置root密码“hadoop”,得到root用户，暂时不创建其他用户，等待安装完毕。

4、安装完成，重启。

5、输入locahost：root，password:hadoop就可以用了。

6、测试网络：测试外网是否ping通

ping -c 4 www.baidu.com

由于没有激活网卡，所以报了错误。

7、激活网卡并配置静态IP

在windows操作系统中使用ipconfig查询网关ip:

进入虚拟机中使用命令：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改如下配置：

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8

重启网络服务：

1、systemctl restart network.service
2、ping -c 4 www.baidu.com

有可能出现问题：

如果出现ping不通的情况，请关闭防火墙后再试。

因为有的centOS7版本没有iptables，所以在使用命令service iptables stop会报错。

使用如下操作即可：

centOS7防火墙操作：
启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld 
开机禁用  ： systemctl disable firewalld
开机启用  ： systemctl enable firewalld

8、修改hostname

命令：

sudo hostnamectl set-hostname master

检查命令：

hostname

9、JDK安装

10、虚拟机快照并克隆

为省去冗余步骤，在配置好master机后我们只需将配置好的虚拟机先进行快照备份，然后进行克隆即可。

快照：（快照的目的是给以后增加集群规模做铺垫）

克隆：（slave机通过克隆的方式得到）

11、调整slave机

调整slave机配置：master机内存2G、处理器双核，slave机选择单核1G即可；

重新生成slave机mac地址；

修改slave机ip（master机可以设为192.168.1.100，slave机往后延续）以及hostname，具步骤同7、8；

12、在master机与slave机互相ping通的情况下，集群的基础搭建即已完成，可进行下一步操作安装组件了。

补充：（centOS7系统安装图形界面）

1、开在网络没问题的情况下安装图形界面

1 ip addr:查看本机ip
2 ping -c 2 www.baidu.com:测试网络连通情况
3 yum grouplist:查看软件包所包含的所有软件，每次安装前先使用yum grouplist查看有哪些软件，再使用yum install/groupinstall安装
4 yum install:安装单个软件
5 yum groupinstall:安装所有依赖的软件包，安装的时候软件包名需加双引号

输入yum groupinstall "GNOME Desktop"出现“complete!”证明已完成。使用reboot重启，startx进入图形化界面。

参考：https://www.cnblogs.com/pcxie/p/7747317.html

https://blog.youkuaiyun.com/cndmss/article/details/80149952

https://www.cnblogs.com/moxiaoan/p/5683743.html

https://blog.youkuaiyun.com/zsx157326/article/details/77806625