VMware搭建本地集群环境

最新推荐文章于 2025-06-09 21:10:14 发布
最新推荐文章于 2025-06-09 21:10:14 发布
阅读量2.5k 收藏 15
点赞数 4
CC 4.0 BY-SA版权
文章标签： hadoop linux 虚拟机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gg_xiajie/article/details/118061715
本文详细记录了使用VMware Workstation 16 Pro在Windows 10上搭建多台CentOS虚拟机的过程，包括虚拟机配置、CentOS系统的安装、用户管理、网络设置及虚拟机克隆。最终目标是建立一个本地的大数据学习环境，为Java开发者转型大数据做准备。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

VMware搭建本地集群环境

Java准备转型大数据，下班自己练习，从hadoop入手，首先搭建集群环境，记录一下安装历程

一、虚拟机的安装

系统环境：Windows 10

虚拟机软件选择：VMware® Workstation 16 Pro

虚拟机镜像：CentOS-7-x86_64-DVD-2003

附加镜像：cn_windows_7_ultimate_with_sp1_x64_dvd_u_677408

1、新建虚拟机

1、VMware创建新的虚拟机

image-20210619191749147

2、点击下一步：

image-20210619191854605

硬件兼容性根据你的VM版本选择就好

3、镜像选择

image-20210619191943556

这里先选择稍后安装

4、客户机操作系统选择Linux(L)，版本选择CentOS 7 64位版并点击下一步：

image-20210619192034816

5、选择虚拟机安装位置和名称

image-20210619192106897

这里我是给每个虚拟机单独放置了一个盘，对硬盘进行了分区，实际上随便选择一个空文件夹就可以

image-20210619192202752

6、处理器配置

image-20210619192255730

默认是1-1，一般情况下默认就行

**7、内存设置 **

image-20210619192451437

默认是1G ，我应为刚升级了内存。加了两根条子，所以调大了点，具体根据个人的硬件配置来设定

8、网络类型选择使用网络地址转换(NAT)，点击下一步：

image-20210619192534500

9、IO控制器类型和磁盘类型均保持默认选项，点击下一步：

image-20210619192555844

image-20210619192603377

10、磁盘选择创建新的虚拟磁盘，方便后续可能的迁移：

image-20210619192651468

11、磁盘大小根据自己本身硬件设定，点击下一步：

image-20210619192756995

12、点击下一步、点击完成：

image-20210619192843515

image-20210619192849197

2、安装虚拟机

1、选择镜像

image-20210619193003958

image-20210619193049653

2、进入安装

image-20210619193152126

点击开启虚拟机进行安装操作

image-20210619193235254

选择install开始安装

3、安装配置选择

这里选择英文或者中文都可以、然后点击contiune

image-20210619193402384

时区设置，我这里选择了上海

image-20210619193611502

安装配置选择，安装最小配置就可以，后续需要什么自己在虚拟机中安装，也可以根据需要自行选择预装的软件

image-20210619193709375

image-20210619193801620

磁盘分区

image-20210619193909868

根据情况选择自动分区和手动分区，默认是自动，这边我选择手动进行分区

image-20210619194024849

image-20210619194503859

分区完成之后选择开始安装

image-20210619194602578

设置root密码

image-20210619194717118

安装完成后选择重启虚拟机

image-20210619195043373

3、配置用户

使用root登录虚拟机

image-20210619195247144

为方便后续操作，我这里继续新建一个非root用户

useradd testuser  创建用户testuser
passwd testuser  给已创建的用户testuser设置密码
说明：新创建的用户会在/home下创建一个用户目录testuser
usermod --help  修改用户这个命令的相关参数
userdel testuser  删除用户testuser
rm -rf testuser  删除用户testuser所在目录

给用户分配管理员权限

编辑/etc/sudoers

image-20210619202357772

4、修改主机名

登入testuser用户

使用

hostname

image-20210619202655759

当前主机名为localhost.localdomain

通过以下命令修改

sudo hostnamectl set-hostname [new hostname]

image-20210619203056241

5、虚拟机克隆

首先关闭虚拟机

image-20210619204041689

右键–管理–克隆 ，选择下一步

image-20210619204128297

这边选择完整克隆

image-20210619204148737

编辑名称以及存储位置、点击完成

image-20210619204245713

6、windows虚拟机安装

略……

前面操作相同，自动安装即可

二、集群的搭建

1、设定范围

本次搭建是一台主机，一台windows7虚拟机、三台liunx进行集群的搭建，故提前分配的IP列表如下

机器IP网关子网掩码DNS
本机Windows10192.168.0.2192.168.0.1255.255.255.0114.114.114.114
虚拟机Windows7192.168.0.12192.168.0.1255.255.255.0114.114.114.114
liunx（server01）192.168.0.101192.168.0.1255.255.255.0114.114.114.114
liunx（server02）192.168.0.102192.168.0.1255.255.255.0114.114.114.114
liunx（server03）192.168.0.103192.168.0.1255.255.255.0114.114.114.114
2、VM网络配置

在虚拟机关机的情况下，选择一个虚拟机

点击 编辑 -> 虚拟网络编辑器 ->选择NAT模式->更改设置

image-20210619205144718

编辑设置

image-20210619205419356

NAT设置

image-20210619205534986

DHCP设置

image-20210619233712996

然后保存即可

3、liunx网络设置

vi /etc/sysconfig/network-scripts/ifcfg-ens33 (部分虚拟机可能名称不一样，同目录下ifcfg-en开头的文件)

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
# 将获取ip方式改为静态
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=48a4ec69-2ad7-4b3d-96fd-4fdf7fa0a132
DEVICE=ens33
# 设置开机自动启动
ONBOOT=yes
# 配置IP内容
IPADDR=192.168.0.101
# 网关
GATEWAY=192.168.0.1
# 子网掩码
BROADCAST=192.168.0.255
# DNS
DNS1=114.114.114.114
DNS2=8.8.8.8

配置完成后保存退出，并重启网络配置

service network restart
4、windows虚拟机内网络配置

image-20210619234435268

5、本机网络配置

注意，修改的不是以太网，而是VMnet8

image-20210619234606234

6、方便后续操作，配置host地址

liunx在/etc/hosts

vi /etc/hosts

将下面这段配置添加到文档尾部即可

192.168.0.2 master01
192.168.0.12 master02
192.168.0.101 hadoop01
192.168.0.102 hadoop02
192.168.0.103 hadoop03

windows在C:\Windows\System32\drivers\etc\host

转存中…(img-QMoyopQM-1624120783134)]

6、方便后续操作，配置host地址

liunx在/etc/hosts

vi /etc/hosts

将下面这段配置添加到文档尾部即可

192.168.0.2 master01
192.168.0.12 master02
192.168.0.101 hadoop01
192.168.0.102 hadoop02
192.168.0.103 hadoop03

windows在C:\Windows\System32\drivers\etc\host

与上述操作相同，将配置添加到文档尾部

VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程(1)
2401_84184638的博客
04-28 1444
SSH服务的作用一般是有两方面：一是便于虚拟机节点之间免密访问，二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录，比如后面在启动hadoop服务时，主节点启动其它从节点，就需要免密去执行。搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。这里使用的是 hadoop-3.1.3.tar.gz。
「大数据-0」虚拟机VMware安装、配置、使用、创建大数据集群教程_vmware搭建虚拟机集群
2401_84159688的博客
05-03 633
第一次开机需要安装虚拟机，这个过程大概要10分钟左右，开机成功后选择之前创建的账户，填写好密码就能成功进入虚拟机的操作系统界面中了。
VMware虚拟机上搭建配置集群环境
07-06
集群是在一组计算机上运行相同的软件并虚拟成一台主机系统为客户端与应用提供服务；计算机通过缆线物理连接并通过集群软件实现程序上的连接，可以使计算机实现单机无法实现的容错和负载均衡。集群技术在企业组织部署关键业务、电子商务与商务流程应用等领域，具有举足轻重的作用。 本文主要带领大家一起，参与到集群配置中来，从资料中的配置过程，希望读者朋友能切实了解到集群技术在Windows系统中的具体应用。
VMware搭建集群环境
逃离人海的博客
10-22 2526
虚拟机搭建k8s环境
使用VMware克隆功能快速搭建集群
最新发布
m0_75191567的博客
06-09 391
自己搭建的虚拟机，后续不管是学习java还是大数据，都需要集群，java需要分布式的微服务，大数据Hadoop的计算集群，如果从头开始搭建虚拟机会比较费时费力，这里分享一下如何使用克隆功能快速搭建一个集群。
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）
热门推荐
07-29 1万+
hadoop集群搭建，完整详细。
创建VMware集群
weixin_54051652的博客
07-04 2897
创建VMware集群
VMware搭建分布式集群基础环境
weixin_43807429的博客
07-05 2463
在日常学习、工作当中，我们经常需要用到分布式集群环境，如zookeeper集群、redis集群、大数据集群等，而通常并没有那么多的物理机器可以使用，因此，通过虚拟机搭建一套分布式集群环境以供开发和测试，是一个不错的选择。本文讲述的，就是如何通过vmware搭建一套虚拟机集群基础环境，以便于后续搭建各种分布式组件的集群。1、硬件环境 　　　　既然是安装虚拟机，物理机本身硬件配置最好不要太低，否则到时虚拟机、本机都卡就尴尬了。我是用的机器是win10、i5-8300H 、16G运行，请做参考2、软件安装包安装好
用VMware搭建Linux集群
qq_42663954的博客
09-17 1005
现在我们就来一起配置一下集群。 首先你要在电脑上装上VMware（虚拟机工具），然后创建几个标准虚拟机（注：我们在这里使用的是CentOS-6.5-x86_64-bin-DVD1.iso光盘映像文件），下面开始我们的配置： 打开VMware 编辑 —>虚拟网络编辑器 在NAT模式下—> 更改设置（设置子网IP，子网掩码）—>NAT设置 在NAT设置下—>设置网关IP—&...
Hadoop+Spark本地集群环境搭建
05-18
本文主要是学习大数据的常用工具框架，搭建Hadoop3.4.0 + Spark3.5.1 on Yarn的集群环境，本集群用到4台虚拟机（物理机也可以），1主3从。 实验环境：VMWare WorkStation + CentOS8.5 + JDK17 + Hadoop3.4.0 + Spark...
利用vmware搭建虚机集群
程序员树先生的博客
01-11 1688
我们需要至少3台服务器来实现分布式集群，鉴于没那么多钱买真机器，从学习和开发的角度看，只有虚拟机一条路了。 虚拟机使用VMware软件，因为主流而且资料比较多，学习成本较低。软件百度自己找。 虚拟OS毫无疑问是linux，鉴于centos开源，下载方便又不需要破解，故而采用之。【‪CentOS-7-x86_64-Minimal-1708.iso】
VMware虚拟机上搭建配置集群环境（技术文档）
08-31
VMware虚拟机上搭建配置集群环境（技术文档）
VMware群集详解
01-12
创建集群时，可以启用vSphere DRS、vSphere HA、vSAN，并在所有主机上共同管理映像更新。 vSphere DRS集群提供自动化的资源管理，确保满足虚拟机的资源需求。 当虚拟机满足vSphere vMotion迁移要求时，vSphere DRS工作效果最好。 vSphere HA会重启集群内剩余主机上的虚拟机。 您可以通过NIC teaming或创建额外的心跳网络来实现冗余心跳网络。 vSphere容错为必须始终可用的应用程序提供零宕机。 vSphere集群服务虚拟机需要在vCenter Server 7.0 Update 1中运行vSphere DRS。 vCenter S
VMWare上做集群
jessie1984的博客
04-14 263
花了几天的时间做集群，但由于项目中不再需要集群，所以停止了，在做集群中遇到点问题，希望以后有时间可以解决它，现为未完成的工作做此备份。   虚拟机模拟集群环境： 一台：域控制器（IP：192.168.7.101） 一台server1（IP：192.168.7.102） 一台server2（IP：192.168.7.103） 域已经搭建好，并server1,2登入域中，通过VMWare自...
2.1.0 hadoop体系之离线计算-hdfs分布式文件系统-基本环境配置
敲代码的乔帮主
09-29 290
目录 1.虚拟机关闭防火墙 2.机器关闭selinux 3.机器免密码登陆 4.机器时钟同步 1.虚拟机关闭防火墙 service iptables stop #关闭防火墙 chkconfig iptables off #禁止开机启动 2.机器关闭selinux 什么是SELinux SELinux是Linux的一种安全子系统 Linux中的权限管理是针对于文件的, 而不是针对进程的, 也就是说, 如果root启动了某个进程, 则这个进程可以操作任何一个文件 SELinux
VMware 虚拟化集群
05-25 3328
虚拟化集群，vmware esxi管理虚拟机，vmware vcenter
VMware搭建linux集群
qq_31745863的博客
01-13 882
VMware搭建linux集群 1. 单台虚拟机静态ip配置 要想搭建集群,首先需要配置好一台 1.1 配置子网ip,子网ip决定以后你的局域网ip在哪个网段 1.2 配置网关ip 1.3 配置ip起始地址,ip结束地址 1.4 为虚拟机配置静态ip 1.4.1 打开虚拟机配置静态ip,需要root用户 找到以下目录 cd /etc/sysconfig/network-scripts/ 备份原始网络配置文件 cp cp ifcfg-ens33 ifcfg-ens33_back ifcfg-
vmware虚拟机集群环境搭建
01-22
### 搭建 VMware 虚拟机集群环境 #### 所需硬件和软件要求 为了成功搭建 VMware 虚拟机集群环境，需要满足一定的硬件条件并准备必要的软件工具： - **硬件需求** - 主机计算机应具备足够的处理器性能、内存容量以及存储空间来支持多台虚拟机的同时运行。对于每台虚拟机而言，建议至少分配2 GB以上的RAM以确保流畅的操作体验[^1]。 - **软件需求** - 安装 VMware Workstation 或者其他兼容版本作为宿主机上的管理平台。 - 准备好操作系统映像文件，例如 CentOS 的 ISO 文件用于创建新的虚拟实例。可以选用精简版安装包如 `CentOS-7-x86_64-Minimal` 来减少资源占用。 #### 配置步骤 ##### 创建基础虚拟机 通过 VMware 工具启动新虚拟机向导，按照提示完成初始设置过程，包括但不限于选择合适的客户操作系统类型、指定硬盘大小等参数。之后利用上述提及的最小化 CentOS 映像进行首次引导安装。 ##### 复制与调整副本 一旦原始节点构建完毕，则可以通过复制功能快速生成额外的工作站成员。具体来说，在 VMware 中右键点击目标 VM 并选取“Clone”，从而得到完全相同的拷贝体；随后更改各子项名称以便区分识别，并依据实际规划设定对应的静态 IP 地址及主机名信息[^2]。 ```bash vi /etc/hostname ``` 编辑 `/etc/sysconfig/network-scripts/ifcfg-eth0` 文件中的 IP 设置部分，保存退出后再重启网络服务使改动生效: ```bash sudo systemctl restart network ``` ##### 测试连通性 确认所有参与者的网络连接状态良好，能够互相 ping 通对方地址并且可以上互联网获取更新源等内容。此时应该能看到类似如下输出结果表示一切正常工作： ```plaintext ping 192.168.5.102 PING 192.168.5.102 (192.168.5.102) 56(84) bytes of data. 64 bytes from 192.168.5.102: icmp_seq=1 ttl=64 time=0.321 ms ... ``` #### 常见问题及其解决方案 当尝试执行 yum 更新指令时遇到错误提示，可能是由于本地仓库缓存失效或是联网状况不佳引起的问题。针对这种情况推荐采取清理现有元数据再重新同步的方式予以修复： ```bash yum clean all && yum makecache fast ``` 如果仍然无法解决问题，考虑更换国内镜像站点加速下载速度，比如阿里云提供的 CentOS 存储库链接。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值