用VM虚拟机搭建大数据学习集群(3节点)

最新推荐文章于 2025-07-10 22:23:18 发布
原创 最新推荐文章于 2025-07-10 22:23:18 发布 · 4.5k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #vmware #hadoop

本文详细介绍了如何在VMware中安装CentOS系统并搭建一个多节点的集群环境。内容包括设置静态IP地址、关闭防火墙、配置免密登录、同步集群时间等步骤。此外，还提供了Xshell批量操作技巧及rsync脚本示例来简化集群管理和软件安装过程。

前提：下载安装VMware，安装centos系统

1- 登录虚拟机查看IP地址

ifconfig

若没有这个命令，安装

yum install -y net-tools.x86_64

执行ifconfig 找到 ip地址。使用xshell等工具连接上，主要是方便拷贝等操作。

2- 设置静态IP

网络必须是桥接 NAT模式(默认的网络设置)，找到网卡并编辑，设置模式为 static，网关等。

        2.1- 在虚拟机的右上角，'编辑' -> 虚拟机网络设置

         2.2- 选择 NAT，并点击以 ‘’更改配置‘’

         2.3- 选择NAT模式，点击NAT设置。

         2.4- 设置并记下 NETMASK 和 网关地址。后面要用

             这里是255.255.255.0 和 192.168.186.2

 

         2.5- 在节点内，找到并编辑网络配置        

ll /etc/sysconfig/network-scripts/

最低0.47元/天 解锁文章
如何在虚拟机（Ubuntu）上创建Hadoop集群（3个节点）
weixin_43972039的博客
10-24 1894
本文基于这篇https://blog.youkuaiyun.com/pucao_cug/article/details/71698903 然后综合其他文章加上自己的理解所完成。纯小白，连命令行都不知道在哪，一步一步配置成功。 ...
【大数据】Hadoop三节点集群搭建
睡觉的咖啡
12-26 2156
下载最新的稳定版（例如 Hadoop 3.4.1）。部分，得到 Java 的根目录。用户直接操作，创建一个普通用户（如。节点为主，完成后将同步到其他节点。在所有节点上配置 Hadoop（节点之间能够通过主机名通信。Hadoop 不允许以。
VMware vSphere三节点服务器部署指南及许可信息
学亮编程手记
04-28 1707
准备三台物理服务器，每台服务器建议至少配置16GB RAM（小型部署）、24GB RAM（中型部署）或32GB RAM（大型部署）。确保服务器支持虚拟化技术并启用相关BIOS设置。：设计合理的网络拓扑结构，包括管理网络、虚拟机网络、存储网络等。建议为不同功能分配不同的VLAN。
01.三节点集群搭建--VM配置
一碗机智的糖浆的博客
02-13 3494
1.下载CentOS7 1.百度搜索centos–>2.点击centos官网连接–>3.点击DVD ISO–>4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载. 2.安装虚拟机管理软件 Mware Workstation 15 Pro 产品文档 Mac安装教程 安装完成虚拟机会在桌面上生成虚拟机快捷方式 3.创建虚拟机 3.1 创建过程 启动虚拟机管理软件,如下
应用VMware来搭建具有三个Linux系统结点的集群
duguwanglong的博客
05-24 933
这段时间，给同届的同学搭建了很多次集群，故此把具体步骤再次重新记录下来，提供参考： 一、虚拟机 Windwos：VMware Workstation Pro MAC：VMware Fusion 安装： 创建空虚拟机 Linux版本：Centos 6.8 或 CentOS 7.2 1611内核 虚拟机网络设置 $ su - roo...
VMware SDS 之三 ： VSAN的体系结构 （含VSAN 6.0、6.1版的新内容）
mooncarp的专栏
03-30 1万+
搭建一个VSAN集群（也可称为群集），至少要三个服务器节点（也即ESXi主机），其中两个主机存放副本，剩下一个主机存放“见证”（也即Witness，充当仲裁）组件，这样可以允许最多一个主机出故障，同时确保虚机无中断地持续运行（有时需要结合vSphere HA进行重启）。不过在VSAN 6.1新增的一个特性，也即远程分支办公室的场景下，Witness不一定要放在一台真实的物理服务器上，可以存放在
VSAN 7.0.U2C 3节点性能测试
weixin_38737888的博客
10-04 7040
软件环境： VMwarevcenter 7.0.2.00500 VMware ESXI 7.0.2.18538813 Windowsserver 2012 Iometer 1.1.0x64 硬件环境： 3台 Dell PowerEdge R740服务器（每台机器配置如下） 2*英特尔至强银牌 4214R 2.4G 12C/24T 9.6GT/s 16.4M缓存 Turbo，HT(100W) DDR4-2400 8*32GB...
一、大数据集群搭建
weixin_45284646的博客
03-02 2008
通过VMware虚拟机搭建大数据集群搭建，本文描述了较为详细的集群搭建步骤，旨在帮助小白同学快速上手搭建，也是方便自己后期复习。
大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）
不撸先疯。
10-11 2191
步入大数据的第一步： 必须学会搭建大数据集群的框架 那么第一步必须要在linux系统上搭建Hadoop集群 一、安装并配置虚拟机（centOS7） 先在VM中创建一台虚拟机（VM傻瓜式安装即可）： 下面简单介绍一下安装centOS7的过程： 安装centOS7的过程（安装桌面版）： 安装完成，下面开始配置： 注意：centOS6与centOS7的配置选项不同！（如果安装的是centOS6，最后的文件夹为......
大数据集群在物理机与虚拟机部署分析
qq_42264264的博客
05-23 2149
物理机与虚拟机 大数据部署
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
01-25
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
《VMware Virtual SAN权威指南（原书第2版）》一3.8　创建VSAN群集
weixin_34291004的博客
08-01 211
3.8　创建VSAN群集 VSAN群集的创建在很多方面都和vSphere DRS或HA群集的创建完全一样。群集对象是在vCenter server清单中创建的，你可以选择先启用VSAN群集的功能，然后再添加主机到这个群集；或者也可以先添加主机到群集，之后再在群集上启用VSAN。在一个群集上启用VSAN的结果就是在这个VSAN群集中的所有ESXi主机都可以...
《VMware Virtual SAN权威指南（原书第2版）》一第3章 VSAN的安装与配置
weixin_34240657的博客
08-01 282
第3章 VSAN的安装与配置本章具体描述安装和配置的过程，以及在进行VSAN群集部署之前可能需要考虑的所有初始准备工作的步骤。你将学到如何正确创建一个网络和存储设备的知识，以及一些关于如何部署最优的VSAN环境的有用技巧和窍门。 ...
VMware vSphere 6.5配置系列（三）配置vSAN
热门推荐
白昼的技术专栏
12-21 3万+
一、创建vSAN分布式交换机： 切换到网络选项卡，右击数据中心，选择“新建Distributed Switch...”，如下图： 二、配置分布式交换机： 分别为两台主机选择用于vSAN网络的物理网卡（这里选择第三块网卡），并分配上行链路： 分别在两台主机上新建一个VMkernel网络适配器： 选择vSAN交换机： ......
如何搭建可正常使用的centOS7系统虚拟机节点
优快云ju_的博客
09-15 564
保姆级别教程手把手安装搭建虚拟机
Hadoop集群搭建(三个虚拟节点)详解
川师计科小白的博客
06-05 6041
Linux上搭建Hadoop集群此实验搭建3个虚拟节点，一个node-master,一个node1，一个node2一. Linux版本选择二.虚拟机安装1.安装VMware Workstation，采用默认即可。打开VMware Workstation，点击“创建新虚拟机”2.浏览Ubuntu iso文件的位置，点击“下一步”。3.创建Linux系统账号信息。输入用户名和密码，两次密码需保持一致。...
【VMware vSAN 7.0】1.5 vSAN 部署选项—我们有软硬件解决方案
03-21 3258
本部分介绍vSAN集群支持的不同部署选项。 标准vSAN集群 一个标准vSAN集群至少包含三个主机。通常情况下，标准vSAN集群中的所有主机都位于同一位置，并在相同的第 2 层网络上相连接。全闪存配置需要 10Gb 网络连接，同时也建议对混合配置使用此设置。 有关详细信息，请参见创建 vSAN 群集。 双节点 vSAN 集群 双节点vSAN集群通常用于远程办公室/分支机构环境，通常运行需要高可用性的少量工作负载。双节点vSAN集群中包含的两个主机位于同一...
vmware-vsan第三章：VSAN搭建
zhm120456的博客
07-10 5089
右击数据中心，点击新建集群名称自定义，vsan按钮开启，然后取消勾选"使用单个映像管理集群中的所有主机"；点击下一页（这里不要点启用VSAN ESA点击完成把之前加到数据中心的三台esxi主机拖到新建的集群即可鼠标左键按住不放就可以拖进去，效果如下图。
用于创建嵌套 ESXi 3 或 32 节点 VSAN 群集的 OVF 模板
weixin_33889245的博客
06-18 327
原文：http://www.virtuallyghetto.com/2014/04/ovf-template-for-creating-nested-esxi-3-or-32-node-vsan-cluster.html 上周，我创建了几个嵌套 VSAN 环境用于测试，当然，我使用了自己的VSAN 嵌套 ESXi OVF 模板来加速部署。在第三次部署 OVF 并获...
用vm虚拟机做一个关于大数据安全技能大赛的项目
最新发布
11-18
使用VM虚拟机开展大数据安全技能大赛项目，可按以下方式进行： #### 环境搭建 在VM虚拟机中创建多个不同的虚拟机实例，安装不同的操作系统，如Linux（如Ubuntu、CentOS等）和Windows。这些虚拟机将模拟不同的网络节点，如服务器、客户端、防火墙等。例如，使用Ubuntu系统作为大数据服务器，运行Hadoop、Spark等大数据处理框架；使用Windows系统作为客户端，模拟用户对大数据系统的访问。同时，为虚拟机分配适当的资源，如CPU、内存和磁盘空间，以确保其能稳定运行。 #### 大数据平台部署 在虚拟机中部署大数据平台，如Hadoop生态系统（包括HDFS、YARN、MapReduce等）和Spark。可以通过以下命令在Ubuntu系统中安装Hadoop： ```bash # 下载Hadoop wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz # 解压 tar -zxvf hadoop-3.3.6.tar.gz # 配置环境变量 echo 'export HADOOP_HOME=/path/to/hadoop-3.3.6' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc source ~/.bashrc ``` 配置大数据平台的各项参数，如数据存储路径、集群节点信息等，以确保其正常运行。 #### 安全漏洞模拟 在虚拟机中模拟各种大数据安全漏洞，如SQL注入、跨站脚本攻击（XSS）、数据泄露等。可以通过修改应用程序代码或配置文件来引入这些漏洞。例如，在一个基于Web的大数据查询系统中，故意不对用户输入进行过滤，从而导致SQL注入漏洞： ```python import sqlite3 # 存在SQL注入漏洞的代码 def query_data(user_input): conn = sqlite3.connect('big_data.db') cursor = conn.cursor() query = f"SELECT * FROM data WHERE column = '{user_input}'" cursor.execute(query) results = cursor.fetchall() conn.close() return results ``` #### 安全防护措施设置 在虚拟机中部署各种安全防护措施，如防火墙、入侵检测系统（IDS）、入侵防御系统（IPS）等。可以使用开源的防火墙软件，如iptables，来配置网络访问规则： ```bash # 允许本地回环接口 iptables -A INPUT -i lo -j ACCEPT # 允许已建立的和相关的连接 iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT # 开放特定端口 iptables -A INPUT -p tcp --dport 80 -j ACCEPT # 拒绝其他所有输入流量 iptables -A INPUT -j DROP ``` 同时，配置大数据平台的安全机制，如用户认证、授权管理等。 #### 比赛规则制定 制定详细的比赛规则，包括比赛时间、比赛任务、评分标准等。比赛任务可以包括发现和修复安全漏洞、防范网络攻击、保障数据安全等。评分标准可以根据任务完成的情况、完成时间、安全措施的有效性等进行综合评估。 #### 监控与评估 在比赛过程中，使用监控工具对虚拟机和大数据平台的运行状态进行实时监控，及时发现和解决问题。比赛结束后，对参赛队伍的表现进行评估，总结经验教训，为后续的比赛提供参考。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值