虚拟机CentOS7下搭建hadoop集群（持续更新）

DedicationYu DedicationYu 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 6.3k累计阅读 6.4k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
原创 最新推荐文章于 2026-05-21 10:05:11 发布 6.3k 阅读 AI 写同款· GEO 优化 ›
手把手CentOS搭建Apache Hadoop 包含各种组件 非常干货 一、CentOS安装 1.1 用Hyper-V安装CentOS7 CentOS镜像：CentOS-7-x86_64-DVD-2009 下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2 阅读详情

1.虚拟机准备

  1. 下载虚拟机软件vmware-workstation-pro

下载地址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html

  1. 下载操作系统centos7

下载地址：https://pan.baidu.com/s/18ozqvc9oeIz87g2eTh_KaQ

  1. 在虚拟机中安装第一个操作系统centos7

注意不要添加新用户，默认用root用户，方便后续搭建集群

  1. 修改第一个操作系统的主机名和静态ip地址

1.修改主机名：打开第一个操作系统，在命令行下输入：hostnamectl set-hostname master1（这里的master1是修改后的主机名，你也可以改成别的名字）

2.修改静态ip地址
在命令行中输入：vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改BOOTPROTO选项为static
修改ONBOOT选项为yes
增加如下三行代码：
IPADDR=192.168.17.102
GATEWAY=192.168.17.2
DNS1=192.168.17.2
注意：对于上述三行增加的代码每个人都不同，下面说明如何根据自己的实际情况修改
打开虚拟机的编辑按钮中的虚拟网络编辑器，进行如下设置
在这里插入图片描述
在这里插入图片描述
保存修改后推出，在命令行下输入：Service network restart，再输入ifconifg查看是否ip修改完毕
在这里插入图片描述

  1. 重启操作系统后即可更新主机名（root后面的内容即为修改后主机名）
    在这里插入图片描述
  2. 克隆第一台操作系统，在克隆过程中注意选择完全克隆这一个选项，然后按照上述方法修改第二台虚拟机的ip和主机名（注意Ip和主机名都不能和第一台相同）；重复上述步骤再次克隆一台虚拟机，修改相关内容，这样在虚拟机中就有三个操作系统，我们将在这三台操作系统上搭建集群环境。

2.xshell安装与配置

  1. xshell安装

安装地址：https://pan.baidu.com/s/10r_B2KfBOHcSVo4R-MacGA

  1. 在xshell上操作三台虚拟机

打开xshell，在文件属性下新建会话属性
在这里插入图片描述
单击新建的会话
在这里插入图片描述
在这里插入图片描述
出现以下画面表示连接成功
在这里插入图片描述
重复以上步骤来新建其他两台虚拟机的会话属性

收录于
大数据

当前文章被收录于：

大数据
5 篇文章 1 人学习
订阅专栏 查看详情
标签
#大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
最新Hadoop集群搭建(4)，2024年华为大数据开发面经 此界面的各种信息自定义无须和我一样虚拟机的位置可以自定义，建议不要放在C盘容易造成C盘容量不足带不动的问题你取什么虚拟机名称这里就会显示什么名称，无须改动此界面会展现你设定的各种参数，如果需要改变，点击自定义硬件会跳转到下一个界面，可以进行改动点击红框进入输入root来登录，密码为自己设定的密码登录后出现此界面证明CentOS安装完毕。 阅读详情

相关推荐

VMware三台虚拟机实现Hadoop部署学习日志（持续更新中）

3.终端输入： ssh-copy-id root@hadoop01 ， ssh-copy-id root@hadoop02 ， ssh-copy-id root@hadoop03 这三条指令，每条指令输完都要输入yes和相应主机的密码，该指令是将密钥分发到其他主机。打开并编辑文件： /etc/sysconfig/network ，将其中的HOSTNAME=后的代码改为hadoop01（2号虚拟机和3号虚拟机分别对应hadoop02，hadoop03）

qq_73680923的博客 1494

Centos7 系统虚拟机之搭建完全分布式Hadoop环境

基本工作 建立虚拟机群 在VMware中新建4台虚拟机 1、主机名：hadp01、hadp02、hadp03、hadp04 2、镜像文件：Centos7 （https://pan.baidu.com/s/1pqGMlRwC-t5Qp5YF-aowuA 提取码:w3du） 3、内存：1.5G 资源管理器中在此电脑上右键查看属性，要使得四个虚拟机的内存之和要小于本机运存 4、网络连接：NAT 5、记录各虚拟机IP ip addr //适用于Centos7以上版本 ipconfig

源源源的博客 5141

利用虚拟机搭建Hadoop伪集群(基于centos7)

利用虚拟机搭建Hadoop伪集群(基于centos7),usr 下有 java 和 hadoop两个文件夹,分别解压对应的文件,jdk 的版本是1.8.0_141,hadoop的版本是2.7.3

Centos7普通用户安装Hadoop

Centos7通过普通用户安装启动Hadoop

m0_52879657的博客 5201

瑞芯微RK3568与RK3566芯片选型指南：从接口差异到应用场景深度解析

在嵌入式系统与边缘计算领域，芯片选型是决定产品成败的关键一步。其核心在于理解芯片的架构、接口扩展能力与系统可靠性之间的平衡。以瑞芯微（Rockchip）的RK3568和RK3566为例，这两款同为四核A55架构的芯片，在基础算力上相近，但其面向的应用赛道却因接口配置而截然不同。RK3568凭借其双千兆网口、PCIe 3.0高速接口以及全链路ECC内存支持，在技术价值上更侧重于构建高可靠、高扩展性的系统，如边缘计算网关、工业控制器和网络视频录像机（NVR）。相比之下，RK3566则以其精简的接口配置，精准服务

weixin_33314040的博客 480

从零构建Elasticsearch MCP代理：自然语言查询背后的技术揭秘

本文深入解析如何从零构建Elasticsearch MCP代理，实现自然语言查询的技术架构与实战应用。通过MCP协议与Elasticsearch的结合，系统能够将自然语言转换为精确的DSL查询，提升非技术用户的数据查询效率。文章详细介绍了核心架构、DSL生成引擎、端到端系统搭建及生产环境最佳实践，为开发者提供全面的技术指南。

lll78的博客 877

linux下如何添加一个用户并且让用…

测试环境：CentOS 5.5 1、添加用户，首先用adduser命令添加一个普通用户，命令如下： #adduser tommy  //添加一个名为tommy的用户 #passwd tommy   //修改密码 Changing password for user tommy. New UNIX password:     //在这里输入新密码 Retype new UNIX passw

yelang_110的专栏 3095

Avellaneda & Stoikov模型实战解析：如何动态调整做市策略参数

本文深入解析Avellaneda & Stoikov模型在动态调整做市策略参数中的应用，重点探讨库存状态、剩余时间、风险系数和订单深度等核心参数的实战技巧。通过加密货币市场的实际案例，展示如何根据市场波动和流动性动态调整参数，提升做市策略的盈利能力和风险控制水平。

weixin_29070861的博客 202

VMware+centos7搭建hadoop集群

centos7搭建hadoop集群

weixin_58183116的博客 3241

Windows10内核逆向-2-KiSystemCall64的调用流程剖析

本文深入剖析了Windows 10 x64系统中KiSystemCall64函数的完整调用流程。从用户态触发syscall指令开始，详细讲解了如何通过swapgs切换内核栈、构建KTRAP_FRAME陷阱帧、进行SMAP/CFG等安全检查，到最终通过SSDT寻址并执行目标系统服务的全过程，揭示了系统调用从Ring 3到Ring 0切换的核心机制与安全设计。

weixin_29209805的博客 82

win11本地部署 DeepSeek-R1 大模型！免费开源，媲美OpenAI-o1能力，断网也能用

是否安装成功，然后直接运行部署deepseek-r1的命令。，出现下面界面即为安装成功。在cmd窗口中先输入。

记录学习编程的日常 2992

Centos7 hadoop安装超详细 Centos7hadoop配置

安装包不算JDK一共有5个，hadoop和hadoop集群的安装配置只需要用到hadoop-2.6.0-cdh5.14.2.tar.gz，不过其他四个后面还是要学习的，所以解压改名这块一起操作了。都完成后可以用Moba连接，参照之前的步骤再创建两个连接，因为是复制来的root用户和密码相同，就不用在Moba上新建用户了，用之前创建的那个就行。-- hdfs的临时文件的目录***这个要记好，后面初始化错误可能会用到*** -->-- namenode备用节点，目前只有一个填主机的IP地址 -->

叶澜╭的博客 2112

Unreal5从入门到精通之如何录制360°VR全景视频

摘要：本文详细介绍了使用虚幻引擎（UE）生成360°全景视频的完整流程。首先需启用MovieRender Queue和Panoramic Capture插件，准备场景并设置相机序列。通过影片渲染队列选择8K分辨率输出PNG序列帧，利用ffmpeg工具转换为MP4格式，最终获得高精度全景视频。该方法适用于VR内容开发，能以较低性能消耗实现影院级画质，特别适合冥想类应用场景。教程涵盖从插件配置到后期合成的全链路操作，为开发者提供高效的全景内容生产解决方案。（150字）

TxNet 1403

大数据平台搭建——hadoop集群（基于CentOS-7）的搭建_基于centos hadoop搭建

本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。后，修改和增加相关配置，修改和增加的内容为下图1中红色框的内容。图1：（注：可能读者在操作时有些配置和此图片不一样，读者要统一成和此图片一致，除红框中的信息要根据自己计算机的地址信息来修改）

2401_84182271的博客 1006

在ABAQUS中使用VUMAT子程序实现Hashin失效准则的详细解析与实践：深入探讨复合材料模拟仿真的高级编程技巧

Hashin失效准则是由材料科学家Shlomo Hashin于1962年提出的一种基于能量方法的多向失效理论，主要用于预测复合材料的破坏行为。与传统的单向失效理论不同，Hashin准则考虑了材料内部的多种独立破坏机制，如基体断裂、界面脱粘、纤维断裂等，这些机制在不同应力状态下可能同时或分别发生。通过计算各个机制的能量释放率，Hashin失效准则能够更为准确地预测复合材料在复杂应力状态下的破坏行为。

qq_38334677的博客 1949

【AIGC】大模型面试高频考点07-注意力（Attention）篇

AIGC面试高频考点

一个内容严谨、方向前沿、极具实践价值的AI大模型技术分享站 3363

Hadoop集群搭建—完整版……持续更新

Hadoop集群搭建完整版持续更新 零基础开始，从装虚拟机开始，搭Hadoop集群，maven的配置，IDEA下创建maven项目，打包jar包等等 虚拟机VMware的下载和安装 CentOS7下载及安装 Hadoop集群的搭建 配置静态IP 创建共享文件夹 Linux下配置Java环境和Hadoop环境 通过Hadoop的克隆生成Hadoop1和Hadoop2 使用命令终端工具MobaXterm连接 修改Hadoop下的配置文件并启动集群 Win下安装配置Java环境和Hadoop

qq_46267291的博客 553

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

Hadoop集群搭建之Linux系统安装

记录Hadoop集群搭建的具体过程，分享我遇到的坑，如有错误，请各位小伙伴指正，持续更新中。

zhangliushi的博客 1101

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

用虚拟机Centos7搭建Hadoop集群，2024年最新农民工看完都学会了

还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104。**在配置了ResourceManager的节点（hadoop103）**启动YARN。

2401_84181885的博客 1057

CentOS安装使用教程与集群环境搭建

虚拟机克隆是一种常见的操作，它允许您创建一个现有虚拟机的完整副本。这样做的好处是可以快速部署多个相同配置的虚拟机，节省时间和资源。虚拟机克隆通常有两种主要方式：完全克隆和链接克隆。XShell 是一款广泛使用的终端模拟器软件，主要用于通过 SSH（Secure Shell）协议连接到远程服务器。多标签界面：支持在一个窗口中打开多个会话标签，方便同时管理多个服务器。高度可配置：用户可以根据个人喜好自定义界面的颜色方案、字体大小等。安全性：支持多种认证方式（如密码、公钥认证等），以保障连接的安全性。

zcs2312852665的博客 8786

hadoop分布式环境搭建（持续更新中）

Hadoop运行环境搭建 虚拟机环境准备 准备一台虚拟机，操作系统centos7.x 配置虚拟机的静态ip 修改主机名为hadoop101并进行端口映射 vi /etc/hostname single vi /etc/hosts 192.168.184.200 single —注意重启 reboot 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 配置时钟同步 时间服务器配置（必须root

leader321的博客 866

大数据最新用虚拟机Centos7搭建Hadoop集群(1)，2024年最新下血本买的

还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104。**在配置了ResourceManager的节点（hadoop103）**启动YARN。

2401_84185556的博客 1075

Centos7系统下搭建Hadoop 3.3.6

Centos7系统下搭建Hadoop 3.3.6(包括jdk的安装)

zxc872202364的博客 2119

4.1.CentOS7下安装和配置Hadoop

CentOS7下安装和配置Hadoop

IT瘾君子的博客 1310
上一篇： 软考是否有用？软考证书的价值有多大？为什么要软考？
下一篇： 共享打印机出现0x00000569代码解决方案(亲测有效)
点赞 0
评论 0
书签 书签 1
DedicationYu
DedicationYu
博客等级 码龄9年 158粉丝 70原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值