Hadoop虚拟集群搭建

最新推荐文章于 2024-10-01 01:39:24 发布
原创 最新推荐文章于 2024-10-01 01:39:24 发布 · 215 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在CentOS 7系统中使用VMware克隆虚拟机来搭建Hadoop虚拟集群。从集群规划、克隆虚拟机、配置主机名、设置IP映射、实现SSH免密登录到安装JDK和部署Hadoop，每个步骤都有清晰的说明，旨在帮助读者快速构建多节点Hadoop环境。

Hadoop虚拟集群搭建

环境

虚拟机：VMWare 14
系统：CentOS Linux 7
终端：Xshell

集群规划

主机名 IP HDFS部署节点 YARN部署节点
hadoop000 192.168.132.128 NameNode, DataNode ResourceManager, NameNodeManager
hadoop001 192.168.132.129 DataNode NameNodeManager
hadoop002 192.168.132.130 DataNode NameNodeManager

克隆虚拟机

集群需有多台机器，利用VMWare的克隆可以快速复制一个新的虚拟机（节点），可以将之前已经配置好的hadoop环境机器节点直接克隆，省去繁琐的环境配置。
步骤：1）右击需要克隆的机器 2）点管理 3）克隆
在这里插入图片描述
4）点下一步
在这里插入图片描述
5）选择克隆自：虚拟机中的当前状态，接着下一步
在这里插入图片描述
6）选择克隆类型：创建完整的克隆，下一步
在这里插入图片描述
7）修改虚拟机名称方便辨认并选择安装目录，个人为了方便，层次清晰，在hadoop000机器的安装位置中创建了一个hadoops文件夹，再将hadoop000的所有文件装入hadoop000文件中，当有新的机器加入时，在创建新的hadoopxxx的目录，文件结构如下。

最低0.47元/天 解锁文章

新学期VIP享超值加赠
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1414
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop3.x集群搭建过程
天涯雨的博客
05-19 1016
Hadoop3集群搭建过程
【软件工具安装-Linux】Hadoop虚拟集群搭建
小猿备忘录
07-26 853
本文是在搭建好三台虚拟机后进行的，若为做前部分准备的，可参考博客 https://blog.youkuaiyun.com/Myuhua/article/details/81215209 三．安装hadoop 1.准备工作 创建目录，将hadoop放入路径下 将下载好的hadoop，jdk传入虚拟机新创建的目录/opt/bigdata下 进到/opt/bigdata下看一看有没有传进去 ...
本地虚拟机搭建Hadoop集群
迷途中的一片羽毛博客
05-03 4301
准备工作 jdk1.8 hadoop2.7 VMware 一、新建三台虚拟机（使用centos 7） 1、重命名hostname，分别命名为namenode、datanode2、datanode3 建立主机名与IP地址映射,打开编辑：vi /etc/hosts 2、配置静态ip地址，打开配置文件：vi /etc/sysconfig/network-scripts/ifcfg-...
修改/etc/hostname后如何让其立刻生效
tfel-ypoc
04-12 1万+
修改/etc/hostname后若使用命令hostname会发现主机名其实还未发生变化 需要重启系统方能令其生效 如需立即生效需使用 hostname $(cat /etc/hostname) 或者 sysctl kernel.hostname=$(cat /etc/hostname) 或者 cat /etc/hostname > /proc/sy...
使用虚拟机搭建Hadoop集群的步骤及出现问题总结
解忧小店
06-07 2733
虚拟机搭建hadoop集群
Hadoop单机、伪分布式集群搭建（十分详细）
光于前裕于后的博客
11-25 1万+
要搭建Hadoop HA集群请戳这 今天终于把老师布置的项目做完了，闲来无事在机房的电脑上装了Ubuntu（用EasyBCD步骤非常简单，请自行百度），上学期在虚拟机上装了Hadoop，现在可以在实体机搭个伪分布式了。 下面我就一边搭建一边写怎么搭建Hadoop伪分布模式。 1.下载jdk并安装 去官网下就可以了，下完之后把文件移到/opt/Java下 guo@guo
Hadoop集群搭建（详细版）
qq_73824705的博客
10-01 1万+
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
Hadoop大数据集群搭建​ 详细教程
dx1313113的博客
08-21 1601
etc /vsftpd/ftpusers文件专门用于定义不允许访问FTP服务器的用户列表（注意:如果 userlist_enable=YES,userlist_deny=NO,此时如果在vsftpd.user_list和ftpusers中都有某个 用户时，那么这个用户是不能够访问FTP的，即ftpusers的优先级要高）。当设置了该配置项后，用户登陆服务器后，系统就会到/etc/vsftpd/userconf目录下，读取与当前用户名相同的文件，并根据文件中的配置命令，对当前用户进行更进一步的配置。
实验一Hadoop大数据集群搭建
11-11
【实验一Hadoop大数据集群搭建】是一门针对大数据导论课程的实践操作，旨在让学生掌握如何在Ubuntu或CentOS操作系统上构建Hadoop集群。实验详细分解了五个主要步骤，涵盖了虚拟机配置、Hadoop和JDK的安装、集群克隆...
Hadoop集群搭建超详细说明
nick_huangzheng的博客
09-07 4849
最近随着公司业务的发展，在一波重构中技术层面主要的目标是双中台建设，由是就有了本文。 #数据中台 ##1、环境准备 ###1.1、前置条件 ####Linuxwget #####rpm安装 下载wget的RPM包： http://mirrors.163.com/centos/6.8/os/x86_64/Packages/wget-1.12-8.el6.x86_64.rpm 执行rpm-ivhwget-1.12-8.el6.x86_64.rpm...
hadoop集群搭建（超详细版）
code__online的博客
05-03 10万+
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机，图形界面如下图 创建新的虚拟机，选择自定义（高级），点击下一步 虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件 自定义用户名和密码（用于登录） 设置虚...
Hadoop集群搭建教程（详细）
热门推荐
fanxin_i的博客
05-24 21万+
需要的安装包：    1.jdk压缩包    2.hadoop压缩包请前往我的github上下载相关安装包开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的因为默认的虚拟机主机名都是ubuntu，所以为了便于虚拟机的识别，创建完成虚拟机后我们对虚拟机名进行修改，我们把用于主节点的虚拟机名称设为master(按自己的喜好创建)，把用于从节点的虚拟机名称...
linux虚拟机搭建hadoop集群(超简单)
大黑羊技术探索路
10-18 1万+
1.下载: 1.1 下载centos7: 黑羊君是在官网下载的centos 因为是外网 如果没有VPN的话可能比较慢,当然也可以百度一下国内的镜像站 例如:阿里云镜像 网易云镜像 清华镜像等等... 官网地址:https://www.centos.org/download/ 点击下图红色圈圈处 可选择历史版本 一般下载DVD ISO版本安装 可以选择桌面版 或者最小mini安装. 这是黑...
【微信小程序源码】图片预览带后端.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.youkuaiyun.com/ashyyyy/article/details/146464041
kubernetes-client-7.3.1.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
宠物健康与营养管理-SpringMyBatisMySQL微信小程序-在线宠物食品荐购平台主题讨论社区商品审核系统投诉反馈机制多维统计分析-为宠物主人提供个性化食品推荐.zip
09-06
stm32宠物健康与营养管理_SpringMyBatisMySQL微信小程序_在线宠物食品荐购平台主题讨论社区商品审核系统投诉反馈机制多维统计分析_为宠物主人提供个性化食品推荐.zip
httpclient5-5.4.4.jar中文-英文对照文档.zip
最新发布
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
【微信小程序源码】音乐上下首选择.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.youkuaiyun.com/ashyyyy/article/details/146464041
实现高效Hadoop集群搭建与配置指南
标题所指的知识点为：“SZT-bigdata-hadoop集群搭建”，这是指需要建立一个基于Hadoop的大数据处理集群。Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值