Hadoop-3.3.0 完全分布式集群搭建方法(最详细操作步骤)

本文详细介绍了如何在Linux环境下搭建Hadoop-3.3.0的完全分布式集群,包括新建虚拟机、安装配置JDK、规划Hadoop集群角色、配置网络和SSH免密登录、分发安装包、编辑配置文件、格式化NameNode以及启动关闭Hadoop集群的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


一、Hadoop是什么?

一个hadoop集群主要包含三个主要的模块:Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架,注意他不是一个集群,而是一个编程框架。hdfs是一个分布式文件系统,是一个分布式集群,用于存放数据。yarn集群是负责集群任务调度和运算资源管理的分布式集群。

二、搭建步骤

1.新建虚拟机

  1. 下载VMware安装程序(自行寻找资源)
    在这里插入图片描述

  2. 执行安装程序并自行决定安装设置

  3. 这样就安装好了VMware软件。

  4. 安装Linux
    下载centos镜像文件
    在阿里云站点寻找自己想要的版本
    链接:http://mirrors.aliyun.com/centos/
    下面介绍我自己的版本:
    打开链接地址后
    在这里插入图片描述在这里插入图片描述下载readme文件,并使用记事本打开
    在这里插入图片描述访问圈起来的那个链接,并再次按照步骤点击。
    在这里插入图片描述在这里插入图片描述在这里插入图片描述点击并等待下载完成即可。

在虚拟机中安装CentOS7操作系统(Linux)安装之前设置
在上图点击创建新的虚拟机
在这里插入图片描述
在这里插入图片描述
点击下一步,选择安装系统的镜像文件iso,点击下一步

在这里插入图片描述在这里插入图片描述
设置个性化Linux全名、用户名和密码(自定),尤其是密码自己一定要记住,因为安装系统中还需要使用。(此处我的系统的密码为7526424,以免忘记),然后点击下一步
在这里插入图片描述
设置虚拟机存盘的位置,此处最好选择比较大的磁盘,以便能够存储下整个虚拟文件,然后点击下一步
在这里插入图片描述
这里设置的路径是你这个虚拟机存放的位置,建议非系统盘,因为我们会用到三台机器所以提前做好文件规划,(可以为 Hadoop–》master,slave1,slave2)
在这里插入图片描述在这里插入图片描述在这里插入图片描述
设置磁盘大小(保持默认大小即可),然后点击下一步

在这里插入图片描述在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值