Hadoop-3.3.0 完全分布式集群搭建方法
一、Hadoop是什么?
一个hadoop集群主要包含三个主要的模块:Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架,注意他不是一个集群,而是一个编程框架。hdfs是一个分布式文件系统,是一个分布式集群,用于存放数据。yarn集群是负责集群任务调度和运算资源管理的分布式集群。
二、搭建步骤
1.新建虚拟机
-
下载VMware安装程序(自行寻找资源)
-
执行安装程序并自行决定安装设置
-
这样就安装好了VMware软件。
-
安装Linux
下载centos镜像文件
在阿里云站点寻找自己想要的版本
链接:http://mirrors.aliyun.com/centos/
下面介绍我自己的版本:
打开链接地址后
下载readme文件,并使用记事本打开
访问圈起来的那个链接,并再次按照步骤点击。
点击并等待下载完成即可。
在虚拟机中安装CentOS7操作系统(Linux)安装之前设置
在上图点击创建新的虚拟机
点击下一步,选择安装系统的镜像文件iso,点击下一步
设置个性化Linux全名、用户名和密码(自定),尤其是密码自己一定要记住,因为安装系统中还需要使用。(此处我的系统的密码为7526424,以免忘记),然后点击下一步
设置虚拟机存盘的位置,此处最好选择比较大的磁盘,以便能够存储下整个虚拟文件,然后点击下一步
这里设置的路径是你这个虚拟机存放的位置,建议非系统盘,因为我们会用到三台机器所以提前做好文件规划,(可以为 Hadoop–》master,slave1,slave2)
设置磁盘大小(保持默认大小即可),然后点击下一步