从0开始一步一步搭大数据集群平台,小白也能玩,超详细!!!

这篇博客详细介绍了如何从零开始搭建一个基于Linux的Hadoop大数据集群,包括创建虚拟机、配置Linux服务器、安装与配置JDK、SSH通信、Hadoop生态各框架如Hadoop、Zookeeper、Kafka等。适合初学者逐步学习和实践。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


以下内容纯属个人学习工作总结,知识有限,有错的地方还请各位大佬指正。

一、集群概况

本集群采用3台linux服务器搭建(hadoop111、hadoop112、hadoop113),便于学习使用,生产中可自行扩展分配服务器。

二、服务器搭建

(本集群搭在windows上,采用VMware Workstation搭建3台linux服务器,若本身是linux系统可跳过此步)

(一)创建虚拟机

CentOS6.8下载链接link
提取码:nfov

1.开启windows虚拟化服务

要使用VMware创建虚拟机首先要确保你的windows已经开启了虚拟化服务,任务栏->右键->任务管理器->性能->cpu,若没开启,自行百度哈。
在这里插入图片描述

2.创建第一台虚拟机

新建虚拟机,选自定义,下一步
在这里插入图片描述
没啥要选的,默认就行,下一步
在这里插入图片描述
选稍后安装操作系统,因为我们待会用到自己下载的CentOs包
在这里插入图片描述
选择操作系统为linux,centOS 64位
在这里插入图片描述
输入虚拟机的名字和存放位置,这里的名字随便取,自己认得就行
在这里插入图片描述
配置处理器核心数,下一步
在这里插入图片描述
cpu内存,我windows只有16G,三台测试机的话,我就每台给3G吧,若果你的设备内存多请随意挥洒~
在这里插入图片描述
网络桥接方式,默认就行,下一步
在这里插入图片描述
默认,下一步
在这里插入图片描述
默认,下一步
在这里插入图片描述
创建新磁盘,下一步
在这里插入图片描述
输入磁盘大小,下一步
在这里插入图片描述
磁盘文件存放,建议放之前创建虚拟机时设置的目录
在这里插入图片描述
点击完成
在这里插入图片描述
这里就可以看到新创的虚拟机了,现在还不能用,后面我们还要把自己下的centOS包放进去
在这里插入图片描述
双击cd,选择我们自己下载的CentOS.iso文件
在这里插入图片描述
看到这里正在使用文件。。。然后就可以点 开始此虚拟机 进行装系统了
在这里插入图片描述
点击进去,可用上下键选择,我们选第一个install or upgrade an existing system,然后enter,它就会开始安装了(鼠标点进去想要出来可以同时按crtl+alt
在这里插入图片描述
校验操作系统是否完整,这里我的iso包是完整的就不检验了,skip
在这里插入图片描述
next
在这里插入图片描述
安装时使用的语言,next
在这里插入图片描述
下一步
在这里插入图片描述
下一步
在这里插入图片描述
是,忽略,下一步
在这里插入图片描述
输入主机名,这里的主机名就是后面集群中用到的,因为我之前创建过hadoop111了,所以这里我就暂时取hadoop221
在这里插入图片描述
选一个时区,这里只有上海,我们就选上海了
在这里插入图片描述
设置root系统管理员的密码,一定要牢记啊
在这里插入图片描述
选择自定义布局,去掉一些没必要的组件
在这里插入图片描述
创建磁盘分区
在这里插入图片描述
在这里插入图片描述
格式化,将修改写入磁盘
在这里插入图片描述
下一步
在这里插入图片描述
自定义布局,去掉不需要的组件
在这里插入图片描述
修改三个地方,1.基本系统只留‘基本’,2.应用程序留个‘互联网浏览器’就行了,3.服务器的‘服务器平台’去掉,下一步
在这里插入图片描述
等待中。。。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值