Hadoop全分布式集群(3.3.1版本)CentOS7

本文档详细介绍了如何在CentOS7环境下搭建Hadoop 3.3.1全分布式集群。内容包括网络配置、主机名与IP映射、SSH无密码登录、集群配置以及启动检查。特别提示,Hadoop 3.3.1版本的Web UI端口为9870,不同于旧版本的50070。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考了林子雨的教程Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu_厦大数据库实验室博客

但他使用的是ubuntu 的,在一些方面和centos还是不同

Hadoop的安装同样可以参考:Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客e

但是centos版本的太过时了,我同样通过查询学习,整理了一份

使用的软件:

vm15

centos7

hadoop3.3.1

jdk1.8.0

准备工作:

1.选定一台作为master,需要在master创建hadoop用户,安装ssh服务端,安装java环境,安装hadoop并且完成配置

2.这里我是选择一主二从,在两个slave上创建hadoop用户,安装SSH服务端,安装java环境

开始:

1.网络配置:需改为桥接模式

并且查看三台机子的的MAC地址是否一样,一样的话需要随机生成以至不一样

2.修改主机名:

Centos7通过hostname来查看主机名,而通过hostnamectl set-hostname slave来修改主机名,然后重启即可

3.修改IP映射:

输入以下命令:

sudo vim /etc/hosts

在加如映射关系前先通过ifconfig来查到三个主机的IP地址,查到后建立如下映射关系:

同样的,在两个slave1和slave2里面同样进行配置,配置完成后重新启动slave节点的Linux系统

4.完成后还需要检查是否顺利配置:

在master节点上:

$ ping slave1 -c 3  #只会ping三次
$ ping slave2 -c 3  

在两个slave节点上:

$ ping master -c 3

如果出现如下结果,则ping通了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿洋太爱大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值