基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

本文介绍了如何在VMware虚拟机中安装CentOS7并配置Hadoop3.3.5集群。首先,需要卸载旧版JDK并安装Java11,然后配置SSH。接着,下载并安装Hadoop,设置主机名和静态IP,配置免密登录。最后,进行Hadoop的相关配置,包括环境变量、XML配置文件以及启动脚本,并初始化和启动Hadoop集群。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包

centos 7:Index of /apache/hadoop/common/hadoop-3.3.5

hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5

#配置jdk环境

查看原本的jdk版本

 

其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

执行yum remove *openjdk* 卸载原来的jdk

可以利用yum search openjdk命令查看源中有那些jdk版本,我这里选取的是java-11版本

执行 yum install -y “java版本”安装新的jdk 

 因为openjdk不配置jps包,所以得自行安装

再执行java -version查看java版本

java环境配置成功

#配置ssh

运行rpm -qa|grep -E “openssh”查看是否安装ssh

如果未安装ssh,运行yum install openssh-server -y、yum install openssh-clients -y

配置ssh(没什么特殊需求默认就行)

   

 运行service sshd restart 重启ssh,

开放防火墙的22端口

Xshell尝试连接

运行ip addr查看本机ip,

将信息填入新建的xshell中

   

 填入那台机子的登录账号和密码

   

 点击连接,点击接受并保存

连接成功,这样接下来的命令操作基本上可以转到xshell里面操作

#下载安装hadoop 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值