Hadoop运行环境搭建（开发重点四）在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录

本文详细介绍了在Linux系统中搭建Hadoop的过程，包括使用Xftp传输JDK，将Hadoop安装到/opt/module目录，配置Hadoop环境变量，并通过在/etc/profile.d下创建新文件实现环境变量的持久化。最后，验证Hadoop安装成功并了解其关键目录结构和用途。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2.Hadoop运行环境搭建（开发重点）

2.4在hadoop102安装Hadoop

2.4.1用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面

在这里插入图片描述
点这个

在这里插入图片描述
将这两个包拖到/opt/software文件下

下面是这个包
链接：https://pan.baidu.com/s/1LO-jFODTQOlOF2gPvey4bg?pwd=fe5h
提取码：fe5h

2.4.2在Linux系统下的opt目录中查看软件包是否导入成功

在这里插入图片描述

然后再software下可以看到有这两个包了

2.4.3解压Hadoop到/opt/module目录下

[summer@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

在这里插入图片描述

2.4.4配置Hadoop环境变量

先进入安装的Hadoop中
在这里插入图片描述

将目录复制下来后面会用，以防手打出错
/opt/module/hadoop-3.1.3

本来是在/etc/profile里配置的，后来发现这条语句
在这里插入图片描述

是profile.d的所有.sh后缀的文件全局生效，因此在profile.d下新建一个文件来配置Hadoop
先到这个文件下

[summer@hadoop102 hadoop-3.1.3]$ cd /etc/profile.d

在这里插入图片描述

系统启动的时候就会加载这里面的文件
新建一个文件，名字自己取

[summer@hadoop102 profile.d]$ sudo vim my_env_hadoop-3.1.3.sh

在这里插入图片描述

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

2.4.5测试Hadoop是否安装成功

在这里插入图片描述

配置好后需要source一下，重新加载一下内容

[summer@hadoop102 profile.d]$ source /etc/profile

在这里插入图片描述

2.4.6重启（如果Hadoop命令不能用再重启虚拟机）

[summer@hadoop102 profile.d]$ sudo reboot

2.5Hadoop目录结构

2.5.1查看Hadoop目录结构

在这里插入图片描述

2.5.2hadoop重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

bin、etc、sbin是经常使用的