Hadoop伪分布式部署的详细操作

实验工具/软件

VMware workstation 16 pro, hadoop虚拟机，MobaXterm

详细操作

前提：环境准备：

确保Linux操作系统已经安装并配置好Java环境。

下载Hadoop安装包并解压。

配置免密登录：

为了方便NameNode和DataNode之间的通信，需要配置SSH免密登录。

     1. 上传Hadoop安装包

在虚拟机的/export/software目录执行“rz”,将本地计算机中准备好的Hadoop安装包hadoop-3.3.0.tar.gz上传到虚拟机的/export/software目录

     2.创建目录

在虚拟机机的/export/serves目录创建wfb-hadoop目录，该目录用于存放基于伪分布式模式部署Hadoop的安装目录，具体命令如下：

 $  mkdir  -p /export/servers/wfb-hadoop

     3.安装Hadoop

以解压缩的方式安装Hadoop，将Hadoop安装到/export/servers/wfb-hadoop目录，具体命令如下：

$ tar -zxvf /export/software/Hadoop-3.3.0.tar.gz -C /export/servers/wfb-hadoop

1. hadoop安装成功后，进入Hadoop的安装目录/export/servers/wfb-hadoop-3.3.0,在该目录执行“ll”命令查看Hadoop安装目录中的所有文件

1. 验证Hadoop是否安装成功

在基于伪分布模式部署Hadoop的安装目录执行“bin/Hadoop version”命令查看Hadoop的版本号，验证当前虚拟机是否成功安装Hadoop。

1. 修改Hadoop配置文件

1. 配置Hadoop运行时的环境

在Hadoop安装目录下的/etc/Hadoop/目录执行“vi Hadoop-env.sh”命令，在hadoop-env.sh文件的底部添加如下内容。

1. 配置Hadoop。在Hadoop安装目录下的/etc/Hadoop/目录执行“vi core-site.xml”命令，在core-site.xml文件的<configuration>标签中添加如下内容。

1. 配置HDFS。在Hadoop安装目录下的/etc/Hadoop/目录执行“vi hdfs-site.xml”命令，在hdfs-site.xml文件的<configuration>标签中添加如下内容。

1.  配置MapReduce。在在Hadoop安装目录下的/etc/Hadoop/目录执行“vi mapred-site.xml”命令，在mapred -site.xml文件的<configuration>标签中添加如下内容：

1. 配置YARN。在Hadoop安装目录下的/etc/Hadoop/目录执行“vi yarn-site.xml”命令，在yarn -site.xml文件的<configuration>标签中添加如下内容。

（6）在Hadoop安装目录下的/etc/Hadoop/目录执行“vi workers”命令，配置Hadoop从节点运行的服务器，将workers文件的默认内容改为Hadoop1。

注意：配置文件一定要正确，如果有错误，会影响后期进程的。

1. 格式化HDFS文件系统

初次启用Hadoop之前，需要先对HDFS文件系统进行格式化操作，在Hadoop安装目录执行如下命令，来格式化HDFS文件系统。

$ bin/hdfs namenode -format

上面命令执行完成后，会出现“successfully formatted”的提示信息，说明格式化成功。

注意：格式化HDFS文件系统的操作只在初次启动Hadoop集群之前进行，如果后续再次启动Hadoop集群，则不需要重新格式话化。

1. 启动Hadoop

这里的启动Hadoop包括HDFS和启用YARN，可以通过Hadoop提供的一键启动脚本start-dfs.sh和start-yarn.sh分别启动HDFS和YARN，这两个脚本文件位于Hadoop安装目录下的/sbin目录。在Hadoop的安装目录执行如下命令，来启动HDFS和YARN。

#启动HDFS

$ sbin/start-dfs.sh

#启动YARN

$ sbin/start-yarn.sh

当不再需要运行Hadoop时，可以使用“stop-dfs.sh”和“stop-yarn.sh”脚本来停止HDFS和YARN服务。

1. 查看Hadoop运行状态

 由于HDFS和YARN的相关服务运行在JVM进程中，所以可以执行“jps”命令查看当前虚拟机中运行的JVM进程，如图所示：

由图可以看出，虚拟机Hadoop1中运行的JVM进程包括NameNode|、SecondaryNameNode、DataNode、ResourceManager和NodeManager，总共要出现六个进程，才能说明Hadoop启动成功。

注意：所有配置文件都位于Hadoop安装目录下的etc/hadoop文件夹内