虚拟环境下搭建hadoop之三——启动hadoop并简单实验

最新推荐文章于 2025-10-14 18:20:15 发布

原创

最新推荐文章于 2025-10-14 18:20:15 发布 · 2.4k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #namenode #大数据

本文档详述了在虚拟机环境下搭建Hadoop的步骤，包括格式化HDFS、启动Hadoop集群、验证运行状态、通过网页查看集群以及进行单词统计实验。实验涉及CentOS6.7、JDK7和Hadoop1.0.0，通过jps命令和Hadoop dfsadmin -report检查集群状态，使用hadoop-example-1.0.0.jar进行大数据量文本单词统计。

这是本人初学搭建hadoop的配置步骤，比较适合新手参考，高手可帮忙矫正此文，不甚感激。

实验环境说明：使用的虚拟机软件是VMware Workstation 12 Pro
虚拟机操作系统版本是CentOS6.7
JDK版本是jdk-7u79-linux-x64.rpm
hadoop版本是hadoop-1.0.0.tar.gz
（如果需要以上文件，可留言与本人联系）
【以下编号接上一篇博客】

7 验证配置
7.1 格式化HDFS文件系统
只需要在安装完成时格式化一次即可，以后不用再格式化。格式化命令如下：
这里写图片描述
这里需要注意运行命令的路径。如果运行时提示找不到命令，可以尝试使用”bin/Hadoop namenode -format”命令。

7.2 启动hadoop
在启动之前最好先关闭防火墙，命令如下：

使用”start-all.sh”命令启动hadoop，启动结果如下：
这里写图片描述
启动 hadoop成功后，在master 中的 tmp 文件夹中生成了 dfs 文件夹，在slave1和salve2 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。如下图所示：