Hadoop集群测试

1、查看HDFS集群状态

在浏览器里访问http://master:9870

不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870

此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常。

单击导航条上的【Datanodes】，查看数据节点信息

点开【Utilities】下拉菜单，选择【Browse the file system】
 

 在HDFS上创建一个目录BigData，执行命令：hdfs dfs -mkdir /BigData

也可以在master下面执行查看创建的文件：hdfs dfs -ls /

在Hadoop WebUI界面查看刚才创建的目录

3、查看YARN集群状态

    访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常。

 

单击about【链接】

（二）Hadoop集群初体验 —— 词频统计

1、启动Hadoop集群

         在master虚拟机上执行命令：start-all.sh

2、在虚拟机上准备文件

        在master虚拟机上创建test.txt文件

3、文件上传到HDFS指定目录

        上传test.txt文件到HDFS的/BigData目录

利用HDFS命令查看文件是否上传成功

利用Hadoop WebUI查看文件是否上传成功

4、运行词频统计程序的jar包

        查看Hadoop自带示例的jar包

 

 执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result

 查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*

5、在HDFS集群UI界面查看结果文件

        在HDFS集群UI界面，查看/wc_result目录

单击结果文件part-r-00000

 单击【Download】，下载结果文件到本地

 

 利用Notepad++打开结果文件

6、在YARN集群UI界面查看程序运行状态

        访问http://master:8088，看到FINISHED和SUCCEEDED

单击应用标识application_1664901602347_0001，查看应用的运行详情