Hadoop集群测试

一、通过UI界面查看Hadoop运行状态

Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。

1、查看HDFS集群状态

• 在浏览器里访问http://master:9870
  

• 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：`http://192.168.1.101:9870
  

• 修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射
  

• 此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常
  

• 单击导航条上的【Datanodes】，查看数据节点信息
  

• 访问slave1的数据节点（DataNode）

• 点开【Utilities - 实用工具】下拉菜单，选择【Browse the file system - 浏览文件系统】
  

• 此时HDFS上没有任何文件或文件夹
  

• 在HDFS上创建一个目录·BigData·，既可以在WebUI上创建，也可以通过shell命令创建

• 执行命令：·hdfs dfs -mkdir /BigData·

• 在Hadoop WebUI界面查看刚才创建的目录
  

• 单击【BigData】右边的删除按钮
  

• 单击【Delete】按钮
  

• 查看四个功能按钮
  

• 在Hadoop WebUI界面里创建目录
  

• 在弹出的【Create Directory】对话里输入目录名 -BigData
  

单击【Create】按钮

2、查看YARN集群状态

• 访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常
  

• 单击【About】链接
  

二、Hadoop集群 —— 词频统计

1、启动Hadoop集群

• 在master虚拟机上执行命令：start-all.sh
  

2、在虚拟机上准备文件

• 在master虚拟机上创建test.txt文件
  

3、文件上传到HDFS指定目录

• 上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）
  

• 利用HDFS命令查看文件是否上传成功