大数据上课笔记之Hadoop集群的启动和测试

目录

一、启动和关闭Hadoop集群

1、主节点上启动hadoop集群

1.1、启动hdfs服务 

 1.2、启动yarn服务

2、主节点上停止Hadoop集群 

二、Hadoop集群的测试 

1、通过UI界面查看Hadoop运行状态 

2、hadoop2和hadoop3端口区别表 

 3、查看HDFS集群状态

4、查看YARN集群状态 

 三、Hadoop集群初体验 —— 词频统计

1、启动Hadoop集群

2、在虚拟机上准备文件 

3、文件上传到HDFS指定目录 

4、运行词频统计程序的jar包

5、在HDFS集群UI界面查看结果文件

6、在YARN集群UI界面查看程序运行状态

 四、总结复习

---

一、启动和关闭Hadoop集群

1、主节点上启动hadoop集群

• 执行start-all.sh命令，一起启动hdfs和yarn服务，也可以分开启动两种服务。

1.1、启动hdfs服务 

• 执行命令：start-dfs.sh 

 

•  查看master虚拟机上的进程

 

•  查看slave1虚拟机上的进程

 

• 查看slave2虚拟机上的进程 

 

 1.2、启动yarn服务

•  执行命令：start-yarn.sh

 

• 启动了YARN守护进程；一个资源管理器（ResourceManager）在master虚拟机上，三个节点管理器（NodeManager）在master、slave1与slave2虚拟机上

• 执行命令jps查看master虚拟机的进程 

 

• 查看slave1和slave2上的进程，只有NodeManager和DataNode 

 

 

2、主节点上停止Hadoop集群 

• 在master虚拟机上执行命令：stop-all.sh（相当于同时执行了stop-dfs.sh与stop-yarn.sh） 

 

二、Hadoop集群的测试 

1、通过UI界面查看Hadoop运行状态 

• Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。

2、hadoop2和hadoop3端口区别