29、Hadoop集群管理与生态系统探索

Hadoop集群管理与生态系统探索

1. Hadoop集群Web UI介绍

Hadoop集群提供了多个Web UI，用于监控和管理集群。以下是一些主要的Web UI及其功能：
- ResourceManager Web UI ：默认地址为 http://<resourcemanagerhost>:8088/ ，提供Hadoop集群的信息和作业统计，包括运行、完成和失败的作业，以及作业历史日志文件。在左侧侧边栏可以查看应用程序的状态，如NEW、SUBMITTED、ACCEPTED等，并获取应用程序的ID、提交用户、名称、调度队列、开始/完成时间和状态等信息。
- Cluster Metrics视图 ：提供整体应用程序状态、运行容器数量、内存使用情况和节点状态等信息。
- Nodes视图 ：是NodeManager服务菜单的前端，显示节点上运行应用程序的健康和位置信息。每个节点通过自己的UI提供更详细的信息，如Hadoop版本、可用内存、节点状态以及运行的应用程序和容器列表。

graph LR
    A[ResourceManager Web UI] --> B[Cluster Metrics视图]
    A --> C[Nodes视图]
    C --> D[单个节点信息]

2. MapReduce相关UI

• MapReduce v1 - J