19、大数据监控与调试：工具、问题及解决方案

大数据监控与调试：工具、问题及解决方案

1. 大数据监控工具介绍

1.1 Nagios

Nagios 是一个开源框架，旨在帮助企业跟踪其网络和 IT 基础设施。自 1999 年 Ethan Galstad 首次创建以来，全球的系统管理员和 IT 团队经常使用它。它采用客户端 - 服务器设计，Nagios Core 服务器负责跟踪主机和服务，并在出现问题时通知用户。客户端（也称为插件）安装在被观察的主机上，向服务器提供其状态更新。
- 监控范围 ：可以监控服务器、交换机、路由器、应用程序和服务等。
- 监控指标 ：检查 CPU 和内存使用情况、存储空间、网络连接以及 Web 服务器的可访问性。
- 特性 ：具有可适应性和可调整性，管理员可以设置监控阈值和规则，创建自定义通知，并将 Nagios 与其他工具和系统集成。有大量的用户和开发者社区，产生了许多插件和扩展来扩展其功能。

1.2 Ganglia

Ganglia 是一个用于大数据和高性能计算系统（如集群和网格）的开源分布式监控解决方案。2000 年在加州大学伯克利分校首次创建，目前广泛应用于学术、工业和政府研究实验室。它具有高度可扩展性，能够监控拥有数千个节点的大型集群。其分层架构由三个主要部分组成：Ganglia 网页界面、Ganglia 监控守护进程（gmetad）和 Ganglia 元数据守护进程（gmond）。
- 工作流程 ：
1. gmond 守护进程在集群的每个节点上运行，收集系统统计信息