21、分布式系统监控全解析

分布式系统监控全解析

在分布式系统中，监控是保障系统稳定运行、优化性能和提升用户体验的关键环节。本文将深入探讨分布式系统监控的多个方面，包括日志收集、指标跟踪、服务指标暴露、合成监控、关联 ID 使用、级联故障监控、标准化以及考虑受众需求等内容。

日志收集与查看

随着运行主机数量的增加，传统的 SSH 多路复用检索日志方式已不再适用，我们需要借助专业子系统来集中收集和管理日志。

• Logstash ：它能够解析多种日志文件格式，并将日志发送到下游系统进行进一步分析。操作步骤如下：
  1. 安装 Logstash。
  2. 配置 Logstash 以解析所需的日志文件格式。
  3. 设置 Logstash 将日志发送到目标下游系统。
• Kibana ：这是一个基于 ElasticSearch 的日志查看系统。通过查询语法，我们可以搜索日志，限制时间和日期范围，使用正则表达式查找匹配字符串，还能根据日志生成图表，直观了解系统随时间产生的错误数量。操作步骤如下：
  1. 安装 Kibana 并连接到 ElasticSearch。
  2. 使用查询语法编写日志搜索条件。
  3. 利用 Kibana 的图表功能生成所需的可视化图表。

多服务指标跟踪

在复杂系统中，准确收集和查看指标对于判断系统状态至关重要。我们需要长期收集系统行为指标，以发现清