32、云原生监控与指标管理全解析

云原生监控与指标管理全解析

1. 指标告警策略

在云原生环境中，合理的指标告警策略至关重要。并非所有指标都需要设置告警，应聚焦于那些对业务有实际或潜在影响，且需要立即采取行动的指标。

1.1 告警触发条件

• 错误率 ：例如，当某个服务的错误率在一段时间（如五分钟）内超过 10% 时，系统应发出告警。
• 延迟 ：当服务的 P99 延迟超过某个固定值（如 1000 毫秒）时，也应触发告警。

1.2 告警分类处理

• 紧急重要告警 ：此类告警需要立即处理，应及时通知相关人员。
• 重要但不紧急告警 ：可在正常工作时间处理，无需在非工作时间通知人员。
• 紧急但不重要告警 ：如一些不影响客户的内部小服务故障，无需唤醒相关人员。
• 无法立即处理的告警 ：此类告警发送异步通知即可，如邮件、聊天消息、支持工单等。

1.3 告警跟踪与管理

• 监控告警数量 ：每周发送的告警数量可反映系统的整体健康和稳定性，紧急告警数量，特别是非工作时间的告警数量，能体现团队的健康和士气。
• 设置告警预算 ：为紧急告警数量设定预算，特别是非工作时间的告警，每个值