6、Kubernetes 监控、日志与告警全解析

Kubernetes 监控、日志与告警全解析

1. 仪表盘设计要点

在设计仪表盘时，应避免创建过多的仪表盘，也就是所谓的“图表墙”。因为在故障排查时，过多的仪表盘会让工程师难以理清头绪。虽然你可能认为仪表盘包含更多信息意味着更好的监控，但大多数情况下，这会让查看仪表盘的用户更加困惑。建议将仪表盘设计的重点放在结果和解决问题的时间上。

2. 日志记录概述

要全面了解环境状况，除了关注指标和 Kubernetes 相关内容外，还需要收集并集中管理来自 Kubernetes 集群以及部署在集群中的应用程序的日志。

2.1 日志记录常见问题

直接记录所有内容虽然看似简单，但会引发两个问题：
- 存在过多噪音，难以快速定位问题。
- 日志会消耗大量资源，成本较高。

2.2 日志保留策略

由于调试日志难以避免，所以没有明确的标准来确定具体应该记录哪些内容。随着时间推移，你会逐渐了解环境，从而过滤掉日志系统中的噪音。同时，为了应对不断增加的日志存储量，需要实施日志保留和存档策略。从最终用户体验来看，保留 30 到 45 天的历史日志是比较合适的，这样既能调查长期出现的问题，又能减少日志存储所需的资源。如果出于合规性要求需要长期存储，可以将日志存档到成本更低的资源中。

2.3 需要记录日志的组件

在 Kubernetes 集群中，有多个组件需要记录日志，具体如下：
| 组件类型 | 具体组件 |
| ---- | ---- |
| 节点日志 | 记录节点基本服务发生的事件，如工作节点上 Docker 守护进程的日