k8s 监控告警终极方案

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享

最近一直在搞基于K8S的监控告警平台建设，查找了不少资料，也实验了不少次，目前算是有一定的成果了，分享一下，以下是我们的系统架构

采集端

由于Prometheus的生态过于组件丰富，所以k8s以及Prometheus协议的指标采集这些还是拥抱Prometheus，使用开源的 exporter，虽然现在的exporter 是比较多，但是良莠不齐、有的 Exporter 写的非常棒，有的则并不完善，同时写法各异，每次基础不同的expoter 都要研究一遍配置，心累，所以针对常用的中间件，使用categraf 进行监控，比如 kafka 、Mysql、Redis、Mongo等。

存储端

使用VictoriaMetrics作为的Prometheus长期存储，因为他性能足够强悍，占用资源小，并且完全兼容Prometheus，如果指标小于100w/s，可以采用他的单机版本，并且安装到k8s集群外，这样也避免k8s集群出问题，无从下手

报警配置

由于prometheus的告警配置实在繁琐而且对国内的通讯工具支持度不好，需要第三方实现，所以我们放弃使用 altermanager进行报警，直接采用夜莺进行报警配置，这也是目前业内常用玩法

展现层

由于VictoriaMet