2020年工作上的最大收获——监控告警体系-优快云博客

本文链接：https://blog.youkuaiyun.com/yufaxingxing/article/details/113713418

本文讲述了作者在2020年的工作中建立监控告警体系的过程，旨在解决发布后的问题和生产故障。通过使用自研监控系统，结合Kafka、Influxdb、MySql、ES、Grafana和Kibana等技术，实现了系统埋点、可视化展示和告警配置。监控内容包括请求量、响应量、耗时、订单量、响应状态和异常状态等关键指标，告警策略涉及阈值、环比和同比。该体系显著提高了线上问题的发现和处理效率，降低了生产事件率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 背景

2020年工作上的最大收获就是初步完善了系统的监控告警体系。
2020年工作上可谓是非常苦逼的，项目上忙到脚打后脑勺的同时还被各种发布问题、生产故障按在地上摩擦。可怜还因疫情原因公司福利大大缩减。
总结了一下令人头疼的问题：

每次大的发布总会产生一堆的生产问题
日常应用出错不能第一时间感知，总是到了客户那里才报过来

比如有一次发布后产生了一个小小的传值问题，但是会阻碍一部分客户下单，结果两天后通过客户报障才发现，最终导致大量订单损失！
总体来讲就是缺乏对系统的掌控，应用发布上去后，就像个黑匣子，你只知道它在运行，却不知道里面到底是个什么状况，也许内部已经乱的不可开交,你却一无所知，发布之后只留下一脸懵逼的你独自凌乱。以致于每次发布后的几天都是提心吊胆，有点风吹草动就慌得一比！而在互联网这个频繁发布的行业简直就是灾难
痛定思痛！终于在下半年的时候忍无可忍，决定给系统插上X光机。不仅要扒掉系统这个“美女”的黑色外衣，甚至让其骨骼线条都赤裸裸的暴露在开发人员眼中。这个X光机就是监控告警体系。