故障解决方案

故障解决方案

1.如何避免故障的发生

1. 服务治理
2. 核心接口梳理
3. 导入导出迁出独立服务且设置上限
4. 限流控制
5. 灰度控制
6. 慢查优化（接口和sql）
7. 异常消息报警或邮件报报警
8. 跑批任务高可用-增加限流器
9. 写数据幂等性改造
10. 熔断、降级

2.怎么快速解决故障

1. 监控平台-数据库指标
2. 监控平台-JVM指标
3. 监控平台-机器指标（看CPU、load、内存、流量、磁盘读写）
4. 监控平台-WEB核心接口
5. skywalking或cat查看接口调用，以及报错情况
6. OOM问题，找运维dump一个站点，且下线该站点
7. 增加常用后门操作的小工具

3.故障的预案

1. 核心链路熔断、降级
2. 灰度控制，关掉灰度
   具体实施，例如：
   1.相关的人员，有问题，能快速联系相关人员去解决问题
   2.如何发现问题，通过钉钉报警或早晨巡检MQ有积压
   3.消息积压，一键丢弃
   4.预处理，发送消息前一天，超出阈值钉钉报警