记一次线上服务假死问题(MongoDB超时和OOM两个坑)
事件的背景是:一个老系统,功能模块很多,包含两个团队的职责(最开始只有一个团队),所以要将这个系统拆分成两个服务,各自团队负责自己的服务,由于业务影响,这次上线只能在23点后通宵进行。
问题一:ECS自建Mongo数据表数据量大,没有建索引,导致查询巨慢,CPU打满。
问题发生在第二天下午,提供给APP的接口响应变慢,后来应用假死(CPU、内存、带宽都检查过没有异常)。因为接口逻辑并不复杂,推断主要耗时就在从Mongo获取上,看Mongo的那台服务器,发现CPU已经打满了,然后就分析Mongo正在执行什么任
原创
2020-08-08 17:35:35 ·
1426 阅读 ·
0 评论