国内酒店稳定性治理实践之缓存治理

` 郑吉敏

2019 年 8 月加入国内酒店报价中心团队，主要负责报价相关系统开发及架构优化。对高并发高可用有浓厚兴趣，有日订单千万分布式系统高可用建设经验。喜欢钻研算法，acmicpc 程序设计大赛两次进入亚洲区预选赛。曾在 Qunar 首届 Hackathon 大赛中获得一等奖。

---

背景

2019 年 9 月，我们连续遇到几次与缓存相关的故障：

1、DBA 运维失误，导致我们存储在 redis 里的核心基础数据被清空。由于无法正常提供报价，出现 ATP（订单量骤降）故障，之后通过定时任务花费半个小时将数据写回 redis，故障恢复。

2、PC 端爬虫流量进入后端，应用的 redis 连接池被打满，大量同步的 redis 请求都等待 500ms 获取连接，导致应用的 tomcat 线程池被打满，服务被拖死，无法正常提供 PC 端业务，而 redis server 端当时还完全没压力。

类似与缓存相关的故障还有不少，这里就不一一列举了。在对故障进行 review 时，我们意识到有不少核心场景都使用了 redis 缓存作为核心依赖和存储，同时这些场景我们并没有对 redis 可能出现的问题进行预防和处理。

由于我们的核心业务重度依赖 redis，为了不让类似的故障重复上演，也希望在故障前做好准备和预防，我们对缓存进行了专项的治理。