故障分析 | bgsave 导致 redis 定期卡顿案例一则

作者：任坤

现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

---

1、背景

线上有套 redis 主从，版本4.0，开发抱怨说经常会出现周期性卡顿。

应用日志显示每隔10多分钟出现一次，一个普通调用就需要执行1s左右，然后自动恢复，get/set 均受影响

2、诊断

查看 redis qps 和 cpu 监控，均未发现有用线索。

登录 redis 查看 slowlog ，也没有吻合时间点的慢查询。

evicted_keys 指标一直是 0 ，expired_keys 数量虽然很多，但是一直没有明显波动，不太可能是驱逐过期键导致。

经组里同事提醒注意到 latest_fork_usec 指标，执行一次接近1s左右，大约每15分钟触发一次 bgsave ，和应用出现慢查询的频率大致吻合，现在初步认定是 redis 实例定期 bgsave 导 致的应用卡顿。

在相当长的一段时间内，我一直认为 redis 的 bgsave 衍生出1个子进程并且采用 copy-on- write 机制，不会对 redis 本身有太多影响，顶多落盘时占用点 IO 资源而已。

潜在瓶颈点出现fork()调用上

Under Linux, fork() is implemented using copy‐on‐write pages, so the 
only penalt