luoyu_的博客

问题来源  高峰盯盘期间，通过kibana查询发现不定时存在一些redis慢查询日志（客户端日志）；而且目前项目中记录redis慢查询日志的门限默为300ms。这种不知原因且不定时的慢查询是非常危险的。  注1：redis server实例配置的slow log门限为10ms，并且存在慢查询报警。  注2：客户端与redis之间还存在Twemproxy代理（以下简称tw）。  注2：客户端为Golang服务，与tw之间是长连接，基于连接池实现。【案例1】客户端问题排查  2020.07.29 1

1. 问题简述前几天接收到报警，同时Redis团队监控到redis集群发生了主从切换；最终分析原因是，删除大key，导致redis主服务器阻塞，sentinel哨兵认为主服务器宕机，进行了故障转移；如下图所示：在Redis集群中，应用程序尽量避免使用大键；直接影响容易导致集群的容量和请求出现”倾斜问题“，同时在删除大键或者打键过期时，容易出现故障切换和应用程序雪崩的故障；查询线...