redis扩容故障

最新推荐文章于 2024-06-11 01:54:42 发布

码农17627号

最新推荐文章于 2024-06-11 01:54:42 发布

阅读量639

点赞数

文章标签： java redis

本文链接：https://blog.youkuaiyun.com/qq_38957252/article/details/106861640

版权

本文记录了一次由于Redis集群扩容导致的线上服务错误率上升至100%的故障案例。服务在重启后恢复，分析发现问题是由于大Key（一个zset，2000多万条数据，400MB内存占用）在扩容期间导致的阻塞。解决措施包括清理大Key，限制Redis中value的大小，避免将Redis作为数据库使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近处理了一次由于redis集群扩容引发的线上故障，记录原因
某网站的某个用户关系服务，于2020-06-18下午2点钟左右，服务错误率大幅上升，最终错误率达到100%，服务完全不可用。
在发现异常的第一时间，使用自动化脚本快速重启了所有机器，服务在短时间恢复，最终不可用时间约为5分钟。

一.服务恢复后，检查日志发现如下错误

redis.clients.jedis.exceptions.JedisClusterMaxRedirectionsException: Too many Cluster redirections?
        at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:34)
        at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:83)
        at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:67)
        at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:83)
        at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:67)
        at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:83)
        at redis.clients.jedis.JedisClusterComm

最低0.47元/天解锁文章