Redis缓存雪崩穿透和击穿

已于 2023-02-07 19:20:26 修改
阅读量707 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 分布式微服务框架、开源框架及中间件 文章标签： redis 数据库 缓存
于 2022-02-14 15:42:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xing_jian1/article/details/122924950
本文介绍了Redis缓存可能导致的问题，包括缓存雪崩、缓存穿透和缓存击穿，并提出了相应的解决方案。缓存雪崩时，可采用Redis高可用、本地缓存及限流降级策略；缓存穿透可通过设置空值缓存和布隆过滤器减少无效查询；缓存击穿可考虑热点数据永不过期或使用分布式锁预先重建缓存。

目录

缓存雪崩

缓存穿透

缓存击穿

redis缓存提供了高并发高性能，不仅可以用作缓存还可以做抽奖、粉丝列表收藏点赞、订单自动取消等功能。Redis提供了这些便利的同时也会引发一些问题，例如缓存与数据库双写不一致、缓存雪崩、缓存穿透、缓存击穿、缓存的并发竞争、缓存过期失效等问题。

缓存雪崩

服务系统在高峰期每秒5w个请求，缓存可以扛住每秒5w个请求，缓存机器意外发生故障全盘宕机。此时5w个请求全部落数据库，数据库扛不住然后就挂了。重启数据库，然后数据库立马又被新的流量给打死了，这就是缓存雪崩。缓存雪崩的事前事中事后的解决方案：事前：Redis高可用，主从+哨兵，Redis cluster，避免全盘崩溃。事中：本地ehcache缓存 + hystrix限流&降级，避免MySQL被打死。事后：Redis持久化，一旦重启自动从磁盘上加载数据，快速恢复缓存数据。

用户发送一个请求，系统A收到请求后，先查本地ehcache缓存，如果没查到再查Redis。如果 ehcache和Redis都没有再查数据库，将数据库中的结果写入ehcache和Redis中。限流组件，可以设置每秒的请求，有多少能通过组件，剩余的未通过的请求，怎么办？走降级！可以返回一些默认的值，或者友情提示或者空值。这样设计的好处在于，无论多高的并发数据库绝对不会挂掉，限流组件确保了每秒只有多少个请求能通过。只要数据库不死，对用户来说，2/5的请求都是可以被处理的。只要有2/5的请求可以被处理，就意味着系统可以用，对用户来说，可能就是点击几次刷不出来页面，但是多点几次，就可以刷出来了。

缓存穿透

对于系统A，假设一秒5000个请求，结果其中4000个请求是黑客发出的恶意攻击。黑客发出的那 4000个攻击缓存中查不到，每次去数据库里查也查不到。数据库id是从1开始的，结果黑客发过来的请求id全部都是负数。这样缓存中不会有，请求每次都“视缓存于无物”

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Redis面试题汇总
qq_36895015的博客
05-27 1万+
什么是Redis？ ​Redis 是一个使用 C 语言开发的 非关系型 数据库，Redis 的数据是存在内存中的，读写速度非常快。Redis 经常用来做缓存、分布式锁，消息队列。Redis 支持多种数据类型，事务 持久化、Lua 脚本、多种集群方案。 什么是分布式缓存？ ​分布式缓存主要解决的是单机缓存的容量受服务器限制并且无法保存通用的信息。因为，本地缓存只在当前服务里有效，比如如果你部署了两个相同的服务，他们两者之间的缓存数据是无法共享的。主要的技术是 Memcached 和 Redis。 ..
46道史上最全Redis面试题，面试官能问的都被我找到了（含答案）
m0_67698950的博客
08-05 9506
因为 bgsave 会消耗比较长的时间，不够实时，在停机的时候会导致大量的数据丢失，需要 aof 来配合，在 redis 实例重启时，优先使用 aof 来恢复内存的状态，如果没有 aof 日志，就会使用 rdb 文件来恢复。网络模型，memcache 使用非阻塞的 IO 复用模型，redis 也是使用非阻塞的 IO 复用模型，但是 redis 还提供了一些非 KV 存储之外的排序，聚合功能，复杂的 CPU 计算，会阻塞整个 IO 调度，从这点上由于 redis 提供的功能较多，memcache 更快些。..
【精选】30+Redis面试题整理（2024）附答案
HO1_K的博客
03-12 1万+
自用redis面试圣经，记录了个人面试中经常问到的面试题、收集了网络热门面试题。
史上最全Redis面试49题(含答案):哨兵+复制+事务+集群+持久化等
热门推荐
weixin_33890526的博客
12-11 2万+
继续最全Java面试答案系列篇，已经持续的更新了最全mysql、spring、多线程等面试答案。本文篇幅过长，建议收藏后慢慢细看，希望能对你的面试之旅有所帮助！ 文末有该最全系列答案获取方式哦~ Redis支持哪几种数据类型？支持多种类型的数据结构1.string：最基本的数据类型，二进制安全的字符串，最大512M。2.list：按照添加...
redis 面试题
架构师尼恩
10-30 2195
疯狂创客圈 经典图书 ： 《Netty Zookeeper Redis 高并发实战》 面试必备 + 面试必备 + 面试必备 【博客园总入口 】 疯狂创客圈 经典图书 ： 《SpringCloud、Nginx高并发核心编程》 大厂必备 + 大厂必备 + 大厂必备 【博客园总入口 】 入大厂+涨工资必备： 高并发【 亿级流量IM实战】 实战系列 【 SpringCloud Nginx秒杀】 实战系列 【博客园总入口 】 入门级Redis试题 试题一：为什么使用redis？ .
Redis缓存穿透，缓存击穿和缓存雪崩
12-14
在IT行业中，Redis作为一种高...以上是针对Redis缓存系统中可能出现的缓存穿透、缓存击穿和缓存雪崩问题的解决方案。在设计缓存系统时，应当充分考虑这些潜在风险，采取适当的预防措施，以确保系统的稳定性和高可用性。
Redis缓存穿透、缓存击穿与缓存雪崩的详细讲解和案例示范
J老熊
08-30 5181
缓存穿透是指用户请求的数据在缓存中不存在，并且在数据库中也不存在。由于缓存未命中，每次请求都会直接访问数据库，导致数据库压力骤增，最终可能导致系统崩溃。缓存击穿是指缓存中某个热点数据在到期失效的瞬间，有大量的并发请求同时访问该数据，由于缓存失效，这些请求都会穿透到数据库，导致数据库负载剧增，甚至可能导致系统崩溃。缓存雪崩是指大量缓存数据在同一时间失效，导致大量请求同时穿透到数据库，造成数据库压力过大，可能导致系统不可用。通过本文的详细讲解，我们对Redis缓存穿透、缓存击穿和缓存雪崩三大问题有了深入的理解。
Redis缓存雪崩、穿透、击穿、预热及解决方案
八戒的博客
05-24 2055
指在一个高并发的系统中，由于大量的缓存数据在同一时间段内过期或失效，导致大量请求无法从缓存中获取数据，因此大量并发请求可能导致数据库服务器过载，甚至宕机，从而引发整个系统崩溃。一句话，就是查询一条根本没有的记录。它既不存在于redis中，也不存在数据库中。一般我们的查询顺序是先查redis、再查数据库。每次请求最终都会访问到数据库。造成数据库访问压力。这种现象叫缓存穿透。一句话，就是热点key突然失效了，大量请求暴击数据库。关键词：大量请求、同一个热点key、正好失效。
Redis-缓存穿透、缓存雪崩、缓存击穿详解
m0_58684211的博客
01-25 1468
redis有关缓存穿透、缓存雪崩、缓存击穿的详解
Redis面试题
qq_69633091的博客
12-26 1059
缓存穿透是指一个查询不存在的数据。如果从存储层查询不到数据则不写入缓存，这就导致这个不存在的数据每次请求都到DB去查询，可能导致DB挂掉。解决方案：1).如果不存在放回null值，并放入缓存（容易引起缓存数据库数据不一致）2).使用布隆过滤器（使用比较复杂，可以使用redisson实现，会出现一定的误判率，必然存在的，不会超过5%）
Redis面试题（转载）
wangdh258的博客
09-27 2056
概述 什么是Redis Redis有哪些优缺点 为什么要用 Redis /为什么要用缓存 为什么要用 Redis 而不用 map/guava 做缓存? Redis为什么这么快 数据类型 Redis有哪些数据类型 Redis的应用场景 持久化 什么是Redis持久化？ Redis 的持久化机制是什么？各自的优缺点？ 如何选择合适的持久化方式 Redis持久化数据和缓存怎么做扩容？ 过期键的删除策略 ..
Redis常见的面试题硬核整理
corlor_龙的博客
05-24 841
1. 谈谈对Redis的认识 Redis是一个高性能非关系型（NoSQL）的键值对数据库。Redis 可以存储键和五种不同类型的值之间的映射。键的类型只能为字符串，值支持五种数据类型：字符串、列表、集合、散列表、有序集合。与传统数据库不同的是 Redis 的数据是存在内存中的，所以读写速度非常快，因此 redis 被广泛应用于缓存方向。 优点： 读写性能优异；支持数据持久化；支持事务，操作都是原子性的；数据结构丰富；支持主从复制，可以进行读写分离 缺点： 数据库容量受到物理内存的限制，不能用作海量数据的高
redis缓存雪崩 缓存穿透 缓存击穿怎么测试
最新发布
09-26
<think> 嗯，用户这次问的是Redis缓存问题的测试方法，正好结合之前讨论过的雪崩、穿透、击穿的概念。用户应该是运维或测试工程师，需要在实际环境中验证缓存机制的可靠性。 之前解释过三种问题的区别：雪崩是大面积失效，穿透是查询不存在数据，击穿是热点key失效。现在用户关心的是如何模拟这些场景进行测试，这很实用——毕竟线上故障的代价太大，提前测试能规避风险。 从引用材料看，[1]提到击穿的互斥锁和逻辑过期方案，[2][4]给出雪崩的集群和TTL随机化方案，[3]则描述穿透的攻击特征。测试方法可以从这些解决方案逆推： 雪崩测试要模拟批量key同时过期，需要控制Redis的TTL设置；穿透测试要构造非法请求，得准备异常参数数据集；击穿测试最复杂，要精确控制单个热点key过期时间点并制造并发请求。 具体到技术实现： - 雪崩测试可以用Redis的批量过期命令或提前计算好TTL - 穿透测试需要脚本持续发送随机字符串等非常规参数 - 击穿测试的并发模拟工具选JMeter还是locust取决于用户技术栈 - 监控部分特别重要，比如grafana看数据库QPS是否突增 用户可能还隐含需求：这些测试会不会影响线上服务？所以得强调在预发布环境操作。另外测试数据构造的实用性——比如穿透测试的非法参数要覆盖边界值（空值/超长字符串等）。 相关问题设计成递进的比较好：从检测工具到防御机制验证，最后到全链路压测，这样用户能阶梯式深入。 </think> 以下是针对Redis缓存雪崩、穿透、击穿的详细测试方法，结合引用材料和实际场景设计： --- ### 一、缓存雪崩测试方法 **核心目标**：验证批量缓存失效时数据库的容灾能力 **测试步骤**： 1. **模拟批量失效** - 批量写入1000个测试Key，设置相同TTL（如30秒） - 使用`EXPIREALL`命令（需自定义Lua脚本）或等待自然过期 ```lua -- 批量设置过期脚本 for _,key in ipairs(KEYS) do redis.call('EXPIRE', key, 30) end ``` [^2][^4] 2. **制造高并发请求** - 使用JMeter/Locust模拟1000+并发请求这些Key - **监控指标**： - 数据库QPS突增幅度（如从200QPS升至5000QPS） - Redis缓存命中率骤降至0% - 接口响应延迟是否超过阈值（如>500ms）[^4] 3. **验证防御机制** - 随机TTL方案：检查Key的TTL是否满足 $$ TTL_{real} = TTL_{base} + random(0, 300) $$ - 熔断机制：观察数据库QPS超过阈值时是否触发请求拒绝[^2][^4] --- ### 二、缓存穿透测试方法 **核心目标**：验证对非法请求的拦截能力 **测试步骤**： 1. **构造非法请求** - 生成不存在Key的请求集（如负ID、UUID随机字符串） - 示例数据集：`["user_-1", "product_9999999", "order_abc123"]` 2. **发起持续攻击** - 以200QPS持续发送非法请求10分钟 - **关键监控点**： - Redis是否持续返回`nil` - 数据库是否持续执行无效查询（如`SELECT * FROM users WHERE id=-1`）[^3] 3. **验证防御方案** - 布隆过滤器：检查非法Key是否被拦截（误判率需<0.1%） - 空值缓存：确认`user_-1`等Key被缓存为`""`且TTL=60s[^3] --- ### 三、缓存击穿测试方法 **核心目标**：验证热点Key失效时的并发控制能力 **测试步骤**： 1. **模拟热点Key失效** - 设置热点Key（如`hot_product_123`）并手动`DEL`触发过期 - 使用`redis-cli debug sleep 30`阻塞Redis模拟重建延迟 2. **制造并发重建请求** - 启动500个并发线程同时读取该Key - 监控数据库连接数峰值（如从50激增至500）[^1] 3. **验证解决方案** - **互斥锁方案**： - 检查是否仅1个线程执行`SETNX lock_product_123 1` - 观察其他线程是否等待（响应延迟应≈缓存重建时间） - **逻辑过期方案**： - 修改逻辑过期字段为过去时间（如`expire_at: 1672500000`） - 验证是否返回旧数据并异步重建缓存[^1] --- ### 四、监控与断言设计 | 测试类型 | 通过标准（断言） | 监控工具 | |------------|------------------------------------------|-----------------------| | 雪崩测试 | 数据库QPS增长<300%且不宕机 | Grafana + Prometheus | | 穿透测试 | 非法请求数据库命中率=0% | Redis慢查询日志 | | 击穿测试 | 热点Key并发重建时数据库连接数<最大连接数80% | Zabbix报警机制 | > 关键提示：所有测试需在**预发布环境**进行，避免影响线上服务[^4]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

骆驼整理说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值