redis——缓存雪崩、缓存穿透和缓存击穿

本文详细介绍了缓存系统中的三大问题:缓存雪崩、缓存击穿和缓存穿透,以及针对这些问题的解决方案。缓存雪崩可通过均匀设置过期时间、互斥锁和后台更新缓存来缓解;缓存穿透可通过布隆过滤器预先拦截无效请求;缓存击穿则可采用不设置热点数据过期时间、互斥锁策略来应对。此外,构建Redis高可用集群也能提高系统的稳定性。

前言

​ 当用户访问数据时,如果用户的请求直接访问数据库的话,数量一多数据库就很容易奔溃,所以为了避免这个问题,会用 Redis 作为缓存层。 Redis 是内存数据库,相当于数据缓存在内存,内存的读写速度比硬盘快好几个数量级,这样大大提高了系统性能。

​ 但是引入了缓存层,就会有缓存异常的三个问题,分别是缓存雪崩、缓存击穿、缓存穿透

一、缓存雪崩

​ 通常我们为了保证缓存中的数据与数据库中的数据一致性,会给 Redis 里的数据设置过期时间,当缓存数据过期后,如果用户访问的数据不在缓存里,业务系统需要重新生成缓存,因此就会访问数据库,并将数据更新到 Redis 里。

​ 当大量缓存数据在同一时间过期(失效)或者 Redis 故障宕机时,如果此时有大量的用户请求,都无法在 Redis 中处理,于是全部请求都直接访问数据库,从而导致数据库的压力骤增,严重的会造成数据库宕机,从而形成一系列连锁反应,造成整个系统崩溃,这就是缓存雪崩的问题。

image-20220507151755576

如何解决这个问题呢?针对不同的原因有不同的策略。

1.大量数据同时过期

  • 均匀设置过期时间

    ​ 当给缓存数据设置过期时间时,应该避免将大量的数据设置成同一个过期时间,这样就保证数据不会在同一时间过期。

  • 互斥锁

    ​ 当业务线程在处理用户请求时,如果发现访问的数据不在 Redis 里,就加个互斥锁,保证同一时间内只有一个请求来构建缓存(从数据库读取数据,再将数据更新到 Redis 里),当缓存构建完成后,再释放锁。未能获取互斥锁的请求,要么等待锁释放后重新读取缓存,要么就返回空值或者默认值。

    ​ 实现互斥锁的时候,最好设置超时时间,不然第一个请求拿到了锁,然后这个请求发生了某种意外而一直阻塞,一直不释放锁,这时其他请求也一直拿不到锁,整个系统就会出现无响应的现象。

  • 后台更新缓存

    ​ 业务线程不再负责更新缓存,缓存也不设置有效期,而是让缓存“永久有效”,并将更新缓存的工作交由后台线程定时更新

    ​ 事实上,缓存数据不设置有效期,并不是意味着数据一直能在内存里,因为当系统内存紧张的时候,有些缓存数据会被“淘汰”,而在缓存被“淘汰”到下一次后台定时更新缓存的这段时间内,业务线程读取缓存失败就返回空值,业务的视角就以为是数据丢失了。

    ​ 为了解决这个问题,在业务线程发现缓存数据失效后(缓存数据被淘汰),可以通过消息队列发送一条消息通知后台线程更新缓存,后台线程收到消息后,在更新缓存前可以判断缓存是否存在,存在就不执行更新缓存操作;不存在就读取数据库数据,并将数据加载到缓存。在业务刚上线的时候,我们最好提前把数据缓起来,而不是等待用户访问才来触发缓存构建,这就是所谓的缓存预热

2.redis故障宕机

  • 服务熔断或请求限流机制

    服务熔断机制,就是暂停业务应用对缓存服务的访问,直接返回错误,不用再继续访问数据库,然后等到 Redis 恢复正常后,再允许业务应用访问缓存服务。但是这样会导致其他业务也无法正常工作,所以一般会采取请求限流机制

    限流是只将少部分请求发送到数据库进行处理,再多的请求可以通过降级,返回一些默认值或者空值,等到 Redis 恢复正常并把缓存预热完后,再解除请求限流的机制。

  • 构建 Redis 缓存高可靠集群

    ​ 通过主从节点的方式构建 Redis 缓存高可靠集群。如果 Redis 缓存的主节点故障宕机,从节点可以切换成为主节点,继续提供缓存服务。

二、缓存穿透

​ 缓存穿透是指用户访问的数据既不在缓存中,也不在数据库中。这样相当于无视缓存直接对数据库进行访问,使得数据库压力骤增。

缓存穿透一般有两种情况:

1.业务误操作将缓存和数据库中的数据误删了。

2.恶意攻击。


解决方案如下:

1.对非法请求进行限制

​ 我们可以在 API 入口处判断求请求参数是否合理,如果判断出是恶意请求就直接返回错误。

2.缓存空值

​ 当发现缓存穿透时,可以针对查询的数据,在缓存中设置一个空值或者默认值,这样后续请求就可以从缓存中读取到空值然后返回。但是如果黑客使用不同请求攻击的话,那么我们缓存的值就无效了。

3.使用布隆过滤器

​ 在缓存之前增加布隆过滤器,将数据库中所有可能的数据哈希映射到布隆过滤器中。然后对每个请求进行如下判断:

  • 请求数据的 key 不存在于布隆过滤器中,可以确定数据就一定不会存在于数据库中,系统可以立即返回不存在。
  • 请求数据的 key 存在于布隆过滤器中(也可能不存在数据库),则继续再向缓存中查询。

一般布隆过滤器是常用的方法,它能够对访问的请求起到了一定的初筛作用,避免了因数据不存在引起的查询压力。

三、缓存击穿

我们的业务中被频繁地访问的数据称为热点数据

如果缓存中的某个热点数据过期了,此时大量的请求访问了该热点数据,就无法从缓存中读取,直接访问数据库,数据库很容易就被高并发的请求冲垮,这就是缓存击穿的问题。

缓存击穿可以看成缓存雪崩的一个子集

解决如下:

  • 不给热点数据设置过期时间,由后台异步更新缓存,或者在热点数据准备要过期前,提前通知后台线程更新缓存以及重新设置过期时间。
  • 互斥锁方案,保证同一时间只有一个业务线程更新缓存,未能获取互斥锁的请求,要么等待锁释放后重新读取缓存,要么就返回空值或者默认值。
<think> 嗯,用户这次问的是Redis缓存问题的测试方法,正好结合之前讨论过的雪崩穿透击穿的概念。用户应该是运维或测试工程师,需要在实际环境中验证缓存机制的可靠性。 之前解释过三种问题的区别:雪崩是大面积失效,穿透是查询不存在数据,击穿是热点key失效。现在用户关心的是如何模拟这些场景进行测试,这很实用——毕竟线上故障的代价太大,提前测试能规避风险。 从引用材料看,[1]提到击穿的互斥锁逻辑过期方案,[2][4]给出雪崩的集群TTL随机化方案,[3]则描述穿透的攻击特征。测试方法可以从这些解决方案逆推: 雪崩测试要模拟批量key同时过期,需要控制Redis的TTL设置;穿透测试要构造非法请求,得准备异常参数数据集;击穿测试最复杂,要精确控制单个热点key过期时间点并制造并发请求。 具体到技术实现: - 雪崩测试可以用Redis的批量过期命令或提前计算好TTL - 穿透测试需要脚本持续发送随机字符串等非常规参数 - 击穿测试的并发模拟工具选JMeter还是locust取决于用户技术栈 - 监控部分特别重要,比如grafana看数据库QPS是否突增 用户可能还隐含需求:这些测试会不会影响线上服务?所以得强调在预发布环境操作。另外测试数据构造的实用性——比如穿透测试的非法参数要覆盖边界值(空值/超长字符串等)。 相关问题设计成递进的比较好:从检测工具到防御机制验证,最后到全链路压测,这样用户能阶梯式深入。 </think> 以下是针对Redis缓存雪崩穿透击穿的详细测试方法,结合引用材料实际场景设计: --- ### 一、缓存雪崩测试方法 **核心目标**:验证批量缓存失效时数据库的容灾能力 **测试步骤**: 1. **模拟批量失效** - 批量写入1000个测试Key,设置相同TTL(如30秒) - 使用`EXPIREALL`命令(需自定义Lua脚本)或等待自然过期 ```lua -- 批量设置过期脚本 for _,key in ipairs(KEYS) do redis.call('EXPIRE', key, 30) end ``` [^2][^4] 2. **制造高并发请求** - 使用JMeter/Locust模拟1000+并发请求这些Key - **监控指标**: - 数据库QPS突增幅度(如从200QPS升至5000QPS) - Redis缓存命中率骤降至0% - 接口响应延迟是否超过阈值(如>500ms)[^4] 3. **验证防御机制** - 随机TTL方案:检查Key的TTL是否满足 $$ TTL_{real} = TTL_{base} + random(0, 300) $$ - 熔断机制:观察数据库QPS超过阈值时是否触发请求拒绝[^2][^4] --- ### 二、缓存穿透测试方法 **核心目标**:验证对非法请求的拦截能力 **测试步骤**: 1. **构造非法请求** - 生成不存在Key的请求集(如负ID、UUID随机字符串) - 示例数据集:`["user_-1", "product_9999999", "order_abc123"]` 2. **发起持续攻击** - 以200QPS持续发送非法请求10分钟 - **关键监控点**: - Redis是否持续返回`nil` - 数据库是否持续执行无效查询(如`SELECT * FROM users WHERE id=-1`)[^3] 3. **验证防御方案** - 布隆过滤器:检查非法Key是否被拦截(误判率需<0.1%) - 空值缓存:确认`user_-1`等Key被缓存为`""`且TTL=60s[^3] --- ### 三、缓存击穿测试方法 **核心目标**:验证热点Key失效时的并发控制能力 **测试步骤**: 1. **模拟热点Key失效** - 设置热点Key(如`hot_product_123`)并手动`DEL`触发过期 - 使用`redis-cli debug sleep 30`阻塞Redis模拟重建延迟 2. **制造并发重建请求** - 启动500个并发线程同时读取该Key - 监控数据库连接数峰值(如从50激增至500)[^1] 3. **验证解决方案** - **互斥锁方案**: - 检查是否仅1个线程执行`SETNX lock_product_123 1` - 观察其他线程是否等待(响应延迟应≈缓存重建时间) - **逻辑过期方案**: - 修改逻辑过期字段为过去时间(如`expire_at: 1672500000`) - 验证是否返回旧数据并异步重建缓存[^1] --- ### 四、监控与断言设计 | 测试类型 | 通过标准(断言) | 监控工具 | |------------|------------------------------------------|-----------------------| | 雪崩测试 | 数据库QPS增长<300%且不宕机 | Grafana + Prometheus | | 穿透测试 | 非法请求数据库命中率=0% | Redis慢查询日志 | | 击穿测试 | 热点Key并发重建时数据库连接数<最大连接数80% | Zabbix报警机制 | > 关键提示:所有测试需在**预发布环境**进行,避免影响线上服务[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值