redis的雪崩和穿透(击穿)

本文深入探讨了缓存穿透和雪崩现象,分析了它们的成因及对数据库的压力,提出了包括布隆过滤器、缓存空值、设置不同过期时间等在内的多种解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.什么是缓存穿透

一般的缓存系统,都是按照key值去缓存查询,如果不存在对应的value,就应该去DB中查找 。这个时候,如果请求的并发量很大,就会对后端的DB系统造成很大的压力。这就叫做缓存穿透。关键词:缓存value为空;并发量很大去访问DB。

造成的原因

1.业务自身代码或数据出现问题;2.一些恶意攻击、爬虫造成大量空的命中,此时会对数据库造成很大压力。

解决方法

1.设置布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,
从避免了对底层存储系统的查询压力。
2. 如果一个查询返回的数据为空,不管是数据不存在还是系统故障,我们仍然把这个结果进行缓存,但是它的过期时间会很短
最长不超过5分钟。

二、雪崩

1.什么是雪崩

因为缓存层承载了大量的请求,有效的保护了存储 层,但是如果缓存由于某些原因,整体不能够提供服务,于是所有的请求,就会到达存储层,存储层的调用量就会暴增,造成存储层也会挂掉的情况。缓存雪崩的英文解释是奔逃的野牛,指的是缓存层当掉之后,并发流量会像奔腾的野牛一样,大量后端存储。

存在这种问题的一个场景是:当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,大量数据会去直接访问DB,此时给DB很大的压力。

2.解决方法

(1)设置redis集群和DB集群的高可用,如果redis出现宕机情况,可以立即由别的机器顶替上来。这样可以防止一部分的风险。

(2)使用互斥锁

在缓存失效后,通过加锁或者队列来控制读和写数据库的线程数量。比如:对某个key只允许一个线程查询数据和写缓存,其他线程等待。单机的话,可以使用synchronized或者lock来解决,如果是分布式环境,可以是用redis的setnx命令来解决。

(3)不同的key,可以设置不同的过期时间,让缓存失效的时间点不一致,尽量达到平均分布。

(4)永远不过期

redis中设置永久不过期,这样就保证了,不会出现热点问题,也就是物理上不过期。

(5)资源保护

使用netflix的hystrix,可以做各种资源的线程池隔离,从而保护主线程池。

作者:怎么肥事
来源:优快云
原文:https://blog.youkuaiyun.com/lala12d/article/details/82777742
版权声明:本文为博主原创文章,转载请附上博文链接!

### Redis 雪崩击穿穿透的区别与解决方案 #### 一、Redis 雪崩 Redis 雪崩是指当大量缓存数据在同一时间过期,而这些数据又都需要从后端数据库加载时,可能会导致后端数据库压力骤增甚至崩溃的情况。这种情况通常发生在设置了相同的过期时间或者大批量的热点数据集中失效的情况下。 - **发生原因**: 当多个缓存项几乎同时到期,应用会尝试重新加载这些数据到缓存中,这可能导致大量的请求直接发送给底层数据库[^1]。 - **解决方案**: - 使用随机化的过期时间,避免所有的键在同一时刻过期。 - 设置永不过期的缓存,并定期更新其内容。 - 实现异步预热机制,在高峰期之前主动刷新即将过期的数据。 ```python import time from random import randint def set_random_expiry(redis_client, key, value, base_ttl): ttl_with_jitter = base_ttl + randint(-base_ttl//10, base_ttl//10) # 添加抖动 redis_client.set(key, value, ex=ttl_with_jitter) set_random_expiry(redis_client, 'example_key', 'example_value', 60) ``` --- #### 二、Redis 击穿 Redis 击穿指的是某个高并发访问的热点数据在缓存中不存在(可能是刚刚过期),此时所有请求都打到底层数据库上,造成瞬时流量高峰的现象。 - **发生原因**: 即使单个热门键的查询频率很高,但如果该键恰好在此刻被清除或过期,则可能引发底层数组的压力增加[^2]。 - **解决方案**: - 对于高频次访问的关键字采用永久存储的方式处理。 - 加锁控制同一时间内只有一个线程可以去读取并填充这个缺失的缓存条目,其他线程等待即可完成操作后再返回结果。 ```python lock_name = f"cache_lock:{key}" if not redis_client.exists(lock_name): try: redis_client.set(lock_name, "true", nx=True, ex=5) # 创建分布式锁 data_from_db = fetch_data_from_database() # 查询DB redis_client.set(key, data_from_db, ex=expire_time) # 更新缓存 finally: redis_client.delete(lock_name) # 删除锁 else: while True: # 轮询直到新值可用 cached_result = redis_client.get(key) if cached_result is not None: break time.sleep(0.1) ``` --- #### 三、Redis 穿透 Redis 穿透指某些恶意攻击者故意构造一些非法参数试图绕开缓存逻辑直达后台服务的行为;或者是由于业务错误配置使得部分本应命中却未命中的情况频繁出现从而浪费资源。 - **发生原因**: 如果应用程序收到一个根本就不存在的有效记录对应的ID号作为输入变量传入进来的话,那么每次这样的请求都将无法利用现有的任何一层高速缓冲区结构来加速响应速度而是不得不每次都回退至原始持久化介质上去检索资料[^3]。 - **解决方案**: - 增加布隆过滤器(Bloom Filter),用于判断是否存在对应实体再决定是否继续向下游发起调用动作。 - 返回空对象占位符技术,即对于确实查无此物的情形也给予一定时限内的假象表示已存在以便减少后续重复劳动成本。 ```java public Object getWithBloomFilter(String id){ boolean mightContain = bloomFilter.mightContain(id); if (!mightContain){ return null; // 不可能存在,直接返回null } String cacheValue = redisTemplate.opsForValue().get(id); if (cacheValue != null){ return deserialize(cacheValue); // 存在于缓存中则反序列化返回 } synchronized(this.getClass()){ cacheValue = redisTemplate.opsForValue().get(id); if (cacheValue == null){ // 双重校验锁定模式 Object dbResult = queryFromDatabaseById(id); if(dbResult==null){ redisTemplate.opsForValue().setIfAbsent(id,"NULL_OBJECT_PLACEHOLDER", Duration.ofMinutes(5)); return null; } else{ String serializedData = serialize(dbResult); redisTemplate.opsForValue().set(id,serializedData ,Duration.ofHours(1)); return dbResult; } } else { return deserialize(cacheValue); } } } ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值