使用redis可能会出现的问题(穿透、击穿、雪崩等)

缓存三大问题解析

如果redis宕机了,或者链接不上,怎么办?
如果redis缓存在高峰期到期失效,在这个时刻请求会向雪崩一样,直接访问数据库如何处理?
如果用户不停地查询一条不存在的数据,缓存没有,数据库也没有,那么会出现什么情况,如何处理?

1、缓存穿透

  • 是指查询一个一定不存在的数据,由于缓存是不命中,将去查询数据库,但是数据库也无此记录,这导致这个不存在的数据每次请求都要到数据库查询,失去了缓存的意义。这是利用redis和mysql的机制(redis缓存一旦不存在,就访问mysql),直接绕过缓存访问mysql,而制造的db请求压力
  • 解决
    空结果进行缓存,但它的过期时间会很短,最长不超过五分钟。
   jedis.setex("sku:" + skuId + ":info",60 * 3, JSON.toJSONString(""));

2、缓存雪崩

  • 缓存雪崩是指在我们设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全部转发到DB,DB瞬时压力过重雪崩。
  • 解决:
    原有的失效时间基础上增加一个随机值,比如1-5分钟随机,这样每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件。
Random r = new Random();
int time = r.nextInt(5) + 1;
jedis.setex("sku:" + skuId + ":info",time,JSON.toJSONString(pmsSkuInfo));

3、缓存击穿

  • 是某一个热点key在高并发访问的情况下,突然失效,导致大量的并发打进mysql数据库的情况
  • 解决
    使用分布式锁
    在这里插入图片描述
    • 第一种分布式锁:redis自带的分布式锁
      nx:只有在该key不存在时才能成功

        String token = UUID.randomUUID().toString();
        String OK = jedis.set("sku:" + skuId + ":lock",token,"nx","px",10*1000);
        if (StringUtils.isNotBlank(OK)&&OK.equals("OK")) {
                  //设置成功,可以在过期时间内访问数据库
                  }else {
                  //设置失败,自旋(该线程在睡眠几秒后,重新尝试访问本方法)
                  try {
                      Thread.sleep(3000);
                  } catch (InterruptedException e) {
                      e.printStackTrace();
                  }
                  return 本方法名;
              }
      
      • 如果在redis中的锁已经过期了,然后锁过期的那个请求又执行完毕,回来删锁,删除了其他线程的锁,怎么办?
         //用token确认是否是自己的锁
         String lockToken = jedis.get("sku:" + skuId + ":lock");
         if (StringUtils.isNotBlank(lockToken)&&lockToken.equals(token)) {
             //在访问mysql后,将mysql的分布锁释放
             jedis.del("sku:" + skuId + ":lock");
             }
      
      • 如果碰巧在查询redis锁还没删除的时候,正在网络传输时,锁过期了怎么办?
         //为防止在删除锁的前一瞬间锁过期,使用lua脚本使得在确认锁存在时瞬间删掉锁
         String script ="if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end";
         jedis.eval(script, Collections.singletonList("lock"),Collections.singletonList(token));
      
    • 第二种分布式锁:redisson框架,一个redis的带有juc的lock功能的客户端的实现(既有jedis的功能,又有juc的锁功能)

### 如何使用 Redis 解决缓存击穿穿透雪崩和热键问题的最佳实践 #### 处理缓存击穿 缓存击穿是指特定的热点 key 在某一时刻突然有大量的并发请求,由于这个 key 正好失效,所有的请求都会落在数据库上,给数据库带来巨大压力。为了应对这种情况: - **设置热点 Key 不过期**:对于一些非常热门的数据项,可以考虑将其 TTL 设置为永久有效,即不设定过期时间[^5]。 ```python import redis r = redis.Redis(host='localhost', port=6379, db=0) # 对于特别重要的key,设置其永不过期 r.set('hot_key', 'value', nx=True, ex=None) ``` #### 应对缓存穿透 缓存穿透指的是查询一个既不在缓存也不在存储系统中存在的数据。这通常是由恶意攻击者故意制造不存在的数据请求造成的。有效的防范措施包括但不限于: - **布隆过滤器**:利用布隆过滤器可以在一定程度上减少无效查询带来的性能损耗。虽然这种方法可能会引入少量误报率,但在实际应用中已经证明是非常高效的[^4]。 布隆过滤器本身不是一种直接解决问题的方法,而是作为前置条件判断机制来辅助处理。 - **返回空对象**:当发现某条记录确实不存在时,在缓存里写入一条特殊的标记(比如 `null` 或其他约定好的值),并给予较短的有效期限,从而阻止后续相同请求直达数据库。 ```python def get_data_from_cache_or_db(key): value = r.get(key) if not value: result = fetch_from_database(key) if result is None or result == "": # 数据库中无此数据 r.setex(key, timedelta(seconds=60), "") # 存储空字符串一段时间 else: r.setex(key, timedelta(hours=1), result) # 正常情况下的缓存策略 return result return value.decode() ``` #### 抵御缓存雪崩 为了避免因大量缓存同时到期而导致的服务不可用现象发生,可采取如下手段: - **随机化过期时间**:通过为不同类型的缓存添加不同的过期间隔或者在同一类别的基础上增加一定的随机偏移量,使得各个缓存不会集中在同一时间段内全部失效。 ```python for item in items_to_cache: ttl_with_jitter = base_ttl + random.randint(-jitter_range, jitter_range) r.setex(item['id'], timedelta(seconds=ttl_with_jitter), json.dumps(item)) ``` - **提前加载/预热缓存**:定期执行批量读取操作,预先填充即将过期的重要资源至缓存层,减轻高峰期到来时的压力。 #### 控制热键访问 面对高频率访问某些固定几个 keys 的场景,除了上述提到的一些通用方法外,还可以采用限流算法控制单个 API 接口每秒允许的最大请求数目,以及分布式锁技术确保多实例环境下的一致性和安全性。 ```python from functools import wraps from time import sleep class RateLimiter(object): def __init__(self, rate_limit_per_second): self.rate_limit_per_second = rate_limit_per_second self._last_call_time = {} def limit(self, func): @wraps(func) def wrapper(*args, **kwargs): now = int(time.time()) caller_id = threading.current_thread().ident last_called_at = self._last_call_time.get(caller_id) if (not last_called_at) or ((now - last_called_at) >= 1/self.rate_limit_per_second): self._last_call_time[caller_id] = now try: response = func(*args, **kwargs) return response finally: pass else: raise TooManyRequestsError("Too many requests") return wrapper @RateLimiter(rate_limit_per_second=1).limit def handle_hotspot_request(): ... ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值