预防缓存穿透方案设计

最新推荐文章于 2025-05-07 09:17:13 发布

软件开发随心记

最新推荐文章于 2025-05-07 09:17:13 发布

阅读量463

点赞数

CC 4.0 BY-SA版权

分类专栏： java

本文链接：https://blog.youkuaiyun.com/vipshop_fin_dev/article/details/82985659

java 专栏收录该内容

86 篇文章

订阅专栏

预防缓存穿透方案设计

前言

最近公司有一些公司频繁发生一些重大故障, 加上最近核心域凌晨比较多的一些缓存超时（Caused by: net.spy.memcached.internal.CheckedOperationTimeoutException: Timed out waiting for operation），不得不让人提高警惕。此时间段超时比较多，是因为该时间段是缓存预热高峰期。

排查有3种原因：

memcached服务端支持的并发连接数已满，spymemcache客户端操作超时；
memcache客户端添加获取数据时，主要spymemcache是基于nio异步获取的，所以当获取数据时会把任务添加任务队列等待执行，同时spymemcache也会做数据获取的链接超时验证，如果超过设置的超时时间(默认时间2500ms）就会报异常；
一次性get的key过多；

目前该超时在总请求数占比相对很小，假如某个时间点，有大部分超时，将导致大部分缓存穿透，对mysql数据库造成巨大压力。下面我们讨论一些关于缓存穿透的一些预防措施及相关设计。

缓存穿透

我们先来了解一下缓存穿透的定义

缓存穿透是指用户查询数据，在数据库没有，自然在缓存中也不会有。这样就导致用户查询的时候，在缓存中找不到，每次都要去数据库再查询一遍，然后返回空（相当于进行了两次无用的查询）。这样请求就绕过缓存直接查数据库，这也是经常提的缓存命中率问题.

业界有两种常用预防缓存穿透的方法

（1）采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层存储系统的查询压力。
（2）如果一个查询返回的数据为空（不管是数据不存在，还是系统故障），我们仍然把这个空结果进行缓存，但它的过期时间会很短，这个根据业务上允许的时间为准。通过这个直接设置的默认值存放到缓存，这样第二次到缓存中获取就有值了，而不会继续访问数据库，这种办法最简单粗暴！

针对第一种方法，大体的预防方案设计如下图
在这里插入图片描述

在访问所有资源(cache, storage)之前，将存在的key用布隆过滤器提前保存起来，做第一层拦截,例如：我们的价格服务有1亿个sku, 我们可以对所有sku对应的key做一份布隆过滤器，这样可以过滤掉一些不在本系统定价的一些请求，减少cache\storage资源的压力。

伪代码如下

if (!bloomfilter.mightContain(key)) {
   return null;
}
String value = redis.get(key);
if (value == null) {
   return null;
} else {
   //这里用mutex锁实现单线程回源i)
   value = getFromCacheDb(key);
}
return value;

private String getFromCacheDb(String key) {
   String redis = null;
   String value = redis.get(key);
   if (value == null) {
      value = db.get(key);
      redis.set(key, value, expire_secs);
      redis.del(key_mutex);
   } else{
      sleep(50);
      getFromCacheDb(key);//重试
   }
   return value;
}