Redis——Redis实战：2 商户查询缓存

2 商户查询缓存

2.1 缓存介绍

2.1.1 什么是缓存

• 缓存（Cache），就是数据交换的缓冲区，是存储数据的临时地方，一般读写性能较高；

• 例：

  //例1：本地用于高并发
  static final ConcurrentHashMap<K,V> map = new ConcurrentHashMap<>();
  
  //例2：用于Redis等缓存
  static final Cache<K,V> USER_CACHE = CacheBuilder.newBuilder().build();
  
  //例3：本地缓存
  static final Map<K,V> map =  new HashMap();
  //由于被Static修饰，所以随着类的加载而被加载到内存之中，作为本地缓存
  //由于又被final修饰，所以其引用（map）和对象（new HashMap()）之间的关系是固定的，不能改变，因此不用担心赋值（=）导致缓存失效
  

2.1.2 为什么使用缓存

• 三个字概括：速度快；

• 缓存数据存储于代码中，而代码运行在内存中，内存的读写性能远高于磁盘，缓存可以大大降低用户访问并发量带来的服务器读写压力；

• 实际开发过程中，企业的数据量少则几十万，多则几千万。这么大数据量，如果没有缓存来作为"避震器"，系统是几乎撑不住的，所以企业会大量运用到缓存技术；

• 但是缓存也会增加代码复杂度和运营的成本：

  

2.1.3 如何使用缓存

• 实际开发中，会构筑多级缓存来使系统运行速度进一步提升。例如：本地缓存与Redis中的缓存并发使用；
• 例：
  • 浏览器缓存：主要是存在于浏览器端的缓存；
  • 应用层缓存：可以分为Tomcat本地缓存，比如上面提到的map，或者是使用Redis作为缓存；
  • 数据库缓存：在数据库中有一片空间是buffer pool，增改查数据都会先加载到Mysql的缓存中；
  • CPU缓存：当代计算机最大的问题是CPU性能提升了，但内存读写速度没有跟上，所以为了适应当下的情况，增加了CPU的L1，L2，L3级的缓存；

2.2 添加Redis缓存

2.2.1 缓存模型和思路

• 在查询商户信息时，是直接从数据库中查询，大致逻辑如下。直接查询数据库的速度是比较慢的，所以可以增加缓存；

  @GetMapping("/{id}")
  public Result queryShopById(@PathVariable("id") Long id) {
      //这里是直接查询数据库
      return shopService.queryById(id);
  }
  

• 标准的操作方式就是查询数据库之前先查询缓存，如果缓存数据存在，则直接从缓存中返回，如果缓存数据不存在，再查询数据库，然后将数据存入Redis缓存中；

  

2.2.2 给商户查询和商户类型查询添加Redis缓存

• 商户缓存

• 商户类型缓存：

2.3 缓存更新策略

2.3.1 介绍

• 缓存更新是Redis为了节约内存而设计出来的一个东西，主要是因为内存数据宝贵，如果向Redis插入太多数据，就可能会导致缓存中的数据过多，所以Redis会对缓存中的部分数据进行更新，或者将其叫为淘汰更合适；

• 三种策略：

  • 内存淘汰：Redis自动进行。当Redis内存达到设定的max-memery的时候，会自动触发淘汰机制，淘汰掉一些不重要的数据（可以自己设置策略方式）；
  • 超时剔除：当给Redis设置了过期时间TTL之后，Redis会将超时的数据进行删除，方便继续使用缓存；
  • 主动更新：可以手动调用方法把缓存删掉，通常用于解决缓存和数据库不一致问题；

  

• 如何选择？

  • 低一致性需求：使用内存淘汰。例：店铺类型的查询缓存；
  • 高一致性需求：主动更新，并以超时剔除作为兜底方案。例：店铺详情查询的缓存。

2.3.2 数据库与缓存不一致解决方案

• 由于缓存的数据源是数据库，而数据库的数据是会发生变化的。因此，如果当数据库中数据发生变化，而缓存却没有同步，此时就会有一致性问题存在，其后果是：用户如果使用缓存中的过时数据，就会产生类似多线程数据安全问题，从而影响业务、产品口碑等；

• 解决方案（主动更新）有以下几种：

  • Cache Aside Pattern：人工编码方式缓存。调用者在更新完数据库后再去更新缓存，也称之为双写方案；
  • Read/Write Through Pattern：由系统本身完成，数据库与缓存的问题交由系统本身去处理；
  • Write Behind Caching Pattern：调用者只操作缓存，其他线程去异步处理数据库，实现最终一致；

  

• 一般情况下，会使用方案一。使用方案一时，有以下三个问题需要考虑：

  • 删除缓存还是更新缓存？

    • 更新缓存：每次更新数据库时都更新缓存，若缓存中的数据更新后并没有被使用，则对于缓存的无效写操作较多；
    • 删除缓存：更新数据库时让缓存中对应的数据失效，查询时再将对应的数据写入缓存；

  • 如何保证缓存与数据库的操作的同时成功或失败？

    • 若采用的是单体系统，将对缓存与对数据库的操作放在一个事务中；
    • 若采用的是分布式系统，利用TCC等分布式事务方案；

  • 先操作缓存还是先操作数据库？

    • 应当是先操作数据库，再删除缓存；
    • 原因：如果选择第一种方案，并且选择先操作缓存，再操作数据库。那么当两个线程并发来访问时，假设线程1先来，该线程先把缓存删了。此时线程2过来，他查询缓存发现数据不存在，于是从数据库中获取到数据（旧数据）后将其写入缓存。但当他写入缓存后，线程1再执行更新数据库的动作。此时，数据库中的数据是新的，而缓存中的数据是旧的。

    

• 最佳实践：

  • 查询数据时：
    1. 先查询缓存；
    2. 如果缓存命中，直接返回；
    3. 如果缓存未命中，则查询数据库；
    4. 将数据库写入缓存；
    5. 返回结果；
  • 修改数据库时（保证数据库和缓存的原子性）：
    1. 先修改数据库；
    2. 然后删除缓存。

2.3.3 实现缓存中的商铺信息与数据库双写一致

• 修改ShopController中的业务逻辑，满足下面的需求：

  • 根据id查询店铺时，如果缓存未命中，则查询数据库，将数据库结果写入缓存，并设置超时时间；
  • 根据id修改店铺时，先修改数据库，再删除缓存；

• 代码：

  

2.5 缓存穿透

2.5.1 介绍

• 缓存穿透：当客户端访问不存在的数据时，先请求Redis，但是此时Redis中没有数据，就会访问到数据库，但是数据库中也没有数据。这种现象就是缓存穿透，即这个数据穿透了缓存，直击数据库。数据库能够承载的并发不如Redis这么高，如果大量的请求同时过来访问这种不存在的数据，这些请求就都会访问到数据库；

  

• 常见的解决方案有两种：

  • 缓存空对象
    • 哪怕这个数据在数据库中不存在，也把这个数据存入到Redis中去。这样，下次用户过来访问这个不存在的数据时，在Redis中也能找到这个数据，就不会再请求数据库了；
    • 优点：实现简单，维护方便；
    • 缺点：额外的内存消耗、可能造成短期的不一致；
  • 布隆过滤
    • 布隆过滤器其实采用的是哈希思想来解决这个问题，通过一个庞大的二进制数组，走哈希思想去判断当前这个要查询的这个数据是否存在。如果布隆过滤器判断这个数据存在，则放行，这个请求就会去访问Redis，哪怕此时Redis中的数据过期了，但是数据库中一定存在这个数据，在数据库中查询出来这个数据后，再将其放入到Redis中。假设布隆过滤器判断这个数据不存在，则直接返回；
    • 优点：内存占用较少，没有多余key
    • 缺点：实现复杂、存在误判可能（原因：布隆过滤器走的是哈希思想，只要使用了哈希思想，就可能存在哈希冲突）。

2.5.2 编码解决商品查询的缓存穿透问题

• 原来的逻辑：如果发现这个数据在Mysql中不存在，直接就返回404，这样是会存在缓存穿透问题的；

• 现在的逻辑：

  • 如果这个数据不存在，不返回404 ，还是会把这个数据写入到Redis中，并且将value设置为空；
  • 当用户再次发起查询时，若命中Redis，判断这个value是否是null；
  • 如果是null，则是之前写入的空数据，证明是缓存穿透数据，如果不是，则直接返回数据；

  

• 代码实现：

  

• 解决缓存穿透的其它方案：

  • 增强id的复杂度，避免被猜测id规律；
  • 做好数据的基础格式校验；
  • 加强用户权限校验；
  • 做好热点参数的限流。

2.6 缓存雪崩

• 缓存雪崩：指在同一时段大量的缓存key同时失效（同时过期）或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力；

  

• 解决方案：

  • 给不同的Key的TTL添加随机值
  • 利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

2.7 缓存击穿

2.7.1 介绍

• 缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击；

  • 假设线程1在查询缓存发现未命中后，本来应该去查询数据库，然后把这个数据重新加载到缓存的。此时只要线程1走完这个逻辑，其他线程就都能从缓存中加载这些数据了；

  • 但是假设在线程1的逻辑没有走完的时候，后续有线程2、线程3、线程4同时过来访问当前这个方法。由于目前缓存中没有要查找的数据，他们就会在同一时间去访问数据库，同一时间去执行数据库代码，就会造成数据库访问压力过大；

    

• 解决方案一——互斥锁：

  • 因为锁能实现互斥性。假设有多个线程过来，只能一个线程一个线程地来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能。因为此时会让查询的性能从并行变成了串行，可以采用tryLock方法 + double check来解决这样的问题；
  • 假设现在线程1过来访问，它查询缓存没有命中，但此时它获得到了锁的资源，那么线程1就会单独去执行逻辑，即查询数据库重建缓存数据，并将数据库中的数据写入缓存。假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就先休眠，直到线程1把锁释放后，线程2获得到锁，才能执行逻辑。由于线程1已经将数据库中的数据写入到缓存中了，那么此时线程2就能够从缓存中直接拿到数据了；

• 解决方案二——逻辑过期：

  • 之所以会出现这个缓存击穿问题，主要原因是在于对key设置了过期时间。假设不设置过期时间，其实就不会有缓存击穿的问题，但是不设置过期时间，这样数据不就一直占用内存了吗？可以采用逻辑过期方案；
  • 把过期时间设置在Redis的value中。注意：这个过期时间并不会直接作用于Redis，而是后续会通过逻辑去处理；
  • 假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了。此时线程1会获得互斥锁，那么其他线程会被阻塞，线程1会开启一个新线程去查询数据库重建缓存数据，并将数据库中的数据写入缓存，再归还锁，而线程1直接返回过期的数据。假设在未归还锁资源时，线程3过来访问，由于线程2（即线程1创建的新线程）持有着锁，所以线程3无法获得锁，线程3也直接返回过期的数据，只有等到新线程2把重建数据构建完后，其他线程才能走返回正确的数据；
  • 这种方案巧妙在于，异步的构建缓存。缺点在于在构建完缓存之前，返回的都是脏数据；

  

• 两种解决方案的对比：

  • 互斥锁方案：由于保证了互斥性，所以数据一致，且实现简单。因为仅仅只需要加一把锁而已，也没有额外的内存消耗。缺点在于有锁就有死锁问题的发生，且只能串行执行，性能会受到影响；

  • 逻辑过期方案：线程读取过程中不需要等待，性能好，有一个额外的线程持有锁去进行重构数据，但是在重构数据完成前，其他的线程只能返回之前的数据，且实现起来麻烦；

    

2.7.2 利用互斥锁解决缓存击穿问题

• 核心思路：相较于原来从缓存中查询不到数据后直接查询数据库而言，现在的方案是：

  • 进行查询之后，如果从缓存没有查询到数据，则进行互斥锁的获取；

  • 获取互斥锁后，判断当前线程是否持有锁，如果没有则休眠，过一会再进行尝试，直到获取到锁为止，才能进行查询；

  • 获取到了锁的线程，到数据库进行查询，查询后将数据写入Redis缓存，再释放锁，返回数据，利用互斥锁就能保证只有一个线程去执行操作数据库的逻辑，防止缓存击穿；

• 需求：修改根据id查询商铺的业务，基于互斥锁方式来解决缓存击穿问题；

• 互斥锁的实现：核心思路就是利用Redis的setnx方法来表示获取锁；
  • 该方法含义是Redis中如果没有这个key，则插入成功，返回1，在stringRedisTemplate中返回true；
  • 如果有这个key则插入失败，则返回0，在stringRedisTemplate返回false；
  • 可以通过true，或false，来表示是否有线程成功插入key，成功插入的key的线程就认为该线程就是获得到锁的线程；

• 在ShopServiceImpl.java先创建两个方法，用于获取锁和释放锁：

• 在ShopServiceImpl.java中创建queryWithMutex方法，用互斥锁解决缓存击穿问题：

  

• 在ShopServiceImpl.java的查询商铺id的接口实现中，调用queryWithMutex方法：

2.7.3 基于逻辑过期方式解决缓存击穿问题

• 核心思路：

  • 当用户开始查询Redis时，判断是否命中；

  • 如果没有命中则直接返回空数据，不查询数据库；而一旦命中后，将value取出，判断value中的过期时间是否满足；

  • 如果没有过期，则直接返回Redis中的数据；如果过期，则在开启一个独立线程，该线程获得互斥锁，原本的线程则直接返回之前的旧数据，而独立线程去重构数据，重构完成后释放互斥锁；

• 需求：修改根据id查询商铺的业务，基于逻辑过期的方式来解决缓存击穿问题；

  

• 因为现在Redis中存储的数据的value需要带上过期时间，为了遵循开闭原则，新建一个实体类：src/main/java/com/hmdp/utils/RedisData.java

  package com.hmdp.utils;
  import lombok.Data;
  import java.time.LocalDateTime;
  
  @Data
  public class RedisData {
      private LocalDateTime expireTime;
      private Object data;
  }
  

• 在ShopServiceImpl中新增一个方法，利用单元测试进行缓存预热，也可以作为重建缓存的方法：

  //利用单元测试进行缓存预热，也可以作为重建缓存的方法
  public void saveShop2Redis(Long id, Long expireSecond) throws InterruptedException {
      //1、查询店铺
      Shop shop = getById(id);
      //模拟重建的延时
      Thread.sleep(200);
      //2、封装逻辑过期时间
      RedisData redisData = new RedisData();
      redisData.setData(shop);
      redisData.setData(LocalDateTime.now().plusSeconds(expireSecond));
      //3、写入Redis
      stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY + id, JSONUtil.toJsonStr(redisData));
  }
  

• 在测试类中：

  package com.hmdp;
  import com.hmdp.service.impl.ShopServiceImpl;
  import org.junit.jupiter.api.Test;
  import org.springframework.boot.test.context.SpringBootTest;
  import javax.annotation.Resource;
  
  @SpringBootTest
  class HmDianPingApplicationTests {
      @Resource
      private ShopServiceImpl shopService;
      @Test
      void testSaveShopo() throws InterruptedException {
          shopService.saveShop2Redis(1L, 10L);
      }
  }
  

• 正式代码：

  

• 在ShopServiceImpl.java的查询商铺id的接口实现中，调用queryWithLogicalExpire方法：

  

2.8 封装Redis工具类

• 基于StringRedisTemplate封装一个缓存工具类，满足下列需求：

  • 方法1：将任意Java对象序列化为JSON并存储在string类型的key中，并且可以设置TTL过期时间；

  • 方法2：将任意Java对象序列化为JSON并存储在string类型的key中，并且可以设置逻辑过期时间，用于处理缓存击穿问题；

  • 方法3：根据指定的key查询缓存，并反序列化为指定类型，利用缓存空值的方式解决缓存穿透问题；

  • 方法4：根据指定的key查询缓存，并反序列化为指定类型，需要利用逻辑过期解决缓存击穿问题；

• 工具类src/main/java/com/hmdp/utils/CacheClient.java：

  package com.hmdp.utils;
  
  import cn.hutool.core.util.BooleanUtil;
  import cn.hutool.core.util.StrUtil;
  import cn.hutool.json.JSONObject;
  import cn.hutool.json.JSONUtil;
  import lombok.extern.slf4j.Slf4j;
  import org.springframework.data.redis.core.StringRedisTemplate;
  import org.springframework.stereotype.Component;
  
  import java.time.LocalDateTime;
  import java.util.concurrent.ExecutorService;
  import java.util.concurrent.Executors;
  import java.util.concurrent.TimeUnit;
  import java.util.function.Function;
  
  import static com.hmdp.utils.RedisConstants.*;
  
  @Component
  @Slf4j
  public class CacheClient {
      private final StringRedisTemplate stringRedisTemplate;
      
      //此处通过构造函数注入，也可以通过@Resources注解注入
      public CacheClient(StringRedisTemplate stringRedisTemplate) {
          this.stringRedisTemplate = stringRedisTemplate;
      }
  
      //方法1：将任意Java对象序列化为JSON并存储在string类型的key中，并且可以设置TTL过期时间；
      public void set(String key, Object value, Long time, TimeUnit unit){ //unit是时间单位
          stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);
      }
  
      //方法2：将任意Java对象序列化为JSON并存储在string类型的key中，并且可以设置逻辑过期时间，用于处理缓存击穿问题；
      public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit){ //unit是时间单位
          //设置逻辑过期
          RedisData redisData = new RedisData();
          redisData.setData(value);
          redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));
          stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));
      }
  
      //方法3：根据指定的key查询缓存，并反序列化为指定类型，利用缓存空值的方式解决缓存穿透问题；
      public <R, ID> R queryWithPassThrough(String keyPrefix, ID id, Class<R> type, Function<ID, R> dbFallback, Long time, TimeUnit unit){
          //keyPrefix是key的前缀，前缀拼上id才是key
          String key = keyPrefix + id;
          //1、从Redis中查询商铺缓存
          String json = stringRedisTemplate.opsForValue().get(key);
          //2、判断缓存是否存在
          if(StrUtil.isNotBlank(json)){
              //3、存在，直接返回
              return JSONUtil.toBean(json, type);
          }
          //若缓存中存在，还要判断命中的是否是空值
          if(json != null){ //上面已经判断过有值的情况，此处判断无值的情况。无值的情况，不是空字符串就是null，所以此处只要判断是否为null，不是null就是为空值
              //返回错误信息
              return null;
          }
          //4、不存在，从数据库中查询
          R r = dbFallback.apply(id);
          //5、不存在，为避免缓存穿透，将空值写入Redis，并返回错误
          if(r == null){
              //将空值写入Redis
              stringRedisTemplate.opsForValue().set(key, "", CACHE_NULL_TTL, TimeUnit.MINUTES);
              //返回错误信息
              return null;
          }
          //6、存在，写入Redis
          this.set(key, r, time, unit);
          //7、返回
          return r;
      }
  
      //方法4：根据指定的key查询缓存，并反序列化为指定类型，需要利用逻辑过期解决缓存击穿问题；
      //创建一个线程池
      private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);
      public <R, ID> R queryWithLogicalExpire(String keyPrefix, ID id, Class<R> type, Function<ID, R> dbFallback, Long time, TimeUnit unit){
          String key = keyPrefix + id;
          //1、从Redis中查询缓存
          String json = stringRedisTemplate.opsForValue().get(key);
          //2、判断缓存是否存在
          if(StrUtil.isBlank(json)){
              //3、不存在，直接返回
              return null;
          }
          //4、存在，先把JSON反序列化为对象
          RedisData redisData = JSONUtil.toBean(json, RedisData.class);
          JSONObject data = (JSONObject) redisData.getData(); //获取到的其实是一个Object类型
          R r = JSONUtil.toBean(data, type);//将Object类型的对象，转换为R类型
          LocalDateTime expireTime = redisData.getExpireTime();
          //5、判断是否过期
          if(expireTime.isAfter(LocalDateTime.now())){ //判断设置的过期时间是否在当前时间之后
              //5.1、是则未过期，直接返回信息
              return r;
          }
          //5.2、已过期，需重建缓存
          //6、重建缓存
          //6.1、获取互斥锁
          String lockKey = LOCK_SHOP_KEY + id;
          boolean isLock = tryLock(lockKey);
          //6.2 判断是否获取锁成功
          if(isLock){
              //再次判断缓存是否存在。做双重检查，如果存在则无需重建缓存
              if (StrUtil.isNotBlank(json)) {
                  //3、存在，直接返回
                  return JSONUtil.toBean(json, type);
              }
              //6.3 成功，开启独立线程，实现缓存重建
              CACHE_REBUILD_EXECUTOR.submit(() -> {
                  try {
                      //查询数据库
                      R r1 = dbFallback.apply(id);
                      //写入Redis
                      this.setWithLogicalExpire(key, r1, time, unit);
                  } catch (Exception e) {
                      throw new RuntimeException(e);
                  }finally {
                      //释放锁
                      unLock(lockKey);
                  }
              });
          }
          //6.4 返回过期的信息
          return r;
      }
      //获取锁
      private boolean tryLock(String key){
          //setIfAbsent表示如果不存在，则设置成功，返回true，否则返回false。
          //10是锁的有效期时间，单位秒
          Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
          return BooleanUtil.isTrue(flag);
      }
      //释放锁
      private void unLock(String key){
          //把获取锁方法中创建的key删除即可
          stringRedisTemplate.delete(key);
      }
  }
  

• 工具类的使用：