布隆过滤器解决缓存穿透

一：概念

缓存穿透：查询一条不存在的数据，缓存中没有，则每次请求都打到数据库中，导致数据库瞬时请求压力过大，多见于爬虫恶性攻击

布隆过滤器：布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

原理：使用二进制数组，对要存入的key进行多次hash，分配到数组的不同位置，数组的值从0改成1，查询的时候也进行多次hash，命中到数组的位置的值都是1则key可能存在，如果有一个不是1则key一定不存在

布隆过滤器存在误判的情况，因为之前存入的key的hash值可能跟这次的一样，误判率一般设置为0.01，误判率越低，则执行的hash函数越多，执行效率越低

二：使用

1.引入redisson客户端依赖，配置文件中添加redis地址

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.17.3</version>
</dependency>


redisson:
  address: redis://ip:port
  password: password

2.配置redisson客户端

/**
 * redisson客户端使用Bloom过滤器拦截无效请求，解决缓存穿透
 * 项目初始化的时候初始化布隆过滤器(例如把商品编号都放进去)，用户发过来的请求(带商品编号)先经过布隆过滤器过滤，过滤掉的返回null
 *
 */
@Configuration
public class RedissinConfig {


   @Value("${redisson.address}")
   private String addressUrl;


    @Value("${redisson.password}")
    private String password;


    @Bean
    public RedissonClient redissonClient() {
    Config config = new Config();
    config.useSingleServer()
    .setAddress(addressUrl)
    .setRetryInterval(5000)
    .setTimeout(10000)
          .setPassword(password)
    .setConnectTimeout(10000);
    return Redisson.create(config);
    }

   @Bean
   public RBloomFilter<String> bloomFilter(RedissonClient redissonClient) {
      RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("bloom");
      bloomFilter.tryInit(1000000L, 0.01);
      return bloomFilter;
   }

}

3.项目启动后在监听器中初始化布隆过滤器

/**
 * @author shentong
 * @since 2022/3/8 9:34 PM 监听器，在项目启动的时候执行一些初始化操作
 */
@Slf4j
@Component
public class StartupListener implements ApplicationListener<ContextRefreshedEvent> {


   @Autowired
   private RBloomFilter bloomFilter;


   @Override
   public void onApplicationEvent(ContextRefreshedEvent contextRefreshedEvent) {
      try {
         log.info("项目启动了！！！！");
        
         bloomFilter.add("9");
         bloomFilter.add("6");
         bloomFilter.add("8");
      }
      catch (UnknownHostException e) {
         log.error(e.toString());
      }
   }
}

bloom过滤器初始化之后redis数据库中会产生一个hash值，和一个二进制数组

hash值

二进制数组

测试

/**
 * 布隆过滤器在监听器中已经初始化过,所以直接查询，7在bollom中不存在则直接过滤掉
 */
@Test
public void testBloom2() {
   if (!bloomFilter.contains("7")) {
      System.out.println("不存在key");
      return;
   }
   Object blooom = redisCache.getCacheObject("7");
   if (blooom != null) {
      System.out.println("从缓存中查到了数据");
   }
   else {
      System.out.println("从数据库中查到了数据");
      String bloom = "布隆过滤器";
      redisCache.setCacheObject("7", bloom);
   }
}

测试打印出 不存在key

如何redis中删除了key，或者添加了key，可以用定时器起一个线程查询redis中所有的key重新放到布隆过滤器中