redission布隆过滤器解决缓存穿透问题,定时刷新bloomFilter中的数据

本文介绍了如何在项目中使用布隆过滤器(Bloom Filter)实现数据更新,定时任务触发清空并重新构建,同时通过Bloom Filter避免缓存穿透问题。作者详细展示了Spring Boot中的应用实例,包括Autowired依赖注入和Redisson的集成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

https://blog.youkuaiyun.com/m0_50976581/article/details/113837970

布隆过滤器初体验: 项目启动时创建bloomFilter对象,给他存数据,再注入到容器里,这个就不写了,跟下面差不多

...
...

定时任务触发,清空bloomFilter,存入最新的数据。

/**
 * @author gaoyuzheng
 */
@Component
public class BloomTask {
    @Autowired
    PmsFeign pmsFeign;
    @Autowired
    RBloomFilter rBloomFilter;
    @Autowired
    RedissonClient redissonClient;
    //每天凌晨2点刷新bloomFilter
    @Scheduled(cron = "0 0 2 * * ? ")
    public void flashBloom(){
        //不delete()原有旧数据还在
        rBloomFilter.delete();
        rBloomFilter = redissonClient.getBloomFilter("index:bloomFilter");
        //定时刷新,不需要设置特别大
        rBloomFilter.tryInit(50000l, 0.05);
        //openFeign远程调用 查询新数据 更新到bloomFilter
        ResponseVo<List<CategoryEntity>> categoryEntityByparentId = pmsFeign.getCategoryEntityByparentId(0l);
        List<CategoryEntity> categoryEntityList = categoryEntityByparentId.getData();
        for (CategoryEntity categoryEntity : categoryEntityList) {
            Long cId = categoryEntity.getId();
            rBloomFilter.add("categoryId:" + cId);
        }
    }
}

避免缓存穿透,判断有没有,没有就return

       
 if (!rBloomFilter.contains("categoryId:"+cId)){
            return null;
        }

完成!!!

布隆过滤器用于解决缓存穿透问题的关键在于其能够高效地判断一个元素是否存在集合中,但可能会有误判(即认为不存在但实际上存在)。要将缓存区的数据放入布隆过滤器,通常涉及以下几个步骤[^1]: 1. **初始化布隆过滤器**: 创建一个布隆过滤器对象,指定所需的位数组大小(内存容量)和哈希函数的数量。示例代码可能如下所示: ```python from bloomfilter import BloomFilter filter = BloomFilter(capacity=10000, error_rate=0.001) ``` 2. **添加数据到过滤器**: 对于每个缓存中的数据项,应用多个不同的哈希函数将其转换为位数组索引位置。这样可以分散冲突的概率。例如: ```python key_to_store = "some_key" hash_functions = [hashlib.sha1(key_to_store.encode()).hexdigest(), ...] # 使用多个哈希函数 for h in hash_functions: filter.add(h) ``` 3. **查询过滤器**: 当接收到一个新的请求时,通过相同的哈希函数计算键的哈希值,检查相应的位是否已被设置。如果大部分位都被设置,则认为该键可能存在,进一步查询缓存数据库。 4. **处理结果**: 如果布隆过滤器返回可能是存在的结果,再从缓存数据库确认数据。如果是误判,意味着数据可能已经被删除或从未存在于缓存中,需要根据业务逻辑处理。 需要注意的是,布隆过滤器不保证绝对精确性,所以当有可能出现误判时,需要配合其他机制(如分布式锁或数据库的乐观锁)来进一步验证。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值