Springboot RedisBlooom & BitSet & Guava BloomFilter 布隆过滤分析

最新推荐文章于 2023-12-22 17:30:46 发布

程序_艺术_人生

最新推荐文章于 2023-12-22 17:30:46 发布

阅读量662

点赞数 1

分类专栏： RedisBloom linux springboot 文章标签： redis

本文链接：https://blog.youkuaiyun.com/tangpengtao/article/details/118656490

版权

本文介绍了BloomFilter在缓存穿透、爬虫过滤等场景的应用，探讨了Guava BloomFilter和基于BitSet的实现，以及如何在单机环境下使用。接着，文章阐述了BloomFilter在集群环境中的应用，详细讲解了如何在Redis中集成RedisBloomFilter，并提供了CentOS7.6上安装Redis和加载redisbloom.so的步骤。最后，讨论了Spring Data Redis中引入BloomFilter的方法，并提醒在创建时需要注意的过期时间设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1: 使用 BloomFilter 背景

BloomFilter在项目过程中经常使用，比如缓存穿透、爬虫过滤、猜你喜欢多路召回过滤等，判断一个或多个元素是否在一个集合内。它的空间效率和查询时间都远远超过一般的算法，当然它的缺点是有一定的误识别率和删除困难。基于性能和内存使用上考虑，最终选择BloomFilter。接下来重点梳理一下bloomfilter如何使用以及实现原理。

2: BloomFilter 单机使用

1: guava BloomFilter

其核心是hash 函数的选取以及 bit 数组的大小，主要使用：MURMUR128_MITZ_32 和 MURMUR128_MITZ_64，两者使用的都是MurmurHash3算法。详细的实现见guava的实现类：BloomFilterStrategies ，详细底层算法实现见：Bloom_filter 算法分析

## 引入guava  maven 库
<dependency>
	  <groupId>com.google.guava</groupId>
	  <artifactId>guava</artifactId>
      <version>30.1.1-jre</version>
</dependency>

guava 使用 bloomFilter 比较简单。引入maven包，几行代码搞定。详细如下：

BloomFilter<CharSequence> bloomFilter  = BloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()),1000,0.0000001);
bloomFilter.put("abc");
boolean  isContains = bloomFilter.mightContain("abc");
System.out.println(isContains );

2: 基于JVM 的 BitSet BloomFilter

BitSet只面向数字比较，并且必须是正数。其他类型需要先转换成int类型，转换过程中难免会出现重复，BitSet的准确性就会降低。详细如下：

public class BloomFilter {
    private BitSet bits;
    private int size;
    private AtomicInteger realSize = new AtomicInteger(0);
    private int addedElements;
    private int hashFunctionNumber;

    /**
     * 构造一个布隆过滤器，过滤器的容量为c * n 个bit.
     *
     * @param c 当前过滤器预先开辟的最大包含记录,通常要比预计存入的记录多一倍.
     * @param n 当前过滤器预计所要包含的记录.
     * @param k 哈希函数的个数，等同每条记录要占用的bit数.
     */
    public BloomFilter(int c, int n, int k) {
        if (k > 8) {
            throw new IllegalArgumentException("Illegal k(maximum is 8): " + k);
        }
        this.hashFunctionNumber = k;
        this.size = (int) Math.ceil(c * k);
        this.addedElements = n;
        this.bits = new BitSet(size);
    }

    /**
     * 写入Bloom过滤器
     *
     * @param str 缓存字符串
     */
    public void put(String str) {
        realSize.incrementAndGet();
        byte[] bytes = str.getBytes();
        int[] positions = createHashes

最低0.47元/天解锁文章