布隆过滤器（附带位图讲解）

提到位图，我们首先想到的应该是它的两面定义：

• 位图图像（bitmap），亦称为点阵图或栅格图像，是由称作像素（图片元素）的单个点组成的。
• 位图是指内存中连续的二进制位，用于对大量的整型数据做去重和查询。Bit-map就是用一个bit位来标记对应的Value，而Key是该元素。

很明显，我们需要的是后者。那为什么和布隆过滤器又产生“纠纷”了呢？来进入熟悉的引言部分。

1 引言

 bitmap和布隆过滤器主要解决的大数据去重的问题。用于对大量整型数据做去重和查询。其实如果并非如此大量的数据，有很多排重方案可以使用，典型的就是哈希表。

实际上，哈希表为每一个可能出现的数字提供了一个一一映射的关系，每个元素都相当于有了自己的独享的空间，这个映射由散列函数来提供。实际上哈希表甚至还能记录每个元素出现的次数，这样的数据结构完成这个任务有点“大材小用了”。如果我们用HashSet或者HashMap存储，每一个用户ID都要存储成int，占4字节32位。而一个用户在bitmap中只占一个bit，内存大大节省！

位图的底层数据结构实际为数组结构，目的是为了存储大量的数据，为了表示存储的数据是否存在，可以使用0/1代表true/false

存储的数据流程为根据自定义的hash计算公式得到对应的数组下标，并将数据进行相应的位运算得到的结果存储到数组中；当我们需要查询数据时，将当前要查询的数据转换为对应的数组索引，根据索引定位数组中的数据并执行存储时位运算的相反操作判断数据是否存在。

可以看出位图基于数组下标查询效率非常高效，且相对而言，位运算使用cpu计算也比较高效；由于采用了bit为单位来存储数据，因此在存储空间方面，可以大大节省。

位图也存在一些缺点，对于数据量的增加，要申请的数组的空间也会越来越大。

位图存在两个问题：处理数字很方便，但是处理字符就有点困难了，位图在数据量过大的情况下也会导致内存的浪费。而且由于位图实际上是利用一个index来定位一个数据，如果在数据密集度相对稀疏的情况下，也会导致数组空间浪费--存在大量空洞插槽

布隆过滤器为了解决内存占用的问题，利用多个插槽位置来定义一个元素，尽可能最大的提高空间利用率，对于一个数据对应多个插槽，实际上就是利用多个Hash函数生成多个索引位置。

来来来，让我们正式进入布隆过滤器。

2 布隆过滤器

2.1 什么是布隆过滤器？

布隆过滤器（Bloom Filter，BF）是Bloom 于 1970 年提出。我们可以把它看作由二进制向量（或者说位数组）和一系列随机映射函数（哈希函数）两部分组成的数据结构。相比于我们平时常用的 List、Map、Set 等数据结构，它占用空间更少并且效率更高，但是缺点是其返回的结果是概率性的，而不是非常准确的。理论情况下添加到集合中的元素越多，误报的可能性就越大。并且，存放在布隆过滤器的数据不容易删除。

Bloom Filter 会使用一个较大的 bit 数组来保存所有的数据，数组中的每个元素都只占用 1 bit ，并且每个元素只能是 0 或者 1（代表 false 或者 true），这也是 Bloom Filter 节省内存的核心所在。这样来算的话，申请一个 100w 个元素的位数组只占用 1000000Bit / 8 = 125000 Byte = 125000/1024 KB ≈ 122KB 的空间。

 2.2 布隆过滤器原理介绍

当一个元素加入布隆过滤器的时候，会进行如下操作：

• 使用布隆过滤器中的哈希函数对元素值进行计算，得到哈希值（有几个哈希函数得到几个哈希值）。
• 根据得到的哈希值，在位数组中把对应下标的值置为1.

当我们需要判断一个元素是否存在于布隆过滤器的时候，会进行如下操作：

• 对给定的元素再次进行相同的哈希计算。
• 得到值之后判断位数组中的元素是否都为1，如果值为1，那么说明这个值在布隆过滤器当中，如果存在一个值不为1，说明该元素不在布隆过滤器当中。

Bloom Filter 的简单原理图如下：

如图所示，当字符串要加入到布隆过滤器当中时，该字符串首先由多个哈希函数生成不同的哈希值，然后将对应的位数组下标设置为1（当位数组初始化时，所有位置均为0）。当第二次存储相同字符串的时候，因为先前对应的位置已经设置为1。所以很容易知道这个值已经存在（去重非常方便）。

如果我们需要判断某个字符串是否在布隆过滤器中时，只需要对给定字符再次进行相同的哈希计算，得到值之后判断位数组中的每个元素是否都为1，如果值都为1，那么说明这个值在布隆过滤器当中，如果存在一个值不为1，说明该元素不在布隆过滤器中。

不同的字符串可能哈希出来的位置相同，这种情况我们可以适当的增加位数组大小或者调整我们的哈希函数。

综上，我们可以得出，布隆过滤器说某个元素存在，小概率会误判。布隆过滤器说某个元素不在，那么这个元素一定不在。

 2.3 布隆过滤器使用场景

2.3.1 判断给定数据是否存在

比如判断一个数字是否存在于包含大量数字的数字集中（数字集很大，上亿）、防止缓存穿透（判断请求的数据是否有效避免直接绕过缓存请求数据库）等等、邮箱的垃圾邮件过滤（判断一个邮件地址是否在垃圾邮件列表中）、黑名单功能（判断一个IP地址或者手机号码是否在黑名单当中）等等。

2.3.2 去重

比如爬给定网址的时候对已经怕去过的URL去重、对巨量的QQ号/订单号去重。

去重场景也需要用到判断给定数据是否存在，因此布隆过滤器主要是为了解决海量数据的存在性问题。

3 布隆过滤器实战

3.1 手动实现一个（自个儿练习用）

如果想要手动实现一个，我们需要：

1.一个合适大小的位数组保存数据

2.几个不同的哈希函数

3.添加元素到位数组（布隆过滤器）的方法实现

4.判断给定元素是否存在于位数组（布隆过滤器）的方法实现。

以下是代码：

import java.util.BitSet;

public class MyBloomFilter {

    /**
     * 位数组的大小
     */
    private static final int DEFAULT_SIZE = 2 << 24;
    /**
     * 通过这个数组可以创建 6 个不同的哈希函数
     */
    private static final int[] SEEDS = new int[]{3, 13, 46, 71, 91, 134};

    /**
     * 位数组。数组中的元素只能是 0 或者 1
     */
    private BitSet bits = new BitSet(DEFAULT_SIZE);

    /**
     * 存放包含 hash 函数的类的数组
     */
    private SimpleHash[] func = new SimpleHash[SEEDS.length];

    /**
     * 初始化多个包含 hash 函数的类的数组，每个类中的 hash 函数都不一样
     */
    public MyBloomFilter() {
        // 初始化多个不同的 Hash 函数
        for (int i = 0; i < SEEDS.length; i++) {
            func[i] = new SimpleHash(DEFAULT_SIZE, SEEDS[i]);
        }
    }

    /**
     * 添加元素到位数组
     */
    public void add(Object value) {
        for (SimpleHash f : func) {
            bits.set(f.hash(value), true);
        }
    }

    /**
     * 判断指定元素是否存在于位数组
     */
    public boolean contains(Object value) {
        boolean ret = true;
        for (SimpleHash f : func) {
            ret = ret && bits.get(f.hash(value));
        }
        return ret;
    }

    /**
     * 静态内部类。用于 hash 操作！
     */
    public static class SimpleHash {

        private int cap;
        private int seed;

        public SimpleHash(int cap, int seed) {
            this.cap = cap;
            this.seed = seed;
        }

        /**
         * 计算 hash 值
         */
        public int hash(Object value) {
            int h;
            return (value == null) ? 0 : Math.abs((cap - 1) & seed * ((h = value.hashCode()) ^ (h >>> 16)));
        }

    }
}

测试：

String value1 = "https://www.baidu.com";
String value2 = "https://www.youkuaiyun.com";
MyBloomFilter filter = new MyBloomFilter();
System.out.println(filter.contains(value1));
System.out.println(filter.contains(value2));
filter.add(value1);
filter.add(value2);
System.out.println(filter.contains(value1));
System.out.println(filter.contains(value2));

输出：

false
false
true
true

测试：

Integer value1 = 13423;
Integer value2 = 22131;
MyBloomFilter filter = new MyBloomFilter();
System.out.println(filter.contains(value1));
System.out.println(filter.contains(value2));
filter.add(value1);
filter.add(value2);
System.out.println(filter.contains(value1));
System.out.println(filter.contains(value2));

输出：

false
false
true
true

3.2 利用谷歌开源的Guava中自带的布隆过滤器

在项目中引入Guava的依赖

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>28.0-jre</version>
</dependency>

实际使用（网摘）如下：

创建了一个最多存放 最多 1500 个整数的布隆过滤器，并且可以容忍误判的概率为百分之（0.01）

// 创建布隆过滤器对象
BloomFilter<Integer> filter = BloomFilter.create(
    Funnels.integerFunnel(),
    1500,
    0.01);
// 判断指定元素是否存在
System.out.println(filter.mightContain(1));
System.out.println(filter.mightContain(2));
// 将元素添加进布隆过滤器
filter.put(1);
filter.put(2);
System.out.println(filter.mightContain(1));
System.out.println(filter.mightContain(2));

 在这个示例中，当 mightContain() 方法返回 true 时，我们可以 99％确定该元素在过滤器中，当过滤器返回 false 时，我们可以 100％确定该元素不存在于过滤器中。

Guava 提供的布隆过滤器的实现还是很不错的（想要详细了解的可以看一下它的源码实现），但是它有一个重大的缺陷就是只能单机使用（另外，容量扩展也不容易），而现在互联网一般都是分布式的场景。为了解决这个问题，我们就需要用到 Redis 中的布隆过滤器了。

 改日将会做一篇关于Redis 布隆过滤器的文章，敬请期待！