布隆过滤器（Bloom Filter）

一、背景

       在设计推荐系统方案时，涉及过滤、判重问题，数据量太大，布隆过滤器是解决这类问题最好的工具之一，这里记录一下了解的信息。

二、布隆过滤器原理

       布隆过滤器（Bloom Filter）是1970年由布隆提出的，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题，它能够告诉你某个元素一定不在集合内或可能在集合内。具体原理图如下：

通过原理图不难看出布隆过滤器有以下优缺点：

（1）优点

• 空间效率高，不需要存储数据本身，只用比特表示；

• 时间效率也较高，插入和查询的时间复杂度均为O(k)，k为hash函数个数；

（2）缺点

• 存在假阳性的概率，不适用于任何要求100%准确率的情境；

• 只能插入和查询元素，不能删除元素；

三、布隆过滤器应用场景

      如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来（链表、树、哈希表等），然后通过比较确定，相应时间复杂度如下：

（1）线性表（链表）存储，查找的时间复杂度为O(n)，n为内容个数。

（2）平衡树存储，时间复杂度为O(logn)。

（3）哈希表存储，并用链地址法与平衡树解决哈希冲突，时间复杂度也要有O[log(n/m)]，m为哈希分桶数。

      针对于大数据量场景过滤和判重（允许一定概率误判，例如爬虫场景判断url是否没被爬过，推荐场景已读内容排除或者重复内容去重等）的场景，使用布隆过滤器对空间和性能的提升是巨大的。

四、布隆过滤器实现

     基于Google的guava库的布隆过滤器实现如下：

fun bloomFilterTest() {
    // 1.创建符合条件的布隆过滤器（预期数据量100000，错误率0.01）
    val bloomFilter: BloomFilter<CharSequence> = BloomFilter.create(Funnels.stringFunnel(
            Charset.forName("utf-8")), 10 * 10000, 0.01)
    // 2.将一部分数据添加进去
    for (i in 0..49999) {
        bloomFilter.put("" + i)
    }
    // 3.测试结果
    for (i in 0..99999) {
        if (bloomFilter.mightContain("" + i)) {
            println(i.toString() + "存在")
        } else {
            println(i.toString() + "不存在")
        }
    }
    //bloomFilter.writeTo(FileOutputStream("F:/tmp/bloom.txt"))
}