布隆过滤器介绍

【背景】不安全的网页黑名单包含100亿个黑名单网页，每个网页的URL最多占用64B，现在想要实现一种网页过滤系统，可以根据网页的URL判断该网页是否在黑名单上，请设计该系统。

【要求】该系统允许有失误率万分之一以下 使用的额外空间不超过30GB

BloomFilter是Burton Howard Bloom与1970年提出来。BloomFilter的优点在于使用很少的空间可以将精确率做到很高。

【哈希函数的性质】

1、哈希函数具有无限的输入值域

2、当给hash函数传入相同的值时，返回值是一样的。

3、当给定哈希函数传入不同的输入值时，返回值可能会产生哈希冲突。

4、很多不同的输入值所得到的结果会均匀的分布在区间S(输出域大小S)，这点也是评价一个hash函数是否优良的重要一点。

【BloomFilter】 假设具有一个长度为m的bit 数组，有k个哈希函数。这些函数的输出域S大于等于m。它们彼此之间独立，那么对于同一个输入对象URL再经过k个hash函数得到k个值，分别%m的结果映射到bit 数组的相应位置，把相应的位置涂黑，如下图所示：

把所有的输入域的URL处理完成，则一个Bloomfilter生成完毕，

【检查阶段】判断一个对象URL是否在之前的输入域中？计算该URL在经过k个hash的值做%m操作，把结果映射到bit数组，如果有一个位置没有涂黑，那么该URL肯定是没有出现过的。但是也会产生误差，就是所有位置涂黑了，但该URL实际是，没有出现过的。从这里我们可以看出URL的失误类型是“宁可错杀三千，绝不放过一个”。

【Bloom Filter计算】根据输入量：n, 允许失误率p 则确定bit数组的大小m的公式：

                                                             1-1

哈希函数的个数k:

                                                                1-2