Bloom Filter：海量数据的HashSet

Bloom Filter一般用于数据的去重计算，近似于HashSet的功能；但是不同于Bitmap(用于精确计算)，其为一种估算的数据结构，存在误判(false positive)的情况。

1. 基本原理

Bloom Filter能高效地表征数据集合\(S = \lbrace x_1 ,x_2 ,...,x_n \rbrace\)，判断某个数据是否属于这个集合。其基本思想如下：用长度为\(m\)的位数组\(A\)来存储集合信息，同时是有\(k\)个独立的hash函数\(h_i(1\le i \le k)\)将数据映射到位数组空间。具体流程如下：

1. 将长度为\(m\)的位数组全置为0；
2. 对于数据\(x \in S\)，依次计算其\(k\)个hash函数值\(h_i(x)=w，且1\le i \le k, 1 \le w \le m\)，将位数组中的第\(a\)位bit置为1，即A[w]=1.

当查询数据\(y\)是否属于集合\(S\)时，计算其\(k\)个hash函数值，如果\(h_i(y)\)对应的位数组均为1，则数据\(y\)属于集合\(S\)；反之，则不属于。