布隆过滤器的原理和实现

导读

想象一下遇到下面的场景你会如何处理：

• 手机号是否重复注册
• 用户是否参与过某秒杀活动
• 伪造请求大量 id 查询不存在的记录，此时缓存未命中,如何避免缓存穿透

针对以上问题常规做法是：查询数据库，数据库硬扛，如果压力并不大可以使用此方法，保持简单即可。

改进做法：用 list/set/tree 维护一个元素集合，判断元素是否在集合内，时间复杂度或空间复杂度会比较高。如果是微服务的话可以用 redis 中的 list/set 数据结构, 数据规模非常大此方案的内存容量要求可能会非常高。

这些场景有个共同点，可以将问题抽象为：如何高效判断一个元素不在集合中？
那么有没有一种更好方案能达到时间复杂度和空间复杂双优呢？那就是布隆过滤器！

什么是布隆过滤器

布隆过滤器（英语：Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中，它的优点是空间效率和查询时间都远远超过一般的算法。

工作原理

布隆过滤器的原理：当一个元素被加入集合时，通过 K 个散列函数将这个元素映射成一个位数组中的 K 个点（offset），把它们置为 1。检索时，我们只要看看这些点是不是都是 1 就（大约）知道集合中有没有它了