bloom filter

Bloomfilter是一种高效的集合成员检测数据结构,通过哈希函数将元素映射到位数组,实现快速插入与查询,但存在误报率。本文详细介绍了Bloomfilter的工作原理、计算方法、特点及一个简单例子,探讨了其在实际应用中的优势与局限。

一、什么是 Bloom filter

  Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,它具有很好的空间和时间效率,被用来检测一个元素是不是集合中的一个成员,这种检测只会对在集合内的数据错判,而不会对不是集合内的数据进行错判,这样每个检测请求返回有“在集合内(可能错误)”和“不在集合内(绝对不在集合内)”两种情况,可见 Bloom filter 是牺牲了正确率换取时间和空间。 [1]

编辑本段二、Bloom filter 计算方法

  如需要判断一个元素是不是在一个集合中,我们通常做法是把所有元素保存下来,然后通过比较知道它是不是在集合内,链表、树都是基于这种思路,当集合内元素个数的变大,我们需要的空间和时间都线性变大,检索速度也越来越慢。 Bloom filter 采用的是哈希函数的方法,将一个元素映射到一个 m 长度的阵列上的一个点,当这个点是 1 时,那么这个元素在集合内,反之则不在集合内。这个方法的缺点就是当检测的元素量很多时候可能有冲突,解决方法就是使用 k 个哈希 函数对应 k 个点,如果所有点都是 1 的话,那么元素在集合内,如果有 0 的话,元素则不再集合内。

编辑本段三、Bloom filter 特点

  Bloom filter 优点就是它的插入和查询时间都是常数,另外它查询元素却不保存元素本身,具有良好的安全性。它的缺点也是显而易见的,当插入的元素越多,错判“在集合内”的概率就越大了,另外 Bloom filter 也不能删除一个元素,因为多个元素哈希的结果可能在 Bloom filter 结构中占用的是同一个位,如果删除了一个比特位,可能会影响多个元素的检测。

编辑本段四、Bloom filter 的一个简单例子

  下面是一个简单的 Bloom filter 结构,开始时集合内没有元素
  当来了一个元素 a,进行判断,这里哈希函数有两个,计算出对应的比特位上为 0 ,即是 a 不在集合内,将 a 添加进去:
  之后的元素,要判断是不是在集合内,也是同 a 一样的方法,只有对元素哈希后对应位置上都是 1 才认为这个元素在集合内(虽然这样可能会误判):
  随着元素的插入,Bloom filter 中修改的值变多,出现误判的几率也随之变大,当新来一个元素时,满足其在集合内的条件,即所有对应位都是 1 ,这样就可能有两种情况,一是这个元素就在集合内,没有发生误判;还有一种情况就是发生误判,出现了哈希碰撞,这个元素本不在集合内。

### Bloom Filter 数据结构概述 布隆过滤器是一种用于快速、节省内存地判断元素是否属于某个集合的数据结构[^5]。其核心在于使用位数组和多个哈希函数来表示集合成员关系,具有极高的查询效率和较低的存储开销。 #### 原理说明 布隆过滤器通过一系列独立随机分布的哈希函数将待加入集合的对象映射到位向量的不同位置上;当检查某对象是否存在于给定集合内时,只需验证这些对应索引处是否有标记即可完成判定过程。值得注意的是,由于可能存在不同输入经过相同哈希运算后指向同一地址的情况(即碰撞),因此即使所有测试均返回肯定结果也不能完全排除误判的可能性——这就是所谓的“假阳现象”。不过只要合理配置参数并选用足够多且均匀散列性质良好的哈希算法,则能够有效控制此类错误发生的几率至可接受范围内[^1]。 ```python import mmh3 from bitarray import bitarray class SimpleBloomFilter(object): def __init__(self, size=1000000, hash_num=7): self.size = size self.hash_num = hash_num self.bit_array = bitarray(size) self.bit_array.setall(0) def add(self, string): for seed in range(self.hash_num): result = mmh3.hash(string, seed) % self.size self.bit_array[result] = 1 def lookup(self, string): for seed in range(self.hash_num): result = mmh3.hash(string, seed) % self.size if not self.bit_array[result]: return "Nope" return "Probably yes" bloom_filter_example = SimpleBloomFilter() print(bloom_filter_example.lookup("hello")) bloom_filter_example.add("hello") print(bloom_filter_example.lookup("hello")) ``` 上述代码展示了如何创建一个简单的布隆过滤器类 `SimpleBloomFilter` 并对其进行基本操作。这里采用了 MurmurHash3 这种非加密级但性能优异的通用型哈希函数作为内部组件之一,并借助 Python 的第三方库 `bitarray` 来管理底层二进制序列[^2]。 #### 应用场景分析 鉴于布隆过滤器具备高效的存取特性及其特有的容错机制,在实际工程中有广泛的应用价值: - **缓存穿透防护**:防止恶意请求绕过本地缓存直接访问数据库造成压力过大; - **爬虫去重处理**:避免重复抓取已收录网页资源浪费带宽; - **黑名单/白名单匹配**:加速身份认证流程减少不必要的磁盘I/O次数; - **分布式系统一致性校验**:辅助节点间同步状态信息提高整体可靠性等[^4]。 然而需要注意的是,传统意义上的布隆过滤器并不支持元素移除功能,因为这可能会导致原本存在的条目被误删从而引发更多问题。针对这一局限性,研究者们提出了诸如计数式布隆过滤器(CBF) 或者 cuckoo filters 等改进版本以适应更复杂的需求环境[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值