布隆滤波器(Bloom Filter)

最新推荐文章于 2023-12-22 13:36:35 发布
原创 最新推荐文章于 2023-12-22 13:36:35 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据结构

布隆过滤器是一种节省空间的近似查询数据结构，用于判断一个元素是否在一个集合中，允许一定的误判率。它通过k个不同的哈希函数将元素映射到m位空间，用于ADD和TEST操作。虽然没有删除功能，但因其高效和节省空间的特性，在推荐系统等场景中被广泛应用。

试想一个场景, 做推荐业务时, 我们需要避免在某个时间区间内给用户推荐重复的item, 于是我们会记录给某用户推荐过的item set. 当我们要给他推荐一个新item时, 得先去历史推荐的item set里面查询, 如果发现推荐过了, 就不再重复推荐.
抽象来讲, 我们就是想查询某个item是否在一个set中. 传统数据结构需要维护一个很占空间的set, 这在很多场景下不够space-efficient. Bloom filter可以节省很多的空间来实现一个近似的查询.

Bloom filter的功能

Bloom filter有两个操作: ADD 和 TEST

  • ADD
    向set中添加一个item(eg. 某String id).
  • TEST
    查询一个目标item是否在set中.
    若返回False, 则此item 一定不在set中. 若返回True, 则此item 可能在set中. 即有一定的false positive几率. 这就是节省空间牺牲准确度的地方.

Bloom filter的实现

  • 我们用m-bit的空间来存储这个set.
  • 我们需要准备k个不同的hash function. 每个function都要将item映射到m-bit中的一个位置上. 映射得是uniform random distribution(不能有冥冥注定的碰撞). k会远小于m. 如何根据sizeof(data_set)选择合适的k值及m值, 后面讲.
  • ADD item的时候, 用k个hash function计算出这个item对应的k个bit位. 将这k个bit位都置为1. 如图, (来源Wikipedia: Bloom filter)
  • TEST item的时候, 用k个hash function计算出这个item对应的k个bit位. 若这k个bit位都为1, 那么认为item在set中(有false几率); 若这k个bit中有0, 那么肯定item不在set中, 因为add的时候都会置1.

Bloom filter的分析

  • False positive的可容忍性. 例如推荐场景, false positive就意味着, 我们没给用户推送过某doc, 但是误以为给他推送过而不再推送. 用户会因此miss掉这篇doc. 这种低概率false positive用户是感受不到的, 对于业务效果影响也不大, 于是完全是可容忍的. Bloom filter适用于这类场景.
  • 无DEL功能. 一个普通的Bloom filter是不具有DEL item的功能的. 如果DEL item动作定义为将k个hash得来的bit位都置0, 那么就会引入false negative, 这会改变Bloom filter的适用场景.
  • 相比于其它数据结构, 比如Map(rbtree, hash table etc.), DATrie, 都具有巨大的空间优势(估算, 单机的内存), 同时也有难以超越的速度优势(ADD, TEST都是O(k)复杂度).

Bloom filter的模型搭建

  • 假设我们使用m-bit的空间, k个hash function, 预计set中有n个item, 那么false positive概率为 p≈(1−e
最低0.47元/天 解锁文章
travischan
关注
重删算法中的Bloom滤波器详解与C++实现
weixin_44727517的博客
03-20 1415
Bloom滤波器（Bloom Filter）是一种，用于快速判断某个元素是否存在于集合中。：可能出现，但：存储1亿元素仅需约114MB（0.1%误报率时）：使用多个哈希函数降低冲突概率在数据去重（Deduplication）系统中，Bloom滤波器通常作为：将数据流切分为固定/可变大小块：对每个数据块生成唯一指纹（如SHA-1）若过滤器返回"不存在" → 直接存储新块若返回"可能存在" → 查询精确索引：确认为新块则存入存储系统并更新索引：减少90%以上的磁盘索引查询操作，显著提升吞吐量。
布隆滤波器基本原理和pybloomfilter使用
wh_springer的专栏
08-12 7263
1. 布隆滤波器原理 在日常开发过程中，会经常遇到元素是否存在集合判断和去重问题，例如我们会判断一个email地址是否在黑名单中，网络爬虫会判断一个url是否已经存在于待抓取列表或者已抓取，视频库的去重等等。不幸的是通常情况下这类问题面临的数据规模都较大，比如网络爬虫系统的抓取url通常达到数亿级别，如果采用哈希表存储这些url将会耗费大量的内存以至于在实际生产使用过程中几乎不可用，而布隆滤波器
【转】Bloom Filter 布隆滤波器
Mys_GoldenRetriever的博客
09-23 449
转自https://blog.youkuaiyun.com/zq602316498/article/details/40660235 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。     比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直...
布隆过滤器(Bloom Filter)详解
帅性而为1号的博客
07-31 2717
原文来源：http://www.cnblogs.com/haippy/archive/2012/07/13/2590351.html                           http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html     布隆过滤器概念      （Bloom Filter）是由布隆（Burton
位图与哈希扩展：Bloom Filter(布隆过滤器)
fengasdfgh的博客
11-09 995
如果你对位图还不熟悉的话，你可以去看看这篇博客： http://blog.youkuaiyun.com/fengasdfgh/article/details/53090475 布隆过滤器主要是为了过滤一些垃圾网站，或者防止网络爬虫死循环。事实上我们需要记住这些网站的链接地址，然后在一个位图里查找它是否出现过。// 我在位图里提到过，位图主要保存的是数字的状态，要想保存字符串，必须使用哈希算法把字符串转换为
改进的加权布隆滤波器和空间下界算法，用于近似成员查询
02-25
首先，对于布隆滤波器（Bloom Filter）而言，它是一种空间效率非常高的概率型数据结构，用于判断一个元素是否在一个集合中。布隆滤波器适用于大规模数据和需要快速判断元素是否存在的场景，尤其当集合元素非常多，而...
精选资源
Distributed-Systems-Bloom-Filters-Coded-Bloom-Filter-Counting-Bloom-Filter:在此项目中，我实现了Bloom Bloom过滤器，编码Bloom Bloom过滤器，Counting Bloom Filter计数。 这些用于Google Bigtable，Apache HBase，Apache Cassandra和PostgreSQL等系统中
03-17
在此项目中，我实现了Bloom Bloom过滤器，编码Bloom Bloom过滤器，Counting Bloom Filter计数。 这些用于Google Bigtable，Apache HBase，Apache Cassandra和PostgreSQL等系统中。 Google Bigtable，Apache HBase，...
布隆过滤器的实现（c++）
y1054765649的博客
03-21 3069
简要介绍一下布隆过滤器： 如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢(O(n),O(logn))。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit arr...
【转】BloomFilter布隆滤波器_一只神秘的大金毛_新浪博客
Mys_GoldenRetriever的博客
09-23 263
转自https://blog.youkuaiyun.com/zq602316498/article/details/40660235 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。 比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。...
布隆过滤器（Bloom Filter）
weixin_60053402的博客
09-14 355
布隆过滤器（Bloom Filter）是一个很长的二进制向量（位图BitMap）和一系列随机映射函数（Hash函数）。它是一种数据结构，可以判断一个元素一定不在集合中或可能存在于集合中。优点：相比于传统的list、set、map等数据结构，它更高效、占用空间更少。缺点：存在误判率。
基于Bloom滤波器的IP源地址假冒过滤 (2009年)
05-09
提出将Bloom滤波器结构应用到IP源地址假冒过滤技术中。利用Bloom滤波器存储的紧凑性，提高过滤效率，减少过滤成本。给出其伪代码，通过采集深圳大学城网络中心数据进行实验验证。实验结果表明，该方法简捷有效，且易于推广。
布隆过滤器
追逐消失的记忆
07-29 297
布隆过滤器（BloomFilter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。当年，布隆过滤器还是静态的，即只能处理一定容量的数据，不能处理未知规模的数据。 1. 问题情景 如果面试官问你，一个网站有 100 亿 url 存在...
【布隆过滤器（Bloom Filter）基本概念与原理、Bloom Filter优点与缺点、以及应用场景】
Coder_ljw的博客
02-24 1048
【布隆过滤器（Bloom Filter）基本概念与原理、Bloom Filter优点与缺点、以及应用场景】关于布隆过滤器基本概念与原理、Bloom Filter优点与缺点、以及应用场景就先介绍到这里，当然关于布隆过滤器相关的知识还有很多内容并没有讲到，这个就需要你先看懂这些，然后再一步深入学习。如果对你有帮助，就留下你的小关注吧！
BloomFilter（布隆滤波器）原理与使用
baijiwei的博客
10-03 3592
BloomFilter在NoSql、大数据的去重、判断数据是否存在等领域有着广泛的应用。 它是一种空间效率极高的概率型算法和数据结构，用于判断一个元素是否在集合中（类似Hashset）， 其核心一个很长的二进制向量和一系列hash函数。 常见应用场景： Google著名的分布式数据库Bigtable以及Hbase使用了布隆过滤器来查找不存在的行或列，以及减少磁盘查找的IO次数； 文档存储检查系统...
Bloom Filter(布隆过滤器)的概念和原理
weixin_30611509的博客
10-06 583
Bloom filter 　　适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 　　基本原理及要点： 　　对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到...
布隆过滤器（Bloom Filter）详解
心中的执念的博客
07-04 5733
什么是布隆过滤器 介绍+优点 应用场景 设计原理 布隆实战 总结 存在的问题 + 总结
C++实现布隆过滤器
kkbca的博客
12-22 1410
之前我们学习了位图，我们知道位图主要是实现了整形的映射bit位，这样可以大幅度的节省空间，那么针对于我们也经常用的string类型，或者其他类型，该如何去映射呢？可以说string类的个数是无限的，无线个数去映射到有限的位置，那么必定会发生哈希冲突，这是无法避免的，我们有没有办法去减少这种哈希冲突呢？大佬布隆就提出了布隆过滤器。（不是弗雷尔卓德之心）布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构，特点是。
【转】BloomFilter布隆滤波器
Mys_GoldenRetriever的博客
09-23 343
转自https://blog.youkuaiyun.com/zq602316498/article/details/40660235 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。     比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是...
bloom filter入门介绍
weixin_44826855的博客
12-04 295
布隆滤波器是由布隆在1970年提出的。 主要功能 它实际上是由一个很长的二进制向量和一系列随机hash函数组成，布隆滤波器可以用于检索一个元素是否在一个集合内。（判断元素是否在集合和去重问题） bloom filter的优点&缺点 优点： 它的空间效率和查询时间都远远超过一般的算法。 缺点： 有一定的误识别率。（假正例Falsepositives，假反例Falsenegatives） 对于...
bloom滤波器原理
最新发布
09-04
<think> 嗯，用户想了解布隆过滤器的原理，之前的历史对话中已经提供了三个引用资料，需要整合这些信息给出清晰的解释。用户可能正在学习数据结构或系统设计，需要基础原理的说明，而不是深入优化细节。 根据引用[3]，布隆过滤器的核心是多个哈希函数和位数组的组合结构。这点必须作为原理阐述的起点，因为它是判断元素存在性的基础机制。引用[1]提到的数学原理需要简化表达——原本的概率公式可以改写为行内数学格式。引用[2]的分层架构暂时不需要展开，除非用户后续追问性能优化。 考虑用分块结构组织回答：先描述数据结构（位数组+哈希函数），再说明插入和查询操作，最后用数学解释误判率。概率部分要强调与数组大小m的关系，但避免复杂推导。用户可能对“为什么存在误报”感到困惑，这里需要关联哈希碰撞的概念。 在回复中需要补充实际例子：比如用两个哈希函数演示插入"apple"和查询"banana"的过程。误报率公式改用行内数学格式，最后自然引申出空间效率的优势。相关问题的设计要分层递进，从原理延伸到应用场景和变体算法。 </think> 布隆过滤器（Bloom Filter）的原理基于**概率型数据结构**的设计，其核心是通过**多哈希函数映射**和**位数组**实现高效的元素存在性判断。以下是其工作原理的详细说明： --- ### **1. 核心组件** - **位数组（Bit Array）**：长度为 $m$ 的二进制数组，初始值全为 $0$。 - **$k$ 个独立的哈希函数**：$h_1(x), h_2(x), \cdots, h_k(x)$，每个函数将元素映射到位数组的索引位置（范围 $1 \leq$ 索引 $\leq m$）。 --- ### **2. 操作流程** #### **(1) 插入元素** 对元素 $x$ 执行以下操作： 1. 用 $k$ 个哈希函数计算索引：$h_1(x), h_2(x), \cdots, h_k(x)$。 2. 将位数组中对应索引位置的值设为 $1$。 **示例**：插入元素 "apple"（设 $k=3$）： - $h_1(\text{"apple"}) = 3 \quad \to \quad \text{位}[3] = 1$ - $h_2(\text{"apple"}) = 7 \quad \to \quad \text{位}[7] = 1$ - $h_3(\text{"apple"}) = 2 \quad \to \quad \text{位}[2] = 1$ #### **(2) 查询元素** 对元素 $y$ 执行以下操作： 1. 计算 $k$ 个索引：$h_1(y), h_2(y), \cdots, h_k(y)$。 2. 检查位数组中所有对应位置： - **若所有位置均为 $1$** → 返回 "$y$ **可能存在**"（可能误判）。 - **若任一位置为 $0$** → 返回 "$y$ **一定不存在**"（无漏判）。 **示例**：查询 "banana"（设 $h_1(\text{"banana"})=3$, $h_2(\text{"banana"})=7$, $h_3(\text{"banana"})=9$）： - 若位 $[9]=0$ → 立即判定不存在。 --- ### **3. 数学原理** - **误判率（False Positive）**：当不同元素的哈希值冲突时发生。 误判率近似公式： $$P \approx \left(1 - e^{-kn/m}\right)^k$$ 其中： - $m$：位数组大小， - $n$：已插入元素数量， - $k$：哈希函数个数。 - **降低误判率的策略**： - **增大 $m$**：位数组越大，冲突概率越低。 - **优化 $k$**：$k \approx \frac{m}{n} \ln 2$ 时为最优值。 > **关键公式推导**： > 某一位未被设为 $1$ 的概率为 $(1 - \frac{1}{m})^{kn}$，对大量数据近似为 $e^{-kn/m}$。 > 误判需 $k$ 个位全为 $1$，故 $P \approx \left(1 - e^{-kn/m}\right)^k$[^1][^3]。 --- ### **4. 特点总结** | **优势** | **局限性** | |---------------------------|--------------------------| | 空间效率极高（$O(m)$） | 不支持元素删除操作 | | 查询时间复杂度 $O(k)$ | 存在误报（无漏报） | | 无需存储元素本身（隐私保护） | 需预先确定 $m$ 和 $k$ | --- ### **5. 实际应用优化** - **分层布隆过滤器**：如引用[^2]所示，结合内存（RAM）和固态硬盘（SSD）层级，平衡速度与容量： ```plaintext ┌───────────────┐ ┌───────────────┐ │ RAM-Based │─────▶│ SSD-Based │─────▶ Disk │ Bloom Filter │ │ Bloom Filter │ └───────────────┘ └───────────────┘ ``` - **计数布隆过滤器（Counting Bloom Filter）**：通过计数器替代二进制位，支持删除操作。 --- **相关问题** 1. 布隆过滤器的误判率如何计算？如何根据业务需求调整参数 $m$ 和 $k$？ 2. 布隆过滤器在分布式系统（如Redis）中如何应用？ 3. 对比布隆过滤器与哈希表的优缺点及适用场景？ 4. 如何实现支持删除操作的布隆过滤器变种？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值