《数学之美》第23章 布隆过滤器

最新推荐文章于 2024-09-24 07:22:00 发布
原创 最新推荐文章于 2024-09-24 07:22:00 发布 · 474 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数学之美 #自然语言处理

布隆过滤器是一种高效的空间节省算法,用于判断元素是否在一个集合中。它通过使用多个独立的哈希函数将每个元素映射到位数组中,从而实现快速查询且占用空间少的目的。然而,布隆过滤器存在一定的误识别率,通常可通过建立白名单等方式进行补救。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 布隆过滤器的原理

    一般来讲，计算机中的集合是用散列表（Hash Table）来存储的，优点是速度准确，缺点是耗费存储空间。

    布隆过滤器是由伯顿布隆于1970年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。

    布隆过滤器的好处在于快速、省空间，但是有一定的误识别率。常见的补救办法是再建立一个小的白名单，存储那些可能被误判的邮件地址。

2 布隆过滤器的误识别问题

剑九黄
关注
Redis在大数据去重中的应用：布隆过滤器实战指南
AI天才研究院
05-03 996
在大数据场景（如日志分析、推荐系统、缓存穿透防护）中，数据去重是高频操作。传统方案（如内存HashSet、数据库唯一索引）在数据量达到亿级时，内存占用会指数级增长（例如1亿个64位整数需约800MB内存），导致成本剧增。本文聚焦Redis与布隆过滤器的结合方案如何用极小内存实现亿级数据的高效去重？如何控制误判率（False Positive Rate）以满足业务需求？如何在分布式系统中共享布隆过滤器状态？本文覆盖布隆过滤器的数学原理、RedisBloom模块的使用、实战代码开发及典型场景落地。
Go语言实现Redis布隆过滤器的完整教程
最新发布
Golang编程笔记的博客
06-12 871
在分布式系统中，缓存穿透（查询一个不存在于缓存和数据库中的数据）是常见的性能杀手。布隆过滤器（Bloom Filter）作为一种高效的概率型数据结构，能以极低的空间成本快速判断“数据一定不存在”或“可能存在”，完美解决缓存穿透问题。布隆过滤器的核心原理Redis实现布隆过滤器的技术细节Go语言与Redis的交互实战实际场景中的参数调优。
数学之美系列二十一 － 布隆过滤器（Bloom Filter）(转)
weixin_30414305的博客
08-01 134
原文地址：http://hi.baidu.com/yunlong%5Flee/blog/item/c3b6b600f8dc2717728b658a.html在 日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它 是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址...
《数学之美》—— 布隆过滤器
zsyoung的博客
07-26 295
作者：吴军 第23章 布隆过滤器 存储效率 采用散列表，每存储一亿个Email地址，就需要1.6GB的内存，即16亿字节（B）的内存。 1B（byte，字节）= 8 bit（见下文）； （用散列表实现的具体办法是将每一个Email地址对应成一个8字节的信息指纹，然后将这些信息指纹存入散列表，由于散列表的存储效率一般只有50%，因此一个Email地址需要占用16个字节） 布隆过滤器...
《数学之美》第二十三章——布隆过滤器
热爱永不过时！
05-09 289
1 布隆过滤器的原理 首先，布隆过滤器的作用主要是可以用来检索一个元素是否在一个集合中。 书本上提到的例子是检验某个电子邮箱是否存储在黑名单中，这个黑名单就可以使用布隆过滤器来进行实现。基本原理如下图所示： 首先将存储地址的每个二进制位都归零。 F1，F2,…,F8是8个随机数生成器，这些生成器可以根据电子邮箱地址生成8个随机数f1,f2,…,f8。 之后再将这8个随机数f1,f2,…,f8通过8个不同的哈希函数映射到存储空间的某个位上，将这个位置置为1，就完成了存储操作。 当需要进行查询的时候，根据新
数学之美：布隆过滤器
u014514939的博客
08-05 356
算法题目 如果一个黑名单网站包含100亿个黑名单网页，每个网页最多占64B，设计一个系统，判断当前的URL是否在这个黑名单当中，要求额外空间不超过30GB，允许误差率为万分之一。 解题思路 布隆过滤器 基础介绍 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数（哈希函数）。 布隆过滤器可以用于检索一个元素是否在一个集合中...
【数学之美系列二十一】布隆过滤器（Bloom Filter）
丰盘文档管理软件
10-05 1112
2007年7月3日 上午 09:35:00 发表者：Google（谷歌）研究员 吴军 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的 元素存在计算机
hbase之布隆过滤器
chuige2013的博客
09-24 1119
在HBase中，布隆过滤器用于减少查询时间，通过减少不必要的块加载提高集群吞吐率。布隆过滤器就是这样一个高度节省空间的结构，并且其时间也远超一般算法，但是布隆过滤器存在一定的失误率，例如在网页URL黑名单过滤中，布隆过滤器绝不会将黑名单中网页查错，但是有可能将正常的网页URL判定为黑名单当中的，它的失误可以说是宁可错杀，不可放过。对于一个新的URL，我们要查询其是否在黑名单中，我们便通过同样的n个哈希函数，计算出n个位置，然后我们查询这n个位置是否都被描黑，如果都被描黑，我们就说该URL在黑名单当中。
布隆过滤器与哈希
weixin_43512657的博客
06-30 1433
1.布隆过滤器 什么是布隆过滤器呢？它是一种类似哈希的数据结构，通过这个数据结构，可以快速的插入和查询，确定某个事件一定不存在或可能存在。特点是占用空间少，缺点是返回的结果是概率性，有一定误差，在方案选型时，需要注意这些特点。 2.布隆过滤器数据结构 布隆过滤器是一个bit向量或bit数组，如下图所示，bit的存储是耗内存，但是key的增加，反而不耗内存，因为不存储key。 当一个元素加入集合时，就通过K个hash函数将这个映射成一个位数组中的K个点，把它们置为1。当查询时，只要检查这些点是否全为1，就能
Bloom Filter (布隆过滤器) 介绍以及简单的Java实现
gotobar的专栏
01-01 1110
定义 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 从简单的定义可以看出，使用布隆过滤器目的是为了优化元素查找的性能，不过布隆过滤器提升的是得到这个元素（key）的存在性的性能。 ...
数学之美系列二十一：布隆过滤器（Bloom Filter）
Ella.ting的专栏
07-14 808
布隆过滤器决不会漏掉任何一个在黑名单中的可疑地址。但是，它有一条不足之处。也就是它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名单中，因为有可能某个好的邮件地址正巧对应个八个都被设置成一的二进制位。好在这种可能性很小，我们把它称为误识概率。 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是
哈希函数+布隆过滤器+一致性哈希+哈希表
泡泡历险记
01-19 386
哈希函数+布隆过滤器+一致性哈希+哈希表 认识哈希函数和哈希表 设计RandomPool结构 认识布隆过滤器 认识一致性哈希 （from左神算法初级班第6节） 1.认识哈希函数和哈希表 1）什么是哈希函数？（非常重要） 定义：能通过哈希函数直接找到需要的记录，在记录的存储位置和它的关键字之间建立一个确定的对应关系f，使每个关键字和结构中一个唯一的存储位置相对应。 性质： 经典哈希函数的输入域...
漫画：什么是布隆过滤器
架构师进化论
05-19 682
​———— / 面试中/ ———— ...
跟左神一起练算法（布隆过滤器和一致性哈希）
weixin_43767691的博客
12-03 518
认识布隆过滤器 //布隆过滤器和一致性哈希 //布隆过滤器就是爬虫项目，和黑名单项目的常见结构 //查询某一个结构是否存在于某一个集合之中 落地结构： 大数组结构，每一个位置是一个比特位bite 布隆过滤器产生失误的原因： 假如现在有100亿个URL现在你只给了10个位，4个哈希函数，每次涂黑四个位，那么这10个位注定被越图越黑，等到查找的时候，你就会发现，查啥都是错的。 要是有10个URL...
[算法] - 哈希函数 + RandomPool + 布隆过滤器 + 一致性哈希原理 + 并查集结构
Snoopy_Dream
01-07 798
目录 哈希函数 哈希函数的作用：通过 f 哈希函数使得数据变均匀分布，离散化 哈希表的实现： 扩容： 笔试tricks： 在C++里面，不怎么用哈希表，而是使用int[1000]这样的数组，时间复杂度会低。 在刷题的过程中只要找到O（N*logN）就足够了，N不可能过大，不用找O（N）） 根据数据范围，来找时间复杂度大概多大就过分了。 C++里面1s可执行10^8~9操作。不能超...
布隆过滤器的思想示意图
RobertDowneyLm的博客
05-20 1566
布隆过滤器
qq_38248160的博客
02-14 176
今天的文章和大家一起来学习——布隆过滤器。《数学之美》一书中系列二十一讲述的就是布隆过滤器，在日常的开发中我们经常要判断一个元素是否在一个集合中，比如需要检查一个英语单词是否拼写正确（也就是要判断它是否在一致的字典中），哈希表在处理这类问题上会占用大量存储空间，而布隆过滤器在这方面有很强的优势。 我们经常会把一部分数据放在Redis等缓存，比如产品详情。这样有查询请求进来，我们可以根据产品Id直接去缓存中取数据，而不用读取数据库，这是提升性能最简单，最普遍，也是最有效的做法。一般的查询请求流程是这样的：先
数学之美 － 布隆过滤器（Bloom Filter）【转】
deform0032的博客
07-03 658
转自Google黑板报在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新元素时，将它和集合中的元素直接比较即可。一般来讲，计...
【布隆过滤器】实现一个简单的布隆过滤器
菜鸟成长记
08-06 1923
原理布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。Bloom Filter 是一种空间效率很高的随机数据结构，Bloom filter 可以看做是对 bit-map 的扩展, 它的原理是：当一个元素被
谷歌黑板报：数学美系列探索信息技术应用
21. **布隆过滤器**：一种空间高效的数据结构，用于快速判断元素是否在一个集合中。 22. **密码学数学原理**：从电视剧《暗算》中提炼出的密码学理论基础，涉及加密和解密技术。 23. **香农第一定律**：讨论了信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值