布隆过滤器详解

最新推荐文章于 2025-08-04 22:03:07 发布

原创最新推荐文章于 2025-08-04 22:03:07 发布 · 247 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#布隆过滤器

jar、ajax、jxls、easyexcel、javaee 专栏收录该内容

66 篇文章

订阅专栏

这篇博客探讨了如何减少布隆过滤器的误判率，提出了增加位数和hash次数的解决方案。同时，针对布隆过滤器无法删除数据的问题，文章提到了定时异步重建和使用计数BoomFilter作为可能的解决策略。

减少误判的措施：
1、增加二进制数组位数
2、增加hash次数
布隆过滤器的缺陷及解决方案：
缺陷：无法直接处理删除数据的情况
解决方案：
1、定时异步重建布隆过滤器
2、计数Boom Filter

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

热血吊车尾~

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

redis之布隆过滤

qi341500的博客

02-08

1770

1、redis之布隆过滤 2、布隆过滤器原理 3、布隆过滤器使用步骤初始化bitmap 添加占坑位判断是否存在圜

布隆过滤器的重置

qq_20171645的博客

08-20

929

布隆过滤器是不支持重置的，如果我们对数据库进行了写操作（insert、update、delete)，如何处理布隆过滤器中的数据？insert：直接向布隆过滤器中添加数据。update：id不变，更新的只是其他部分的数据。delete：重置布隆过滤器。

参与评论您还未登录，请先登录后发表或查看评论

布隆过滤器

weixin_39477597的博客

03-27

392

一、什么是布隆过滤器 布隆过滤器由很长的bit数组和一组哈希映射函数组成，可用于一个元素是否一定不存在于一个集合中或者可能在集合中。可以把布隆过滤器理解为一个不怎么精确的set结构，当你使用contains方法判断某个对象是否存在时，他可能会误判。但是布隆过滤器也不是特别的不精准，只要参数设置得合理，它的精准度也可以控制的相对足够精确，只会有小小的误判率。当布隆过滤器说某个值存在时，这个值可能不存在，而当它说某个值不存在时就一定不存在。二、布隆过滤器的原理每个布隆过滤器对应到Redis的数

7、布隆过滤器

赞的心路历程

03-30

590

1、一些问题现在有50亿个电话号码，现有10万个电话号码，如何要快速准确的判断这些电话号码是否已经存在？ 1、通过数据库查询-----实现快速有点难 2、数据预放到内存集合中：50亿*8字节大约40G，内存太大了。 2、是什么 布隆过滤器(英语: Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制数组+一系列随机hash算法映射函数,主要用于判断一个元素是否在集合中。通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景,一般想到的是将集合中所有元

Redis布隆过滤器定时重建（Java代码示例）

最新发布

egan1236的博客

08-04

217

以下只是示例，定时任务以及延时任务框架根据项目本身来定。为什么要使用延时任务。

算法学习笔记：布隆过滤器详解（示例：Go）

风不归的乐园

07-04

1071

布隆过滤器：原理、位数组、哈希函数、go代码示例

Hbase布隆过滤器详解

03-02

布隆过滤器是一种高效的空间节约型数据结构，用于判断一个元素是否可能存在于一个大型集合中。它由布隆于1970年提出，主要利用了位数组和多个哈希函数来实现。基本思想是通过将元素经过多个独立的哈希函数映射到一个...

Redis之布隆过滤器（Bloom Filter）解读

一个菜鸡的博客

09-09

877

在实际开发中，会遇到很多要判断一个元素是否在某个集合中的业务场景，类似于垃圾邮件的识别，恶意ip地址的访问，缓存穿透等情况。类似于缓存穿透这种情况，有许多的解决方法，如：redis存储null值等，而对于垃圾邮件的识别，恶意ip地址的访问，我们也可以直接用 HashMap 去存储恶意ip地址以及垃圾邮件，然后每次访问时去检索一下对应集合中是否有相同数据。

Redis系列--布隆过滤器（Bloom Filter）

weixin_42972832的博客

06-16

7861

无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。

布隆过滤器的原理和实现

m0_61802230的博客

05-20

526

导读想象一下遇到下面的场景你会如何处理：手机号是否重复注册用户是否参与过某秒杀活动伪造请求大量 id 查询不存在的记录，此时缓存未命中,如何避免缓存穿透针对以上问题常规做法是：查询数据库，数据库硬扛，如果压力并不大可以使用此方法，保持简单即可。改进做法：用 list/set/tree 维护一个元素集合，判断元素是否在集合内，时间复杂度或空间复杂度会比较高。如果是微服务的话可以用 redis 中的 list/set 数据结构, 数据规模非常大此方案的内存容量要求可能会非常高。这些场景有个共同

布隆过滤器原理及实践

qq_38470315的博客

03-31

1611

1 布隆过滤器可以帮助我们解决一些海量数据场景下的判断是否存在问题2 他的特点是不一定存在，但是一定不存在，所以在使用过程中会存在误差率3 他的查询速度快，占用内存空间小，但是通过一个大桶这样的不合理使用也会造成大key问题，导致阻塞，所以要进行分片4 实现方式可以由guava、redis、redis自带bloom-filter插件实现。

高级数据结构与算法 | 布谷鸟过滤器（Cuckoo Filter）：原理、实现、LSM Tree 优化

凌桓丶的博客

02-08

6271

布谷鸟过滤器（Cuckoo Filter）是一种节省内存空间的概率数据结构，基于布谷鸟哈希算法实现的过滤器，和布隆过滤器一样，用于检测指定元素是否存在于某个集合中

布隆过滤器（Bloom Filter）

galoiszhou的博客

10-08

1231

布隆过滤器本身不支持更新或删除操作，这是因为它的结构决定了无法安全地删除或修改一个元素而不影响其他元素。对于需要删除或更新数据的场景，可以考虑使用计数布隆过滤器、定期重建布隆过滤器或将布隆过滤器与其他数据结构结合使用。这些解决方案可以在保持较高查询效率的同时，适应数据变化的需求。

Redis：布隆过滤器

Monkey-yc

07-09

222

作用：预防缓存穿透服务器接口遭到恶意攻击，大量查询缓存中没有的数据，流量打到数据库，造成数据库故障。 布隆过滤器 布隆过滤器就是一个n位的二进制数组，利用多组哈希，将数据库中存在的数据在二进制数组中映射出来。每组哈希会得到二进制数组的一个下标，所有下标都为1，则该数据可能存在，否则一定不存在。请求过来，先进行哈希，去布隆过滤器验证该数据是否存在，这样可以在缓存层避免掉绝大部分穿透查询。 布隆过滤器存在误差。因为每个二进制位表示多个数据，因此，可以通过增加数组长度或者增加哈希次数来减小误差，但同时会带来

redis 得布隆过滤器一经生成没有办法再重新进行增删，那么我该如何更加好的进行使用呢，比如每7天重新生成一次？

qq_33192454的博客

01-20

1231

不存在的判断是完全准确的。存在的判断可能会有误判，因此需要结合应用场景评估这种误判是否可以接受。如果布隆过滤器判断“存在”，可以再使用其他数据结构或方法（如查数据库、缓存）做进一步的验证。我有一个黑名单数据，达到了1000万，放在了布隆过滤器里面，若存在就不发送消息，如何保证，不在黑名单中的数据一定能发呢优化布隆过滤器的参数，减小假阳性率至可接受的范围。引入二次验证机制：在布隆过滤器判断为黑名单时，进一步通过 RedisSET或数据库来验证，减少因假阳性导致的合法消息被误判。

架构学习笔记（一）

Miriwas

03-06

4740

1.MySQL经典架构及应用场景 2.为什么大厂要做数据垂直分表 3.缓存一致性怎么解决？ 4.为什么大厂严禁使用自增主键？ 5.如何减少布隆过滤器的误判率？使用布隆过滤器时要删除一条记录怎么办？ 6.为什么架构设计禁止IP直连？ 7.CAP定理及使用场景？ 8.负载均衡器的种类有哪些？Nginx的五种负载均衡策略是什么？ 9.阿里开发规范为啥禁用外键约束？ 10.巧用阿里Canal实现MySQL异构数据同步 11.MHA高可用架构方案(MySQL High Available) 12.阿里巴巴Seata

redis反杀面试官之10问

papaya的博客

12-11

716

简言 1. 笔者近两年来一直使用redis，也对redis有过仔细的研究，不敢说精通，熟悉至少是有的 2. redis越来越火，网上相应的文章，总结，面试问题也有很多，但大多是应付简单面试用的，如果面试官再深入一些，恐怕大多数人都hold不住 3. 所以特在这里总结了一些有难度的问题，若你能认真学习研究，不但能大幅提高对redis的理解程度，反杀面试官也是轻轻松松问题1：持久化的混合存储模式（RDB+AOF），它的实现原理和好处问题2：scan命令，第三个参数应该怎么填问题3：sca..

缓存穿透与布隆过滤器

my8688的专栏

07-09

2199

本文主要介绍在使用缓存过程中经常会遇到的几个问题：缓存击穿、缓存雪崩、缓存穿透，以及其解决方案。之后会对缓存穿透的解决方案之一布隆过滤器，进行详细讲解。