BloomFilter（布隆过滤器）——海量数据去重过滤、避免缓存穿透大杀器

最新推荐文章于 2025-02-26 18:09:54 发布
最新推荐文章于 2025-02-26 18:09:54 发布
阅读量236 收藏
点赞数 4
文章标签： 后端 redis 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lsj1342/article/details/106917078
版权
博客围绕后端开发，涉及Redis和大数据相关内容。Redis作为后端常用技术，在大数据处理中发挥重要作用，可助力提升后端性能和数据处理能力，为后端开发提供有力支持。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

 

 

 

 

Bloom Filter（布隆过滤器）
zpnuaa107的博客
01-01 447
Bloom Filter是一种海量数据的查询过滤算法。若要判断一个集合是否包含某个元素，小数据量场景下可以简单的使用遍历比较；海量数据场景下，不考虑空间效率可以直接使用Bitmap来进行判断；若要考虑空间效率，Burton Bloom在1970年提出了Bloom Filter算法，其时间复杂度是O(1)。Bloom Filter算法不能保证100%正确，所以不适合那些“零错误”的应用场合。
Bloom Filter概念和原理
热门推荐
jiaomeng
01-27 30万+
Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适
布隆过滤器（Bloom Filter）
最新发布
m0_62909831的博客
02-26 1014
布隆过滤器的定义，原理，扩容详解，并实现了手写一个简单的布隆过滤器
海量数据处理专题（二）——Bloom Filter
gaofen100
11-04 122
本文转自：http://blog.redfox66.com/post/2010/09/24/mass-data-topic-2-bloom-filter.aspx 【什么是Bloom Filter】 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价...
布隆过滤器Bloom Filter算法的Java实现（用于去重）
weixin_33717117的博客
02-23 954
在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个 集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较...
Bloom Filter
耘田
11-02 434
场景 判断某一元素是否在某个集合内？ 一般使用HashMap/Set,但是当集合非常庞大时，需要极大的空间，现实状况不允许。此时，可以考虑使用 Bloom Filter。 具体步骤： 申请足够的bit位，所有bit位置为0（如: int[]） 通过一定的Hash策略将集合元素映射到 int[] 的特定位上，并将对应 bit 置1 取待检测元素，进行相同的Hash，对应位上 bit 全为 1，re...
学习笔记 | 大数据和空间限制 | 布隆过滤器 BloomFilter
大虎牙的博客
04-08 353
初识布隆过滤器 【题目】 不安全网页的黑名单包含100亿个黑名单网页，每个网页的URL最多占用64B。现在想要实现一个网页过滤系统，利用该系统可以根据网页的URL判断该网页是否在黑名单上，请设计该系统。 【要求】 该系统允许有万分之一以下的判断失误率。 使用的额外空间不要超过30GB。 首先介绍哈希函数（散列函数）的概念。 哈希函数的输入域可以是非常大的范围，比如，任意一个字符串，但是输出域...
从面试题浅谈布隆过滤器（Bloom Filter）
Jerry 没有 Tom
01-04 1573
面试题 不安全网页的黑名单包含 100亿个黑名单网页， 每个网页的URL最多占64字节，现在想要实现一种网页过滤系统，可以根据网页的URL判断该网页是否在黑名单上， 请设计该系统。 要求该系统允许有万分之一一下的判断失误率，并且使用的额外控件不要超过30G。 分析：一般思路基本就是 将黑名单存入  哈希表 或者 数据库。但是显然与题设是不符合的。假设最差的情况， 每个URL占64个字节。  ...
海量数据的非精确去重利器——从HyperLogLog到布谷鸟过滤器
More than coding
01-04 1265
背景 非精确：牺牲一定准确度换取空间效率和时间效率。 统计网站的UV（独立访客数）：当用户数量非常多时，比如几千万甚至上亿，那么使用普通的哈希表去重将会占用可怕的巨大内存空间。引用吴军博士的《数学之美》中所言，这是因为哈希表的空间效率不够高，哈希表的存储效率一般只有50%。如果用哈希表存储一亿个userId，每个userId对应 8bytes，那么一个id就需要占用16bytes。因此一亿个userId占用1.6GB，如果存储几十亿个userId则需要上百GB的内存。而内存又是非常宝贵的资源，单单为了统计
布隆过滤器在UV统计中的应用
不能如期而至的专栏
09-15 764
一.内存瓶颈 用Flink统计UV(Unique Visitor：网站独立访客数）这个指标时，需要根据UserId进行去重（同一个用户的多个操作，只会统计一次）。开始的思路是通过一个Set数据结构，保存一个窗口中所有的userID,因为Set数据结构本身具有去重功能，最后计算Set的Size即可得到统计指标。 但是当时并未考虑将一个计算窗口中的所有数据存入Set中内存会是一个瓶颈。试想：一个小时的窗口，发生的用户访问行为，在某些大型网站上，可能是千万，甚至上亿级别。 下面通过简单的定量分析说明： 假如Use
【手撕STL】bitset（位图）、布隆过滤器
AI_ELF的博客
07-13 1037
给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。这两个方案存在一个致命的缺陷——40亿个数据量太大内存存不下补充： 1G=1024MB 1MB=1024KB 1KB=1024byte 1byte=8bit 1G大约是10亿个字节 位图的应用 快速查找某个数据是否在一个集合中 排序 求两个集合的交集、并集等 操作系统中磁盘块标记 给定100亿个整数，设计算法找到只出现一次的整数？ 这道题跟上面的题类似，利用位图解决：找出只出现一次的整数（无非有三种情况
布隆过滤器 java实现代码
06-29
布隆过滤器 源码 java版 /** * This program is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * (at your option) any later version. * * This program is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with this program. If not, see . */
bloom filter
牧童的专栏
07-25 311
bloom filter 也称"布隆过滤器"是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,简单的逻辑就是将一个数据值映射到一个二进制L长度的K个位上，有点类似于bit-map的情况，它可以以较低的空间占用去判断某一个元素是不是在某个集合中，对于元素不在集合中的情况的判断率是100%的，但是对于元素在某个集合的情况的判断率是有误差的，误差可以通过调节K和L做调整，可以应用
BloomFilter
xianrenqiu1234的博客
05-19 293
布隆过滤器
weixin_42603436的博客
04-17 322
布隆过滤器 1、为什么出现布隆过滤器 Hash表 需要把实实在在的具有特定长度的元素的信息指纹存储在内存或者硬盘的哈希表中，这个存储量非常大，而且哈希表的存储空间的利用率只有一半。 为什么哈希表的存储空间的利用率只有一半。 Hash Table 常用于频繁进行 key/value 模式的查找中。(查找模式，如匹配查找) 哈希表最大的优点在于查找速度快，但存储时可能发生collision(冲突)。 哈希表大多使用open addressing来解决collision，此时search的时间复杂度计
BloomFilter(布隆过滤器)
Sunnylunch-blog
11-08 1845
bloomfilter(布隆过滤器)：   要判断一个元素是否在一个集合中出现，一般情况下就是将这个集合的元素保存下来，然后再到这个集合中一一比较即可，但是如果这个集合中的元素很多的话，不仅需要的内存很大，而且查找起来也比较慢。   为了提高效率我们可以采用hash表，并且将集合中的元素都映射到bitmap中的一个位上，这样的话就会节省空间和查找的时间。但是由于哈希冲突的原因，我们有可
HBase - BloomFilter（布隆过滤器）
图特摩斯科技-博客
07-09 5007
hbase中有BloomFilter的功能,可以在有些情况下过滤掉不需要的hfile,节省IO。 1.ROW：根据KeyValue中的row来过滤storefile。 2.ROWCOL：根据KeyValue中的row+qualifier来过滤storefile。 级别更细 设置： BLOOMFILTER => 'ROW',
RedisBloom-2.2.6下载 - 强大的布隆过滤器免费提供
RedisBloom的使用场景非常广泛，例如在网络请求中进行缓存预判，避免对数据库的无效查询，或者在大规模数据集中进行快速的成员检查等。 知识点四：RedisBloom-2.2.6 RedisBloom-2.2.6是RedisBloom的一个版本，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值