C++海量数据处理（二）：布隆过滤器(Bloom Filter)详解

最新推荐文章于 2025-05-01 15:17:42 发布
最新推荐文章于 2025-05-01 15:17:42 发布
阅读量1.5k 收藏 5
点赞数 2
分类专栏： C++程序设计 文章标签： 布隆过滤器 布隆过滤器的参数选择 布隆过滤器的算法描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZYZMZM_/article/details/89270137
版权
本文详细介绍了Bloom Filter，一种用于快速判断元素是否属于集合的算法，适用于海量数据场景。通过多哈希函数降低冲突概率，允许小概率误判。文章讨论了Bloom Filter的算法描述、参数选择及其在URL访问记录等场景的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合，因为有一定的错误率。

实例

为了说明Bloom Filter存在的重要意义，举一个实例：

假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“环”，就需要知道蜘蛛已经访问过那些URL。给一个URL，怎样知道蜘蛛是否已经访问过呢？

稍微想想，就会有如下几种方案：

  • 将访问过的URL保存到数据库。

  • 用HashSet将访问过的URL保存起来。那只需接近O(1)的代价就可以查到一个URL是否被访问过了。

  • URL经过MD5或SHA-1等单向哈希后再保存到HashSet或数据库。

  • Bit-Map方法。建立一个BitSet，将每个URL经过一个哈希函数映射到某一位。

方法1~3都是将访问过的URL完整保存，方法4则只标记URL的一个映射位

了解本专栏 订阅专栏 解锁全文
布隆过滤器——（C++）
weixin_45599288的博客
02-11 4163
布隆过滤器布隆过滤器的提出布隆过滤器概念哈希函数和布隆过滤器的长度位图的代码实现布隆过滤器Set接口Test接口布隆过滤器的删除布隆过滤器的优点布隆过滤器的缺点哈希分割 布隆过滤器的提出 我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？ 用哈希表存储用户记录，缺点：浪
C++——布隆过滤器
weixin_66905164的博客
06-25 999
首先，布隆过滤器可以实现为一个模板类，因为插入布隆过滤器的元素不仅仅是字符串，也可以是其他类型的数据，只有调用者能够提供对应的哈希函数将该类型的数据转换成整型即可，但一般情况下布隆过滤器都是用来处理字符串的，所以这里可以将模板参数K的缺省类型设置为string。当一个数据映射到位图中时，布隆过滤器会用多个哈希函数将其映射到多个比特位，当判断一个数据是否在位图当中时，需要分别根据这些哈希函数计算出对应的比特位，如果这些比特位都被设置为1则判定为该数据存在，否则则判定为该数据不存在。
布隆过滤器之C++实现
11-20
C++实现的布隆过滤器，其中使用到的bitset也是自己简单实现的一个BitContainer。可以处理千万条到亿条记录的存在性判断。做成dll可以在很多场合使用，如自己写爬虫，要判断一个url是否已经访问过，判断一个单词是否在某个字典内，当集合很大的时候，用布隆过滤器很有优势，不过使用前，请了解它的优缺点（缺点是有一定的误判率）
【C++】：STL详解 —— 布隆过滤器
元清的博客
03-15 827
布隆过滤器（Bloom Filter） 是一种空间效率极高的概率型数据结构，用于快速判断一个元素是否属于某个集合。其核心特点包括： 空间高效：基于位数组（bit array）实现，占用内存远小于传统数据结构（如哈希表）。 概率性判断：可能返回“可能存在”（存在误判，即假阳性），但绝不会返回“肯定不存在”（无假阴性）。 不可删除：标准布隆过滤器不支持元素删除，但改进版（如计数布隆过滤器）通过替换位为计数器可实现删除功能。 工作原理： 数据结构： 使用一个长度为 m 的位数组（bit array），
c++实现布隆过滤器
wukuruaCL的博客
01-12 612
hashfuntion.h（常用字符串Hash函数） unsigned int SDBMHash(const char *str); unsigned int RSHash(const char *str); unsigned int JSHash(const char *str); unsigned int PJWHash(const char *str); unsigned int APHash(const char *str); unsigned int DJBHash(const char *str
C++实现布隆过滤器
kkbca的博客
12-22 1282
之前我们学习了位图，我们知道位图主要是实现了整形的映射bit位，这样可以大幅度的节省空间，那么针对于我们也经常用的string类型，或者其他类型，该如何去映射呢？可以说string类的个数是无限的，无线个数去映射到有限的位置，那么必定会发生哈希冲突，这是无法避免的，我们有没有办法去减少这种哈希冲突呢？大佬布隆就提出了布隆过滤器。（不是弗雷尔卓德之心）布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构，特点是。
【C++】位图/布隆过滤器+海量数据处理
muyuteacher的博客
05-23 818
位图和布隆过滤器在处理海量数据时都发挥着重要的作用。位图可以用于快速判断数据是否存在，实现高效的去重、索引等功能；布隆过滤器可以用于快速判断数据是否存在于一个集合中，实现高效的去重、索引和缓存等功能。它们都可以在处理海量数据时节省大量的空间，提高查询速度。
哈希一刀流——布隆过滤器详解
qq_61500888的博客
10-21 3297
带你一命通关 C++ 布隆过滤器 十分钟手撕哈希内涵
【数据结构与算法】位图 && 布隆过滤器 && 海量数据问题处理 && 哈希切分
最新发布
lirendada的博客
05-01 556
所以这个伤心的被挤走的蛋会看看自己的另一个位置有没有空，如果空了，自己挪过去也就皆大欢喜了。​ 我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。作者提出了布谷鸟过滤器。​ 而至于时间问题，查找某个数字的时候，位图也是通过某个数字的对应映射关系查找的，也就是通过哈希！之后的位置也和它们一样，很明显，这时候会出现挤兑的循环。
【手撕STL】bitset（位图）、布隆过滤器
AI_ELF的博客
07-13 1048
给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。这两个方案存在一个致命的缺陷——40亿个数据量太大内存存不下补充： 1G=1024MB 1MB=1024KB 1KB=1024byte 1byte=8bit 1G大约是10亿个字节 位图的应用 快速查找某个数据是否在一个集合中 排序 求两个集合的交集、并集等 操作系统中磁盘块标记 给定100亿个整数，设计算法找到只出现一次的整数？ 这道题跟上面的题类似，利用位图解决：找出只出现一次的整数（无非有三种情况
[算法系列之十]大数据量处理利器：布隆过滤器
SmartSi
02-04 403
【引言】 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用...
算法学习 - Bloom Filter(布隆过滤器)学习实现(C++实现)
累了就歇一会
03-25 8254
Bloom filter简介 Bloom Filter计算方法 Bloom Filter优点缺点 优点 缺点 图示说明Bloom filter简介Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中。因此
c++布隆过滤器
Hedenghui777的博客
10-26 415
文章目录前言一、布隆过滤器是什么？二、布隆过滤器实现1.代码2.布隆过滤器优缺点总结 前言 在学习到位图的高效后,我们又会思考一个问题,就是位图只能处理整数,那如果数据是字符串呢?我们又该如何解决? 例子:我们在刷短视频时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐视频时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？ 用哈希表存储用户记录，缺点：浪费
【C++】布隆过滤器，字典树
wantToBeM的博客
09-26 378
布隆过滤器 有一亿个域名，查找是否在其中。 简单排序： bitmap:遍历一遍即可排序，快速，但是若nMax过大，内存高 海量数据去重 if(a[i]!=i){ if(a[i]==a[a[i]]) return a[i]; swap(); } 快速判断是否在集合里面（布隆过滤器） bitmap,m个hash函数。对n—>h1,h2,h3…hm; 判断：若都为1的情况则存在在里面 应用：...
【C++从入门到踹门】第二十篇：布隆过滤器
qq_43041053的博客
06-20 795
在使用新闻app看新闻时，一旦刷新就会为我们不停地推荐新的内容，他每次推荐时要去重，过滤掉哪些已经浏览过的内容。那么新闻客户端是如何去重的呢？服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时先对历史记录进行过滤，滤掉重复的内容。那么它又是如何进行快速查找的呢？我们可以想到如下的方法：布隆过滤器是一个大型位图（bit数组）+多个无偏哈希函数。一个bit数组：如果我们要映射一个值到布隆过滤器中，则需要使用多个不同的无偏哈希函数来生成多个哈希值，并对每个哈希值所指向的bit位置为1。无偏哈希函数就是能把元
C++_布隆过滤器
安权_code的博客
03-06 936
布隆过滤器是一种概率型数据结构，采用的是哈希思想，他在位图的原有基础上做了升级，因为位图处理不了数据为字符串的情况，而布隆过滤器可以。布隆过滤器的作用是能够快速的判断某个数据存在与否，他也是通过哈希函数找到映射在位图上的位置，但是位图只映射一个位置，而布隆过滤器能够映射多个位置，这也是布隆过滤器和位图的区别所在。
【C++】布隆过滤器
weixin_63449996的博客
05-26 1036
这是一篇有关布隆过滤器的文章。。。
布隆过滤器(Bloom Filter)详解——基于多hash的概率查找思想
djph26741的博客
12-23 345
转自：http://www.cnblogs.com/haippy/archive/2012/07/13/2590351.html 布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间...
【C++】BloomFilter——布隆过滤器
weixin_60478154的博客
03-07 1453
【C++】BloomFilter——布隆过滤器
C++数据结构：布隆过滤器原理与实现
C++ 数据结构之布隆过滤器 布隆过滤器是1970年由布隆提出的，它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远超过一般的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZY-JIMMY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值