Url排重Bloom Filter 算法、误差及其他

最新推荐文章于 2024-06-26 21:04:16 发布
最新推荐文章于 2024-06-26 21:04:16 发布
阅读量92 收藏
点赞数
文章标签： 算法 ASP.net ASP Ruby .net
本文探讨了BloomFilter算法在Url排重中的应用及其误差特性，介绍了该算法如何通过一组Hash算法将集合中的元素转换为位表示，实现快速查询的同时节省空间。并讨论了误差与效率之间的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Url排重Bloom Filter 算法、误差及其他
fly with me , in the perfect world --- 题记


最近看了一些书，公式和算法，用一个词把他们窜起来的话，这就是：误差。说起误差，这让我想起了小时候的一个故事。小时候有个朋友他家在二级路旁开了家小商店。有一天客户拿着刚买的散装油对他说：分量不够。他告诉客户：这是误差。客户很生气说分量不够就是不够，怎么是误差？我这个朋友还真有办法，拉客户到隔壁，把油放到地秤上，说：你看把这壶油有放在地秤（称汽车的地称）上，地秤没显示，这就是误差。

小时候的事情，印象很深。

现在想起来，对误差的理解也更多了一些。不同的标准，不同的场合，不同的期望，这些通通构成了误差。可以说我们时时刻刻都被误差包围着。甚至在管理上，方兴东在博客上也总结说：对误差的极度容忍是一个管理者的必备素质。我自己也总结了一下：医学是对模糊的精确控制，管理是对精确的模糊管理。

我这里说说误差和效率的一点关系。误差和效率是一对矛盾共同体，生活中有对误差和效率的关系描述：“萝卜快了，不洗泥”；“慢工出细活”等等，都精辟的说出了误差和效率的辨证关系。对软件工程师来说，特别是编写算法的时候，对于“空间换时间”和“时间换空间”已经耳熟能详了；我想还应该加上一句：误差换效率。

误差换效率

google黑板报上一片文章，讲Url排重用到的一个技巧：把平均长度较长的Url转换成平均长度较短的GUID来节省空间。在Url排重方面还有一个常用的算法：Bloom Filter 算法。Bloom Filter 算法是查看元素E是否在集合S中存在的快速算法，典型的应用就是拼写检查spellcheck时，查看某个单词是否在字典中存在。关于查询的算法有很多种了，排序折半、B-Tree、Hash-Code 等等。Bloom Filter 的优点是什么呢？
1、Bloom Filter不存储key-value值，Bloom Filter 用一组Hash算法把集合S中的元素E换算成位表示；
2、查询速度快。

我们知道Hash算法一般都有冲突，在Bloom Filter中的冲突就表现为误差了。

Bloom Filter 是一种常见的算法，现在已经有了 Java , C++ , C# , ruby 等各个版本的算法。当然也有很多变种出现以适应更多的需求。
Bloom Filter 是有误差的，但误差在可控制的程度内。换句话说，大多数的误差的恼人之处在于我们无法衡量它。

参考阅读：


http://blog.likeshow.net/article.asp?id=34
http://blogs.msdn.com/devdev/archive/2006/01/23/516431.aspx
http://en.wikipedia.org/wiki/Type_I_and_type_II_errors
http://en.wikipedia.org/wiki/Bloom_filter
http://jaspell.sourceforge.net/javadocs/index-files/index-2.html
http://blogs.msdn.com/devdev/archive/2005/08/17/452827.aspx
http://www.cc.gatech.edu/fac/Pete.Manolios/research/bloom-filters-verification.html
http://homepages.inf.ed.ac.uk/s9902505/specksim/doc/index-files/index-2.html
http://weblogs.asp.net/dfindley/archive/2004/08/19/217485.aspx
http://www.darkridge.com/~jpr5/archive/dads/HTML/bloomFilter.html
http://loaf.cantbedone.org/
iteye_3224
关注
基于Redis的Bloomfilter去重（基于git上的pybloom修改，误差可测）
shaququ的博客
06-04 839
1.pybloom.py# -*- encoding: utf-8 -*- from __future__ import absolute_import import math import hashlib from pybloom.utils import range_fn, running_python_3 from struct import unpack, pack, calcsize ...
海量数据处理算法之Bloom Filter
走在前往架构师的路上
04-06 3641
算法介绍 Bloom Filter的中文名称叫做布隆过滤器，因为他最早的提出者叫做布隆(Bloom)，因而而得此名。布隆过滤器简单的说就是为了检索一个元素是否存在于某个集合当中，以此实现数据的过滤。也许你会想，这还不简单，判断元素是否存在某集合中，遍历集合，一个个去比较不就能得出结果，当然这没有任何的问题，但是当你面对的是海量数据的时候，在空间和时间上的代价是非常恐怖的，显然需要更好的办法来
Redis进阶：布隆过滤器（Bloom Filter）及误判率数学推导
天然玩家的博客
02-18 9039
这布隆过滤器到底是何物？如何使用？工作原理以及应用场景、数学推导过程？ 本文就带你徜徉在图文并茂分析布隆过滤器的海洋中，自带游泳圈或游艇。 助你知其然，知其所以然，轻松应对知识交流与考核。
BloomFilter(布隆过滤器)的C#实现
极客神殿
07-13 5913
BloomFilterTest的代码如下: static void Main() { BloomFilter bf = new BloomFilter(20, 3); bf.Add("testing"); bf.Add("nottesting"); bf.Add("testingag
bloomfilter详解（布隆过滤器）
老码农
01-12 3736
目录 目录 描述 算法描述 误判率计算和证明 总结 参考文章 描述 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloo
Bloom Filter用于url去重
08-10
#### 二、Bloom Filter算法 ##### 2.1 Bloom Filter算法简介 Bloom Filter是一种概率型数据结构，由Burton Howard Bloom于1970年提出。它主要用于判断一个元素是否在一个集合中，尤其适用于处理大量数据的场景。与...
布隆过滤器（Bloom Filter）
清风的博客
06-26 1198
它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。。
Bloom Filter (布隆过滤器) 介绍以及简单的Java实现
gotobar的专栏
01-01 1105
定义 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 从简单的定义可以看出，使用布隆过滤器目的是为了优化元素查找的性能，不过布隆过滤器提升的是得到这个元素（key）的存在性的性能。 ...
布隆过滤器(BloomFilter)原理 | 亿级数据过滤解决方案
迷失技术de小猪
02-24 1895
1970 年，布隆先生提出了一种很优秀的过滤器算法，用来判断一个元素是否在集合中 「布隆过滤器算法」 故事开始→_→ 先看本故事结构 就当前互联网环境来说，头部的互联网生态越来越往高并发、分布式的形态发展。举例来说，各大网页的黑名单系统，爬虫的重复率判断。这些场景越来越多。 举例来说，实时状态下可能会对超过百亿级别的 URL 需要进行判断是否符合规范或者存在于系统中，能否正常使用。 通常情况下，每个 URL 的大小为 64B（字节），那么就按照100亿的 URL 数量来看，大概需要640GB的内存容量.
Url消重算法(BloomFilter)
02-12
本程序主要是BloomFilter算法的简化实现<br>因为C#非安全代码无法直接分配内存块，使用了int型数组代替，暂时为了简单没有使用位运算，比位运算消耗内存多16倍。<br>算法原理：<br>其首先申请一块大内存，并把内存中的所有位设置为0。对每一个URL，用10个不同的hash函数计算其hash值，并把这些hash与内存bit数大小取模，把取模后的10个数在内存对应的位置设为1。在设置前会判断该位是否被设置。如果10个hash值对应的bit位全被设置，则认为该URL已存在。该算法在web archive中实现。据其统计，平均为每个URL分配两个字节，可以达到零冲突。<br>本程序算法：<br>创建一个大小固定的数组，平均分为8段，前4段存储HASH函数（MD5）URL后的对应值，转换每4个字节为int，以转换后的int%每段数组的元素数,取模后的值对应的位置元素设置为1。后4段存储HASH函数（SHA1）URL后的对应值，具体算法相同。<br>如果在保存一个URL时，在8段数组中对应位置都已经被置1，则该URL已经存在，如有任意1位置没被置1，则该URL不存在。
布隆过滤器（Bloom Filter）原理解析
Ulrich蚊子Blog
12-08 4011
概述 布隆过滤器（Bloom Filter）是布隆在1970年提出的，它可以用来检索一个元素是否在一个集合中。实际上布隆过滤器通过一个二进制向量和一系列随机哈希函数完成元素检索，其优点在于比一般的算法具有更高的时间效率和空间效率，但其缺点是有一定的误差以及难以进行删除操作。 原理 布隆过滤器的核心就是哈希函数，可以将其看作是对 bitmap 的拓展，通过将添加的元素经过 k 个哈希函数映射到一个很长的 bit 向量中的 k 个位置，并将它们置为 1。检索时，通过判断这个位置是否都为 1 就能大概知道集合中是
BloomFilter–大规模数据处理利器
追随大师的脚步,,,
11-07 191
BloomFilter–大规模数据处理利器 　　Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 一. 实例 　　为了说明Bloom Filter存在的重要意义，举一个实例： 　　假设要你写一个网络爬虫程序（web crawler）。由于网络间的链接错综复杂，...
Bloom Filter 系列改进之Split Bloom Filter
nudt北极星的专栏
11-15 1683
简单的Bloom Filter中，如果
浅谈BloomFilter【上】基本概念和实现原理
张小琦的博客专栏
11-02 7241
布隆过滤器（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上该元
不简单的URL去重
lovecontry
09-03 301
发现我有好几篇blog的前缀都是用的“不简单”，它大概描述了这样一个状态：一个看起来很简单的任务在实践之后，发现其实很不容易。很多事情都是这样，如果不是亲自去做，如果不是仔细钻研，那就只能处于雾里看花的状态。 这让我想到另一个故事，在我毕业的那年曾经被某公司的CTO面试，他和我说过一句话让我至今记忆犹新，他跟我说技术其实是很简单的（几年后某位大牛也和我表达过类似的意思）。我一直琢磨这句话的含义，...
015-Storm计算网站UV(去重计算模式)
艾文
10-12 6721
通过Storm统计uv和pv，其中uv去重，解决高并发多线程下uv和pv统计出错问题。
Spark SQL 按照某个字段去重
热门推荐
最怕你一生碌碌无为 还安慰自己平凡可贵
05-23 1万+
/** * 按照两个字段进行排重 * Created by princeping on 2017/8/8. */ object SQLDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName(&amp;quot;SQLDemo&amp;quot;).master(&amp;quot;local&amp;quot;).getOrC...
布隆过滤器(Bloom Filter)的原理和实现
跨链技术践行者
02-17 817
什么情况下需要布隆过滤器？ 先来看几个比较常见的例子 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里，一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 这几个例子有一个共同的特点：如何判断一个元素是否存在一个集合中？ 常规思路 数组 链表 树、平衡二叉树、Trie Map (红黑树) 哈希表...
c++布隆过滤器（Bloom Filter）演示
最新发布
06-05
<think>嗯，用户这次在询问C++中布隆过滤器的实现与演示代码，并且引用了站内的几个相关引用内容。根据引用[2]，用户已经了解布隆过滤器的基本概念和特点，比如二进制向量、随机映射函数、空间效率高等。用户可能正在开发需要高效去重的系统，比如爬虫URL检测或缓存系统。用户提供的引用中包含线程安全的LRU缓存代码（引用[1]）、布隆过滤器理论说明（引用[2]）、排序算法实现（引用[3]）以及位图操作（引用[4]）。其中引用[4]的位图重置函数reset()尤其重要，因为位图正是布隆过滤器的核心存储结构。布隆过滤器的实现关键点有三个：位数组大小（m）、哈希函数数量（k）、哈希种子选择。引用[2]提到布隆过滤器的误差概率特性，这提醒我需要强调参数设计对误判率的影响。用户作为C++开发者，应该需要可运行的实际代码而非伪代码。在回复中，应当包含位数组的实现（参考引用[4]的位操作技术）、多个哈希函数设计（如不同种子）、插入查询接口。由于用户引用过线程安全代码（引用[1]），可能需要考虑并发场景下的加锁机制。但核心演示可暂不涉及线程安全，保持代码简洁。最后需要提醒用户布隆过滤器的典型缺陷：不可删除、存在误判。这可以通过引用[2]提到的“概率性结果”来佐证。实践建议部分将补充空间计算和场景选择，避免用户误用于需要精确删除的场景。</think> 以下是C++中布隆过滤器的实现与演示代码，结合引用内容中的技术要点解析： ### 布隆过滤器核心实现 ```cpp #include <bitset> #include <functional> #include <vector> class BloomFilter { private: std::bitset<10000> bit_array; // 位数组（引用[4]的位操作基础） std::vector<std::hash<std::string>> hash_functions; // 哈希函数集合（引用[2]的"一系列随机映射函数"） public: BloomFilter(int hash_count) { for (int i = 0; i < hash_count; ++i) { // 使用不同种子创建多个哈希函数（降低误判率） std::hash<std::string> hash_func; hash_functions.push_back(hash_func); } } // 添加元素（引用[2]的"高效插入"） void add(const std::string& item) { for (auto& hash_func : hash_functions) { size_t hash_val = hash_func(item); size_t index = hash_val % bit_array.size(); bit_array.set(index); // 置位对应位置（引用[4]的位操作） } } // 检查元素（引用[2]的"可能存在/一定不存在"特性） bool contains(const std::string& item) const { for (auto& hash_func : hash_functions) { size_t hash_val = hash_func(item); size_t index = hash_val % bit_array.size(); if (!bit_array.test(index)) { return false; // 任一位置未置位则必然不存在 } } return true; // 所有位置均置位则可能存在（有误判概率） } }; ``` ### 演示代码 ```cpp #include <iostream> int main() { // 创建含3个哈希函数的布隆过滤器（引用[2]的"概率性结果"特性） BloomFilter filter(3); filter.add("https://example.com/page1"); filter.add("https://example.com/page2"); std::cout << "Check page1: " << filter.contains("https://example.com/page1") // 输出1 (存在) << std::endl; std::cout << "Check unknown: " << filter.contains("https://example.com/unknown") // 可能输出0或1 (存在误判概率) << std::endl; } ``` ### 核心特性解析（引用[2]的要点） 1. **空间效率** 位数组存储代替传统数据结构（引用[2]的*"占用空间更少"*） 2. **误差特性** 当`contains()`返回`true`时可能存在误判，返回`false`时元素必然不存在 3. **无删除操作** 直接删除位会导致其他元素失效（引用[2]的*"一般不提供删除操作"*） 4. **哈希函数数量** 增加哈希函数数量可降低误判率，但会增大计算开销（需权衡） ### 参数设计建议 1. 位数组大小 `m` 与预期元素数量 `n` 的关系： $$ m = -\frac{n \ln p}{(\ln 2)^2} $$ （其中 $p$ 为可接受的误判概率） 2. 最优哈希函数数量 `k`： $$ k = \frac{m}{n} \ln 2 $$ ### 实践建议 1. **适用场景**（引用[2]的应用案例）： - URL爬虫去重（检测新链接） - 缓存击穿防护（快速过滤无效请求） - 拼写检查器（单词存在性校验） 2. **注意事项**： - 需要预估最大数据量来设定位数组大小 - 对精度要求高的场景需配合二级校验 - C++11+标准中可使用`std::hash`的默认特化[^2] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值