布隆过滤器是多个hash函数占用多个bit位来减少冲突

原创 于 2023-03-21 12:59:41 发布 · 311 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#哈希算法 #算法 #后端

布隆过滤器是一种数据结构，它使用多个哈希函数在位数组中设置位，以判断元素是否存在。由于哈希冲突，一旦位为0，则确定元素不存在。删除操作可能导致误判，因为将1变为0可能影响其他因冲突而映射到同一位置的元素。

布隆过滤器是多个hash函数占用多个bit位来减少冲突,
只要有一个bit位为0, 就不存在.

添加元素: 设置多个hash函数值对应的bit位都为0.
不能删除元素(不能从1设置为0): 因为hash冲突是存在的, 如果设置bit位从1变为0, 会让多个元素(如果这几个元素在这个hash位冲突的话)被判定为不存在.也就是删除元素会增加误判率.

在这里插入图片描述

stevenxyy
关注
高效的布隆过滤器：实现、优化与应用案例
张彦峰的博客
02-14 167万+
本文介绍了布隆过滤器的基本原理及其在大数据领域的应用。首先，阐述了布隆过滤器的工作机制和实现方法，随后深入分析了Guava框架中布隆过滤器的实现及其优化。通过实际案例，本文展示了布隆过滤器在数据去重和存在性判断中的优势，尽管存在一定的误判率，但其高效的内存使用使其在大数据处理场景中得到了广泛应用。最后，文章总结了布隆过滤器的实践意义，强调了其在提升系统性能中的重要作用。
海量数据去重的hash，布隆过滤器Bloom Filter，一致性hash
control_0317的博客
10-06 1580
布隆过滤器是⼀种概率型数据结构，它的特点是⾼效的插⼊和查询，能明确告知某个字符串。
哈希表的构造方法-哈希冲突-布隆过滤器
学习-记录-分享创造价值
05-06 562
散列表-哈希冲突-布隆过滤器
布隆过滤器与哈希
weixin_43512657的博客
06-30 1474
1.布隆过滤器 什么是布隆过滤器呢？它是一种类似哈希的数据结构，通过这个数据结构，可以快速的插入和查询，确定某个事件一定不存在或可能存在。特点是占用空间少，缺点是返回的结果是概率性，有一定误差，在方案选型时，需要注意这些特点。 2.布隆过滤器数据结构 布隆过滤器是一个bit向量或bit数组，如下图所示，bit的存储是耗内存，但是key的增加，反而不耗内存，因为不存储key。 当一个元素加入集合时，就通过K个hash函数将这个映射成一个位数组中的K个点，把它们置为1。当查询时，只要检查这些点是否全为1，就能
哈希一刀流——布隆过滤器详解
qq_61500888的博客
10-21 3633
带你一命通关 C++ 布隆过滤器 十分钟手撕哈希内涵
哈希(解决哈希冲突，封装map/set，哈希的应用{位图/布隆过滤器})
Morn_Star_Oliver的博客
07-11 812
C++哈希的内容
哈希第五弹：哈希应用之布隆过滤器
这是书生呀
07-10 405
前言： 我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？ 如何我们使用哈希表的话，如果太多的新闻，所需要的内存也是个巨大的问题 但是我们要使用位图的话，哈希冲突就是一个不可避免的问题！ 由于推送新闻，我们允许有一定的错误发生！ 我们就可以将哈希表和位
Python+Redis实现布隆过滤器
01-21
它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit array）中的一个点。这样一来，我们只要看看这个点是不是1就可以知道集合中有没有它了 布隆过滤器的优缺点 优点： 　1.布隆过滤器的存储空间和插入/查询时间...
python实现布隆过滤器及原理解析
01-21
在学习redis过程中提到一个缓存击穿的问题， 书中参考的解决方案之一是使用布隆过滤器， 那么就有必要来了解一下什么是布隆过滤器。在参考了许多博客之后， 写个总结记录一下。 一、布隆过滤器简介 什么是布隆过滤器...
数据架构与算法-布隆过滤器(Bloom Filter)详解—基于多hash的概率查找思想
嵌入式Linux内核的博客
12-08 674
前言：布隆过滤器(Bloom Filter)是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上该元素并不在集合中）和删除困难，但是没有识别错误的情形（即假反例False negatives，如果某个元素确实没.
hash与布隆过滤器
qq_39239174的博客
09-19 602
hash也可以叫做散列表，是由数组演化而来的，由、和组成，也就是我们常说的key-value数据结构，通过函数f(key)计算出value存储的地址，最好的情况下可实现O(1)的时间复杂度，结构图大概如下在上图中可以看出，一个key中不只存在了一个value，由此引出了一个概念，叫做如果f(key)指向的地址中有多个数据，那就需要继续对比，查找效率就很难确定了，所以很有必要。
哈希的应用 -- 布隆过滤器
小萌新的博客
01-28 1242
介绍并模拟实现哈希的应用 -- 布隆过滤器
哈希函数与布隆过滤器
hch977的博客
01-16 474
认识哈希函数 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入，通过散列算法，变换成固定长度的输出，该输出就是散列值。 这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。 简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 黑名单系统–布隆过滤器 适用场景：有大量黑名单需要存储，同时我们需要快速识别是否在黑名单中。布隆过滤器大量可以减少存储空间，同时快速识别。 原理
基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器（解决hash碰撞问题）
DONGYUXIA15810857916的博客
08-16 2929
点击查看全文 1.计算出key的哈希值。 2. 根据hash值和固定段大小取模计算出偏移位offset。 3. 根据固定前置+hash值／固定段大小计算出所处段的bitKey。 4. 根据bitKey和offset判断是否存在。 5. 如果存在然后调用containsFromDb判断是否存在。 6. 将redis setbit进行分段可以避免单个key数据量过大。 7
哈希函数+布隆过滤器+一致性哈希+哈希表
泡泡历险记
01-19 401
哈希函数+布隆过滤器+一致性哈希+哈希表 认识哈希函数和哈希表 设计RandomPool结构 认识布隆过滤器 认识一致性哈希 （from左神算法初级班第6节） 1.认识哈希函数和哈希表 1）什么是哈希函数？（非常重要） 定义：能通过哈希函数直接找到需要的记录，在记录的存储位置和它的关键字之间建立一个确定的对应关系f，使每个关键字和结构中一个唯一的存储位置相对应。 性质： 经典哈希函数的输入域...
哈希的应用 —— 布隆过滤器
2021dragon的博客
08-25 2507
布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询。布隆过滤器其实就是位图的一个变形和延申，虽然无法避免存在哈希冲突，但我们可以想办法降低误判的概率。当一个数据映射到位图中时，布隆过滤器会用多个哈希函数将其映射到多个比特位，当判断一个数据是否在位图当中时，需要分别根据这些哈希函数计算出对应的比特位，如果这些比特位都被设置为1则判定为该数据存在，否则则判定为该数据不存在。
布隆过滤器
weixin_44399827的博客
08-11 703
针对布隆过滤器使用的优势与劣势。首先最大的优势是在数据量特别大的场景。能占用比较小的场景下快速判断对象是否存在。虽然需要用多个hash函数，但是判断过程是CPU密集型的计算，相比HashMap的一次hash函数，但是需要在内存中比较是否对象是否相等。这是属于内存密集型计算，理论上布隆过滤器的判断更加高效。缺点就是：布隆过滤器存在一定的误判率，一般用于判断元素不存在。经过它计算的结果是不存在，那么元素一定不存在，如果计算的结果为存在，会存在，不能一定确认元素存在，因为，可能所有的。......
哈希应用 位图与布隆过滤器 及海量数据处理问题
e我所欲也的博客
07-14 506
文章目录位图布隆过滤器海量数据面试题思路分析 位图 先介绍一个题： 给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。 解决方案： 遍历，时间复杂度O(N) 排序(O(NlogN))，利用二分查找: logN 把数据放入map或者unordered_map中，树形结构查找 位图解决 面对这个问题我们首先想到的就是前三种。但是前三种做法的前提就是需要把数据移到内存上才可以运行，但是40亿个整型，差不多16个G（十亿字节差不多为一个G,一个整型占四个字节）,而
哈希拓展——布隆过滤器
宇哲
11-08 1423
哈希表的另外一个应用是布隆过滤器。1.什么是布隆过滤器关于布隆过滤器，我们需要讲很多关于它的东西，首先我们可以知道这个东西是个叫做布隆的人发现的，它一般用于解决网络爬虫重复问题，还有比如防垃圾邮件或垃圾网页的实现，都可以利用它。布隆过滤器也是针对的是哈希冲突，可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这个点是不是 1 就知道可以集合中有
布隆过滤器多个元素增加
最新发布
02-15
### 向布隆过滤器中添加多个元素 为了理解如何向布隆过滤器 (Bloom Filter) 中添加多个元素，先要明白其基本工作原理。布隆过滤器使用位数组来表示集合成员关系，并通过一组哈希函数将元素映射到位数组的不同位置上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值