BloomFilter

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 800+累计阅读 864平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄19年

关注

转载最新推荐文章于 2026-05-12 09:17:20 发布 864 阅读 AI 写同款· GEO 优化 ›

BloomFilter应用与D-Lelft BloomFilter实现此篇文章是开发过程中对BloomFilter应用场景的一些介绍，另外项目中实现了D-Left BloomFilter，相关实现时一些注意的地方，简单介绍下！首先看一些应用场景： 1.海量的黑白名单。 2.爬虫抓取时重复的URL处理。 3.数据key是否存在检测 4.(一些面试题几十亿不重复整数中判断其中一个整数是否存在的问题，BitMap/BloomFilter能很好的解决) 。。。阅读详情

Bloom Filter by Example http://billmill.org/bloomfilter-tutorial/

收录于

算法与数据结构

当前文章被收录于：

算法与数据结构

5 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

SIwave：在 SIwave 中释放计算频率扫描的强大功能 AEDT 的电路工具允许注入正确的电压和电流。要使用电路工具，SIwave 必须首先使用 PI 求解器求解结构的 S 参数。阅读详情

相关推荐

java结合Ai

Spring AI 是 AI 工程的应用框架。其目标是将Spring生态系统的设计原则（如可移植性和模块化设计）应用于AI领域，并促进使用POJO作为应用程序的构建块到AI领域。特征跨 AI 提供商的可移植 API 支持，适用于聊天、文本到图像和嵌入模型。支持同步 API 和流 API 选项。还支持下拉以访问特定于模型的功能。聊天模型亚马逊基岩人类学Cohere的命令AI21 Labs的侏罗纪-2Meta 的 LLama亚马逊的泰坦人类学克劳德Azure 开放式 AI。

qq_67832732的博客 2848

浅谈BloomFilter【下】用Java实现BloomFilter

通过前一篇文章的学习，对于 BloomFillter 通过前一篇文章的学习，对于 BloomFilter 的概念和原理，以及误报率等计算方法都一个理性的认识了。在这里，我们将用 Java'实现一个简单的 BloomFilter 。

张小琦的博客专栏 9697

STM407ZET6+OV5640调试心得

最近一个项目用了STMF407ZET6 +OV5640，调试了好几天做些总结； STMF407ZET6 开发板用的是正点原子的开发板，OV5640摄像头用的是秉火摄像头；这其中有一个大坑，开发板的DCMI接口跟摄像头的接口不一样，要重新用杜邦线进行连接；本人是在正点原子的“”15，ATK-OV5640摄像头模块“”源码上进行修改的。

kingseacjh的专栏 8325

BloomFilter简介

一.简介 BloomFilter底层是一个位图（位数组）的数据结构，通过k个hash函数将这个元素映射到位数组的k个点，将他们设置为1。检索时，我们查看这k个点是否都为1就能够判断元素是否在BloomFilter中（会有一定的误差率）；如果k个点有一个点不为1，那么这个元素肯定不在BloomFilter里面。大致的数据结构：二.使用场景 1.海量数据的去重 2.处理缓存穿透的场景，用于校验请求...

一群专业码农的笔记本 3652

海量Embedding进行相似度查询和比较的方法

这个是在科研中的现实需求。例如每一个源代码文件，我们可以生成一个embedding，如果有超过5000万个embedding（例如用BERT生成5000万个embedding），怎么样有效地计算相似性呢（例如有5000个positive的embedding，想在5000万个中找到类似的）。简单介绍一下我尝试的结果：如果直接用torch.cosine_similarity，我手里的数据估计至少要处理两个月。这时候就想到了用LSH -- Locality Sensitive Hashing，但是我之前并没怎

qysh123的专栏 4566

从零开始的 AI Infra 学习之路

AI Infra（AI 基础设施）是指为上层的 AI 算法应用提供支持的 AI 全栈底层技术，通过合理利用计算机体系结构，可以实现 AI 计算的加速和部署。AI Infra 主要包括以下内容：AI 训练框架 & 推理引擎；AI 编译 & 计算架构；AI 硬件 & 体系结构。参考资料：；。

AI Infra / LLM / 软件开发 3万+

hbase性能优化之bloomfilter

简介不了解bloomfilter的可以参考我以前的文章：海量数据处理之BloomFilter在判断元素是否存在的情形确实很高效。在hbase中的应用也是如此，可以使用bl...

大数据星球-浪尖 2558

王道考研操作系统笔记（第一章）附：王道考研408所有PPT和思维导图

学习感想别人的笔记对你的学习基本上没有用处，容易培养人的惰性，如需ppt和思维导图请拉到最后，有github链接记笔记并不是一件浪费时间的事情，还有利于多次学习真心希望大家在学习的过程中记笔记操作系统第一章计算机系统概述 1.1 操作系统 1.1.1 操作系统的概念和功能概念操作系统（Operating System， OS）是指控制和管理整个计算机系统的硬件和软件资源，并合理地组织调度计算机的工作和资源的分配；以提供给用户和其他软件方便的接口和环境；它是计算机系统中最基本的系统软

qq_41732756的博客 1万+

BloomFilter原理学习

BloomFilter我们可能经常听到也在使用, 它的特点是如果判断结果为"不存在", 则一定不存在;如果判断为存在, 则可能存在. 如下图未说明当我们判断z元素存在时, 其实是不存在的, 即存在有概率性.

开心就好的专栏 1978

支付宝H5支付唤醒协议全解析：从alipays://到动态orderSuffix的抓取与拼接

本文深入解析支付宝H5支付唤醒协议，从alipays://协议设计到动态orderSuffix参数的抓取与拼接，详细介绍了支付宝H5支付的底层机制。内容包括协议架构剖析、动态令牌生成与捕获、浏览器兼容性解决方案以及安全机制设计，为开发者提供全面的技术指南和实践建议。

weixin_27972919的博客 3494

告别Win11睡眠假死：深入解析Modern Standby S0与S3冲突及注册表修复方案

本文深入解析了Windows 11中Modern Standby（S0）与传统睡眠（S3）模式的冲突，该冲突是导致电脑睡眠后出现假死、断网等问题的根源。文章提供了通过修改注册表键值（PlatformAoAcOverride）强制启用稳定S3睡眠的终极修复方案，并附有详细诊断步骤与避坑指南，帮助用户彻底解决睡眠故障。

ol789012的博客 823

BloomFilter原理

一.介绍BloomFilter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法，通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。二.解释说明我们举个例子，假设我们需要写一个(web crawler),由于网络链接错综复杂，在爬行很可能形成”环”，为了避免这种情况的出现，我们需要知道蜘蛛已经访问过的那些URL,给一个URL，怎样知道是否已经访问过呢，

lanyizheng blog 796

51单片机+DS18B20+数码管显示+超温提示+Proteus仿真

51单片机+DS18B20+数码管显示+超温提示+Proteus仿真 Proteus仿真实例代码 #include <reg52.h> #define uchar unsigned char #define uint unsigned int sbit we1 = P3^0; sbit we2 = P3^1; sbit we3 = P3^2; sbit we4 = P3^3; sbit DS = P1^0; sbit D1 = P3^6; sbit D2 = P3^7; uch

perseverance51博客 1540

【BloomFilter】使用

BloomFilter 布隆过滤器比较适合在高并发或大数据下的数据状态判断。比如缓存穿透下，大量的请求走过redis后发现无数据，又一起奔向数据库，DB会有直接挂掉的可能。重点是，这种情况下数据库其实也没有数据，这些请求完全没必要走到数据库这一层。我们可以将可能存在的数据id或其他标识存入BloomFilter中，请求之后先通过BloomFilter确定是不是可能存在的数据。如果是存在，再...

菠萝吃西瓜的博客 814

SIMATIC S7-1200, S7-1500 PID 控制[手册]

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

基于redis实现的BloomFilter

众所周知，google的guava框架实现了BloomFilter，guava的BloomFilter和redis的bitMap都是基于位图算法的，所以redis也可以实现BloomFilter，并且相对于BloomFilter，redis的数据存在三方redis服务器上的，并不像guava的BloomFilter是存在本地的，这对于内存损耗及分布式系统来说显然是不适合的，所以今天分享一个基于...

Hilite的博客 3749

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Google Guava BloomFilter

当Guava项目发布版本11.0时，新添加的功能之一是BloomFilter类。 BloomFilter是唯一的数据结构，用于指示元素是否包含在集合中。使BloomFilter有趣的是，它将指示元素是否绝对不包含或可能包含在集合中。永远不会出现假阴性的特性使BloomFilter成为用作保护条件的绝佳候选者，以帮助防止执行不必要和昂贵的操作。虽然BloomFilters最近获得了很...

最佳 Java 编程 762

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件，这是C++版本的破解文件

Redis快速实现BloomFilter

背景最近工作上有个类似需求是：现有约3亿条数据词典存在于一个csv文件A中，作为数据源。对于用户输入的任意单词M，需要快速的在A中匹配M单词是否存在。（A文件约3G大小左右，总行数三亿）拿到这个需求，你的第一想法怎么做呢？正常思路可能是：将csv文件A导入某关系型数据库。 sql查询按M匹配。上面的方式有个明显的缺点是：慢！ 3亿多行的数据，即便是建好索引进行检索，匹配到...

La victoria的博客 8656

Guava包中的BloomFilter

如果要判断某个元素是否存在的话，首先想到的都是将数据放入到一个HashSet中，然后判断元素是否存在。但是这个方法有一个缺点，即当数据量很大时，比如1亿个整数，所耗费的内存空间也很大。优化方案一：使用BitSet 可以初始化一个很长的一个Bit数组，将数值对应的Bit位置为true，然后根据是true还是false判断对应位置的数值是否存在。例如现在有数值0、3、63，...

淡定一生2333的博客 9018

doris:BloomFilter 索引

qq_36070104的博客 955

BloomFilter去重

背景：1000万手机号去重方法： 1. 将手机号入数据库表中，设置主键唯一 2. 用HashSet将访问过的手机号保存起来。那只需接近O(1)的代价就可以查到一个手机号是否重复 3. 手机号经过MD5或SHA-1等单向哈希后再保存到HashSet或数据库。 4. Bit-Map方法。建立一个BitSet，将手机号经过一个哈希函数映射到某一位。其中方法1比较耗IO，占用数据库资源

tz_gx的专栏 812

BloomFilter在Drois中的应用

BloomFilter索引也是以Block为粒度创建的。每个Block中，指定列的值作为一个集合生成一个BloomFilter索引条目，用于在查询是快速过滤不满足条件的数据

weixin_43914798的博客 912

BloomFilter--理解总结

1、能解决什么问题: 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 : 1.初始化一个数组, 所有位标为0, A={x1, x2, x3,…,xm} (x1, x2, x3,…,xm 初始为0) 2.将已知集合S中的每一个数组, 按以下方式映射到A中 2.0 选取n个互相独立的hash函数 h1, h2, … hk 2.1 将元素通过以上hash函数得到一组索引值 h1(xi), h2(xi),…,hk(xi) 2.2 将集合A中的上述索引值标记为1(如

qq_46893497的博客 1146

用Python从零开始实现一个Bloomfilter

简介如果你不知道什么是 Bloomfilter，可以在这里找到详尽的描述Bloomfilter 介绍。简单来说Bloomfilter是一个概率数据结构，功能上类似于集合的一个子集，可以向里面添加一个元素，或者判断一个元素是否在其中。不过你只能准确判断一个数据不在其中，对于那些Bloomfilter判定在其中的元素，只能保证它有非常大的概率在其中（这个概率一般高达99.9%+）。

preyta的专栏 6391

BloomFilter在Python爬虫中的使用

BloomFilter BloomFilter（布隆过滤器）是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。BloomFilter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，BloomFilter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下，Bl

老鹰的博客 1596

Paimon中BloomFilter在key查找中的应用

本文分析了Paimon 0.9.0中BloomFilter的构造与使用机制。在构造方面，通过bfGenerator方法根据行数和误判率动态计算位数组大小和哈希函数数量，使用MemorySegment管理位数组内存。在使用方面，通过LookupLevels.createLookupFile将键值写入BloomFilter，并采用MurmurHash计算哈希值，最终通过BitSet设置对应位。整个过程实现了高效的空间占用和快速查询验证，为Paimon的查找操作提供了性能优化。

monkeyboy_tech的博客 809

scrapy过滤(redis + bloomfilter)

我在pipeline里面添加了如下代码(网上查的) class SimpleHash(object): def __init__(self, cap, seed): self.cap = cap self.seed = seed def hash(self, value): ret = 0 for i in rang...

qq_42832858的博客 5672

上一篇：二叉堆(binary heap)的insert和build 时间复杂度分析

下一篇： win7安装virtualbox遇到的问题

java结合Ai

qq_67832732的博客

08-23

2848