Redis之布隆过滤器（Bloom Filter）

Redis布隆过滤器实战
原创 已于 2022-07-12 17:52:58 修改 · 1.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #java #数据库

于 2022-07-11 19:43:22 首次发布
本文介绍了布隆过滤器的原理及其在Redis中的应用。针对Redis 4.0及以上版本，详细阐述如何通过模块功能使用布隆过滤器，并且重点讲解了如何利用Lettuce自定义命令接口来操作RedisBloom，包括声明接口、定义方法、参数指定和代码示例，以解决缓存穿透问题。

十分钟全面了解Redisicon-default.png?t=M666https://mp.youkuaiyun.com/mp_blog/creation/editor/125348243

目录

一、布隆过滤器原理

二、Redis中布隆过滤器

2.1、主要命令

三、通过Lettuce使用RedisBloom  

3.1、Lettuce自定义命令

3.1.1、声明自定义命令接口

3.1.2、定义方法

3.1.3 参数指定

3.1.4 代码示例

3.2、Lettuce使用示例

   在使用Redis作为缓存服务的时候存在缓存穿透问题，可以使用布隆过滤器解决这样的问题，那么什么是布隆过滤器，如何在代码中使用？本文就主要解决这些问题。

一、布隆过滤器原理

布隆过滤器（Bloom Filter）的核心实现是一个超大的长度为m的位数组和k个哈希,当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。

二、Redis中布隆过滤器

        redis 在 4.0 的版本中加入了 module 功能，布隆过滤器可以通过 module 的形式添加到 redis 中，所以使用 redis 4.0 以上的版本可以通过加载 module 来使用 redis 中的布隆过滤器。

相关文档参考：https://github.com/RedisBloom/RedisBloom

2.1、主要命令

命令 说明
BF.RESERVE <key> <error_rate> <capacity>  创建一个大小为capacity，错误率为error_rate的空的布隆过滤器
BF.ADD <key> <item> 在key指定的布隆过滤器中添加一个元素
BF.MADD <key> <item> [item...] 在key指定的布隆过滤器中添加一个元素或多个元素
最低0.47元/天 解锁文章
Redis系列--布隆过滤器（Bloom Filter）
weixin_42972832的博客
06-16 7861
无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。
Redis 布隆过滤器的相关命令的使用
m0_73257876的博客
08-28 1062
Redis 本身并不支持布隆过滤器，而是采用插件的方式去安装的，以达到一种热拔插的效果。因为我对于 liunx 来说就是一个小白，所以还是用 docker 香。我就开始搜索如何为 docker 上的 Redis 安装布隆过滤器， 实现方式我看了看有好几种~，但是大都数都需要去下载 redis 布隆过滤器的那个模块，我觉得这样也太麻烦了，肯定有前人偷过懒了，果然有更直接的方式~学习历史重要原因之一，就是要学会感恩，因为我们都是站在巨人的肩膀上。Docker 上有个的镜像，它是将redis和布隆过滤器。...
Redis-布隆过滤器（Bloom Filter）详解
小强快跑~~
08-02 4908
布隆过滤器（Bloom Filter）是 1970 年由布隆提出的，是一种非常节省空间的概率数据结构，运行速度快，占用内存小，但是有一定的误判率且无法删除元素。它实际上是一个很长的二进制向量和一系列随机映射函数组成，主要用于判断一个元素是否在一个集合中。
【Redis黑科技】10分钟手把手实现亿级数据去重！布隆过滤器从入门到实战
最新发布
全栈开发工程师
09-01 2232
现实场景痛点📱 抖音每天1亿新视频去重🛡️ 邮箱系统每日拦截10亿垃圾邮件🔍 搜索引擎万亿网页爬虫去重传统方案缺陷布隆过滤器优势空间效率极高：1亿数据仅需23MBO(k)常数时间复杂度容忍一定误判率（可控制在1%内）场景推荐方案精确去重海量数据容忍误判布隆过滤器需要删除元素布谷鸟过滤器超高精度要求数据库唯一索引技术趋势：Redis 7.0+已内置布隆过滤器模块，开箱即用！结合Redis Streams可实现实时风控系统。动手挑战。
【Redis】布隆过滤器
人类所有真实的快乐，一定是恒久的努力
03-05 4087
布隆过滤器的简介、Redis的布隆过滤器的实现
Redis---布隆过滤器
TIMFannie的博客
02-24 467
Redis---布隆过滤器 简介： Redis官方在4.0版本后新增了布隆过滤器插件，配置了插件执行bf.add 布隆过滤器名称 值、bf.madd布隆过滤器名称 值列表等来对布隆过滤器进行操作。为提高布隆过滤器准确性，通过bf.reserve布隆过滤器名称期望错误率初始容量 命令自定义redis的布隆过滤器。
Redis-布隆过滤器
xiaoyuanbama的博客
10-20 1147
布隆过滤器，海量数据去重、过滤的不二之选
布隆过滤器(bloom filter)及php和redis实现布隆过滤器的方法
12-20
在PHP和Redis中实现布隆过滤器，可以利用PHP的扩展库，如BloomFilter库，或者直接在Redis中使用BF.ADD、BF.MEMBERS和BF.EXISTS等命令操作布隆过滤器。Redis的布隆过滤器模块提供了方便的操作接口，能够在分布式环境...
Python+Redis实现布隆过滤器
01-21
　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多...
【Redis】布隆过滤器(Bloom Filter)
weixin_44823875的博客
11-16 2639
布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。可以把布隆过滤器理解为一个set集合，我们可以通过add往里面添加元素，通过contains来判断是否包含某个元素。
详细解析Redis中的布隆过滤器及其应用
热门推荐
万猫学社
01-05 2万+
布隆过滤器（Bloom Filter）是由Howard Bloom在1970年提出的一种比较巧妙的概率型数据结构，它可以告诉你某种东西一定不存在或者可能存在。它可以更高效地插入和查询，并且占用空间更少。
Redis--布隆过滤器
你我约定有三的博客
08-05 372
原理布隆过滤器主要由一个很长的二进制向量（即位数组）和一系列随机映射函数（即哈希函数）组成。当一个元素被加入布隆过滤器时，它会通过多个哈希函数生成多个哈希值，并将这些哈希值对应的位数组中的位置设置为1。当需要检查一个元素是否存在于布隆过滤器中时，同样通过多个哈希函数生成哈希值，并检查这些位置是否全部为1。如果全部为1，则元素存在；如果有任何一个位置不为1，则元素不存在。优缺点。
redis8.0新特性：布隆过滤器（Bloom Filter）详解
秃了也弱了
06-25 1396
布隆过滤器的概念就不重复啰嗦了（数据不存在则一定不存在，数据存在不一定不存在）。redis8.0以前使用布隆过滤器是很麻烦的，基本上需要基于BitMap/BitSet自定义封装。Redis8.0将布隆过滤器功能内置了，使用redis客户端可以直接使用布隆过滤器了。
Redis_25_Redis中的布隆过滤器
毛毛的专栏
09-19 2041
文章目录一、前言二、Bloom Filter 概念三、Bloom Filter 原理 + Bloom Filter优点3.1 布隆过滤器的原理3.2 布隆过滤器的原理深入，为什么检索集合时，如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在？3.3 布隆过滤器怎样处理缓存击穿四、Bloom Filter的缺点五、Bloom Filter 实现与使用5.1 Guava：提供了一种Bloom Filter的实现5.1 布隆过滤器的使用Bloom Filter的应用错误率越大，所需空间和时
Redis(五)——布隆过滤器
hxyascx的博客
02-28 3654
上一节我们学会了使用 HyperLogLog 数据结构来进行估数，它非常有价值，可以解决很多精确度不高的统计需求。 但是如果我们想知道某一个值是不是已经在 HyperLogLog 结构里面了，它就无能为力了，它只提供了 pfadd 和 pfcount 方法，没有提供 pfcontains 这种方法。 讲个使用场景，比如我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，...
使用 Redis 实现布隆过滤器
一线大码
07-17 358
文章目录1. WXISME2. 引入依赖3. 实现代码 1. WXISME https://github.com/wxisme/bloomfilter 2. 引入依赖 <dependency> <groupId>com.github.wxisme</groupId> <artifactId>bloomfilter</artifactId> <version>1.0.0</version>
Redis布隆过滤器实现
kankan_s的专栏
08-07 381
Redis提供了布隆过滤器（Bloom Filter）的支持，可以通过使用布隆过滤器在Redis中实现高效的快速查找和去重功能。总结：Redis的布隆过滤器是一种高效的数据结构，适用于大规模的数据去重和快速查找场景。布隆过滤器在处理大量数据时，可能会产生较多的误判（false positive），即判断元素存在但实际上不存在。布隆过滤器是一个概率性数据结构，它对元素是否存在的判断有一定的误差率，所以在使用时需要权衡误差和空间占用。在创建布隆过滤器时，需要提前估计期望插入的元素数量和误差率，不宜随意调整。
redis实现布隆过滤器
weixin_39406672的博客
04-26 259
package com.jmdf.world; import com.google.common.hash.Funnels; import com.google.common.hash.Hashing; import org.springframework.context.annotation.Bean; import org.springframework.stereotype.Compone...
Redis分布式布隆过滤器实现方法对比及实践
标题中提到的文件名为"test-bloomfilter.zip"，这个压缩包可能包含用于在分布式环境中实现布隆过滤器的示例代码。由于文件中提到了使用redis实现布隆过滤器的两种方式，并且特别指出了使用Redisson客户端和原始的lua...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈脩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值