Redis 过滤器

最新推荐文章于 2025-07-09 09:25:23 发布
原创 最新推荐文章于 2025-07-09 09:25:23 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis

1、使用数据结构：set
2、使用操作命令：Redis 集合(Set)


// 向集合添加一个或多个成员
SADD key member1 [member2] 

// 移除集合中一个或多个成员
SREM key member1 [member2] 

// 判断 member 元素是否是集合 key 的成员
SISMEMBER key member

3、实现原理：把用户ID存入set 中，判断是否存在

  1. 使用 SADD key member 保存用户ID，使用 SREM key member 移除用户ID
  1. 使用 SISMEMBER key member 判断是否存在

4*、 如果用户数量大的话可以使用布隆过滤器

原理和set 一样，只是存放的用户ID的指纹（使用 多个 hash 函数对 key 进行运算，算得一个证书索引值，然后对位数组长度进行取模运算得到一个位置，每个 hash 函数都会算得一个不同的位置，再把位数组的这几个位置都置为 1，就得到了一个指纹）

判断是否存在时，在使用相同的方法判断每个位置上是否都为1

如果判断不存在，那必然是不存在；但是如果判断是存在时，布隆过滤器会有0.1%的误差，因为有可能某个位置上的1是其他key产生的

Redis系列--布隆过滤器（Bloom Filter）
weixin_42972832的博客
06-16 7866
无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。
SpringBoot+Redis的Bloom过滤器
RHHcainiao的博客
12-22 1559
Bloom过滤器使用
Redis的过滤器（SCAN)功能
weixin_34354945的博客
11-05 384
在写另一篇文章（ link ）的时候，涉及到过滤器(filter)功能。以前没有接触过，整理如下。 主要参考这两篇： http://blog.youkuaiyun.com/u011510825/article/details/51859656 http://redis.io/commands/scan 实验如下： $ redis-cli -h [host] -p 8379 > smembers my...
Redis 之布隆过滤器与布谷鸟过滤器
朱小厮的博客
11-18 619
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取后台回复“k8s”，可领取k8s资料大家都知道,在计算机中,IO一直是一个瓶颈,很多框架以及技术甚至硬件都是为了降低IO操作而...
Redis（十） 布隆过滤器
weixin_43189971的博客
08-16 3212
1
Redis 之 布隆过滤器 与 布谷鸟过滤器
Wewe的博客
05-07 1243
大家都知道,在计算机中IO一直是一个瓶颈,很多框架以及技术甚至硬件都是为了降低IO操作而生,今天聊一聊过滤器,先说一个场景:我们业务后端涉及数据库,当请求消息查询某些信息时,可能先检查缓存中是否有相关信息,有的话返回,如果没有的话可能就要去数据库里面查询,这时候有一个问题,如果很多请求是在请求数据库根本不存在的数据,那么数据库就要频繁响应这种不必要的IO查询,如果再多一些,数据库大多数IO都在响应这种毫无意义的请求操作,那么如何将这些请求阻挡在外呢?
精选资源
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比...
【Redis】Redis布隆过滤器安装
码小白.
10-24 883
Redis布隆过滤器安装
Redis实现布隆过滤器的方法及原理
09-08
在Redis中，布隆过滤器是作为插件提供的，自Redis 4.0版本开始引入。要使用它，首先需要安装相应的插件。Redis中的布隆过滤器支持基本指令`bf.add`来添加元素，`bf.exists`来查询元素是否存在，还有`bf.madd`和`bf....
Redis系列-安装布隆过滤器
dengwei_dw的专栏
04-25 1415
使用布隆过滤器来解决缓存穿透问题。
Redis_25_Redis中的布隆过滤器
毛毛的专栏
09-19 2059
文章目录一、前言二、Bloom Filter 概念三、Bloom Filter 原理 + Bloom Filter优点3.1 布隆过滤器的原理3.2 布隆过滤器的原理深入，为什么检索集合时，如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在？3.3 布隆过滤器怎样处理缓存击穿四、Bloom Filter的缺点五、Bloom Filter 实现与使用5.1 Guava：提供了一种Bloom Filter的实现5.1 布隆过滤器的使用Bloom Filter的应用错误率越大，所需空间和时
Redis——构建布隆过滤器
吴声子夜歌的博客
04-16 1288
如果对应的 key 已经存在，bf.reserve 会报错。使用时不要让实际元素远大于初始化大小，当实际元素开始超出初始化大小时，应该对 布隆过滤器进行重建，重新分配一个 size 更大的过滤器，再将所有的历史元素批量 add 进 去 (这就要求我们在其它的存储器中记录所有的历史元素)。布隆过滤器的 initial_size 估计的过大，会浪费存储空间，估计的过小，就会影响准确 率，用户在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避 免实际元素可能会意外高出估计值很多。
Redis安装布隆过滤器
赵广陆
06-07 1350
目录 1 什么是布隆过滤器 1.1 布隆过滤器的原理 1.2 布隆过滤器缺点 2 插件形式安装 2.1 下载布隆过滤器插件 3 docker方式单机安装 4 Redis集群部署安装 4.1 创建目录 4.2 redis配置文件 4.3 配置docker-compose.yml文件 4.4 启动布隆过滤器集群 4.5 配置集群 4.6 布隆过滤器常用命令 4.7 测试
Redis的多并发实际业务场景下的使用分析：布隆过滤器
qq_44716086的博客
07-09 689
本文介绍了布隆过滤器的原理及其在Redis缓存中的实践应用。布隆过滤器是一种空间高效的概率数据结构，通过位数组和哈希函数快速判断元素是否存在。文章详细讲解了布隆过滤器的工作流程，包括插入和查询操作，并解释了"可能存在"和"一定不存在"的原理。通过Java代码示例展示了如何在项目中集成布隆过滤器，包括Redisson的配置和使用。重点阐述了布隆过滤器在缓存系统中的应用，提出"三级防护体系"的最佳实践方案，以商品详情页为例，说明如何通过布隆过滤器防止缓
Redis高级篇之布隆过滤器
qq_39126115的博客
02-21 1414
首先，布隆过滤器应该是一个数据结构，用来高效地检查一个元素是否在集合里。不过，和普通的数据结构比如哈希表不同，布隆过滤器可能不会存储实际的数据，而是用某种方式记录下来是否存在。这样的话，它的空间效率应该很高，但可能会有一定的误判率。我记得布隆过滤器有几个关键点，比如使用多个哈希函数和位数组。具体来说，当添加一个元素到布隆过滤器时，会用多个不同的哈希函数对这个元素进行哈希，得到多个不同的位置，然后在位数组中将这几个位置设为1。查询的时候，同样用这些哈希函数算出位置，如果所有位置都是1，就认为元素可能存在；如果
硬核｜Redis 布隆（Bloom Filter）过滤器原理与实战
qq_33732195的博客
09-25 1154
布隆过滤器（Bloom Filter）是一种数据结构，用于快速检查一个元素是否属于某个集合中。它可以快速判断一个元素是否在一个大型集合中，且判断速度很快且不占用太多内存空间。 布隆过滤器的主要原理是使用一组哈希函数，将元素映射成一组位数组中的索引位置。当要检查一个元素是否在集合中时，将该元素进行哈希处理，然后查看哈希值对应的位数组的值是否为1。如果哈希值对应的位数组的值都为1，那么这个元素可能在集合中，否则这个元素肯定不在集合中。
基于redis的布隆过滤器
frank_07的博客
11-09 1659
import redis from hashlib import md5 import configparser#读取redis数据库配置 config = configparser.ConfigParser() config.read('util/db_conf') host = config['redis']['host'] port = config.getint('redis', 'port
Redis(五)——布隆过滤器
hxyascx的博客
02-28 3654
上一节我们学会了使用 HyperLogLog 数据结构来进行估数，它非常有价值，可以解决很多精确度不高的统计需求。 但是如果我们想知道某一个值是不是已经在 HyperLogLog 结构里面了，它就无能为力了，它只提供了 pfadd 和 pfcount 方法，没有提供 pfcontains 这种方法。 讲个使用场景，比如我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，...
bloomfilter笔记:基于Redis的布隆过滤器
qq_41864652的博客
07-20 991
数据过滤问题是爬虫项目开发时极为重要的一个环节 使用redis过滤的优点：速度快、可持久化 问题：当需要过滤的数据量过大（上亿）的时候即使搭配MD5（字符级）占用内存仍然比较大， 布隆过滤器优点：速度快、占用内存小（位级） 问题：不支持持久化，down机即失效 布隆过滤器的原理：https://blog.youkuaiyun.com/jiaomeng/article/details/1495500 ...
goredis布隆过滤器
最新发布
10-09
### 使用方法 在 Golang 中使用 go-redis 操作布隆过滤器，需要先确保 Redis 服务器安装了 RedisBloom 模块，因为 Redis 本身并不直接支持布隆过滤器。安装并配置好 RedisBloom 后，就可以在 Go 代码中通过 go-redis/redis 库来调用相关的 RedisBloom 命令 [^3]。 以下是一个简单的示例代码： ```go package main import ( "fmt" "github.com/go-redis/redis/v8" "context" ) func main() { ctx := context.Background() rdb := redis.NewClient(&redis.Options{ Addr: "localhost:6379", Password: "", DB: 0, }) // 创建一个布隆过滤器 err := rdb.Do(ctx, "BF.RESERVE", "mybloomfilter", 0.01, 1000).Err() if err != nil { fmt.Println("Error creating bloom filter:", err) return } // 添加元素到布隆过滤器 err = rdb.Do(ctx, "BF.ADD", "mybloomfilter", "element1").Err() if err != nil { fmt.Println("Error adding element:", err) return } // 检查元素是否存在于布隆过滤器中 exists, err := rdb.Do(ctx, "BF.EXISTS", "mybloomfilter", "element1").Bool() if err != nil { fmt.Println("Error checking existence:", err) return } fmt.Println("Element exists:", exists) } ``` ### 原理 布隆过滤器是一种空间效率极高的概率型数据结构。它本质上是一个位数组和一系列哈希函数。当一个元素加入布隆过滤器时，通过多个哈希函数将该元素映射到位数组的多个位置，并将这些位置的值置为 1。当查询一个元素是否存在时，同样使用这些哈希函数计算出对应的位置，检查这些位置的值是否都为 1。如果有任何一个位置的值为 0，则该元素一定不存在；如果所有位置的值都为 1，则该元素可能存在，存在一定的误判率 [^2]。 ### 应用场景 在大数据场景下，高效去重是数据处理的核心需求之一。传统的哈希表（HashSet）因内存占用过高，难以应对亿级甚至十亿级数据量。布隆过滤器可以完美解决这一问题，常见的应用场景包括大数据去重，如网页爬虫判断网页是否已经爬取过、垃圾邮件过滤判断邮件是否为垃圾邮件等 [^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值