Redis 空间压缩--布隆过滤器对名单处理

最新推荐文章于 2025-06-25 14:25:02 发布
最新推荐文章于 2025-06-25 14:25:02 发布
阅读量1.4k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： redis 文章标签： redis 布隆过滤器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41961113/article/details/80406300
本文介绍了如何使用布隆过滤器来压缩Redis中的空间，以处理大量数据。讲解了布隆过滤器的基本知识、复杂度分析，并给出了针对2.68亿数据量的案例，选择了m/n=40，k=9的参数设置，预计假阳性率为千万分之几。在Redis中通过Hashes存储，每个value占用约20KB内存。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Redis 空间压缩--布隆过滤器对名单处理

redis

一、布隆过滤器知识分享：

http://www.cnblogs.com/allensun/archive/2011/02/16/1956532.html

二、名词解释：

  • 复杂度 k： 几个值确定一条数据。（内存中几个bit 位）。
  • 向量值: m/n : m为申请的数据量， n 为实际的数据量。
  • 假阳性： 不同数据生成同一个布隆值。
  • 单位换算： 
    布隆内存 bit= 数据量 * 向量值

三、 名单案例处理

1、需求 ：

167 基本 2.68 亿的数据量， 布隆假阳性在 千万分之几的。

2、选择方案：

m/n = 40 
复杂度 k = 9 
假阳性： 5.47219E-07

redis 使用 Hashes 存储。 Key field value 格式。 （ fields 数量默认小于 1000，时 Redis 自行压缩） 
内存情况： bit= 167 * 40 = 1280.0 MB 
数据进行处理（md5 加密， 16进制） ， key 存储 2位， field 存储2位， 单个 value 内存 1280.0 MB / 164 = 20.0 KB

  • 【理论数据越分散，假阳性越接近计算出来的理论值】

3.方案流程图：



Redis在大数据去重中的应用：布隆过滤器实战指南
AI天才研究院
05-03 1006
在大数据场景（如日志分析、推荐系统、缓存穿透防护）中，数据去重是高频操作。传统方案（如内存HashSet、数据库唯一索引）在数据量达到亿级时，内存占用会指数级增长（例如1亿个64位整数需约800MB内存），导致成本剧增。本文聚焦Redis与布隆过滤器的结合方案如何用极小内存实现亿级数据的高效去重？如何控制误判率（False Positive Rate）以满足业务需求？如何在分布式系统中共享布隆过滤器状态？本文覆盖布隆过滤器的数学原理、RedisBloom模块的使用、实战代码开发及典型场景落地。
redis布隆过滤器以及在PHP中的使用
jobsen123的专栏
04-19 502
1、布隆过滤器简介 布隆过滤器是一种数据结构，是一个很长的二进制向量和一系列随机映射函数，可以将其看成一个二进制数组。布隆过滤器可以用于检索一个元素是否在一个集合中。既然布隆过滤器是二进制，那么里面存放的不是0，就是1，但是初始默认值都是0。 向布隆过滤器添加数据 前面我们说过布隆过滤器就像一个二进制数组一样，那我们如何向布隆过滤器中添加一个数据呢？ 如下图所示：当要向布隆过滤器中添加一个元素key时，我们通过多个hash函数，算出一个值，然后将这个值所在的方格置为1。 比如，下图hash1(key)
redis之布隆过滤
qi341500的博客
02-08 1709
1、redis之布隆过滤 2、布隆过滤器原理 3、布隆过滤器使用步骤 初始化bitmap 添加占坑位 判断是否存在圜
Redis-布隆过滤器
xiaoyuanbama的博客
10-20 1069
布隆过滤器，海量数据去重、过滤的不二之选
redis8.0新特性：布隆过滤器（Bloom Filter）详解
最新发布
秃了也弱了
06-25 711
布隆过滤器的概念就不重复啰嗦了（数据不存在则一定不存在，数据存在不一定不存在）。redis8.0以前使用布隆过滤器是很麻烦的，基本上需要基于BitMap/BitSet自定义封装。Redis8.0将布隆过滤器功能内置了，使用redis客户端可以直接使用布隆过滤器了。
【Redis】布隆过滤器
人类所有真实的快乐，一定是恒久的努力
03-05 3983
布隆过滤器的简介、Redis的布隆过滤器的实现
布隆过滤器
Gongyl的博客
07-12 527
一、什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。 相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。 二、实现原理 HashMap 的问题 讲述布隆过滤器的原理之前，我们先思考一下，通常你判断某个元素是否存在用的是什么？应该蛮多人回答 HashMap 吧，确实
Redis 之布隆过滤器
热门推荐
伟大是熬出来的
03-22 1万+
1、布隆过滤器使用场景 　　比如有如下几个需求： 　　①、原本有10亿个号码，现在又来了10万个号码，要快速准确判断这10万个号码是否在10亿个号码库中？ 　　解决办法一：将10亿个号码存入数据库中，进行数据库查询，准确性有了，但是速度会比较慢。 　　解决办法二：将10亿号码放入内存中，比如Redis缓存中，这里我们算一下占用内存大小：10亿*8字节=8GB，通过内存查询，准确性和速度都有了，但是大约8gb的内存空间，挺浪费内存空间的。 　　②、接触过爬虫的，应该有这么一个需求，需要爬虫的网站千千
Redis 系列--布隆过滤器
phaeton_lai的博客
06-27 367
当我们在使用 Redis 作为缓存时，一个需要考虑的问题就是缓存穿透，缓存穿透有多种类型，不同的类型也有不同的解决方案，布隆过滤器作为一种解决方案之一。布隆过滤器主要用于判断某个元素是否包含在某个超大的元素集合之中。当元素的集合大到一定程度时，我们将元素一一存储再通过查找判断，是非常消耗存储资源，同时性能也是非常低下的，这种场景正是布隆过滤器的用武之地。 版本说明：本篇基于 Redis-5.0.8 以及 RedisBloom-2.0.0。 1. 准备 Redis-5.0.8 官方地址：Redis-5.
redis-ssg-nqnqn
11-05
9. **布隆过滤器**：用于判断一个元素是否可能在一个集合中，避免误判，常用于去重和缓存场景。 10. **Cluster集群**：Redis Cluster提供分布式存储解决方案，可以自动分区并处理数据的路由。 在面试中，除了掌握...
Redis中如何使用布隆过滤器解决缓存击穿问题
m0_73311735的博客
04-08 1049
使用布隆过滤器可以有效地预防 Redis 缓存穿透，提高应用程序的性能和稳定性。同时，使用 Redis 的事务也可以提高应用程序的可靠性和稳定性。在实际应用中，可以根据具体情况选择合适的缓存策略，以提高应用程序的性能和稳定性。
Redis 中的布隆过滤器的实现
12-16
什么是『布隆过滤器』 布隆过滤器是一个神奇的数据结构，可以用来判断一个元素是否在一个集合中。很常用的一个功能是用来去重。在爬虫中常见的一个需求：目标网站 URL 千千万，怎么判断某个 URL 爬虫是否宠幸过？简单点可以爬虫每采集过一个 URL，就把这个 URL 存入数据库中，每次一个新的 URL 过来就到数据库查询下是否访问过。 select id from table where url = 'https://jaychen.cc' 但是随着爬虫爬过的 URL 越来越多，每次请求前都要访问数据库一次，并且对于这种字符串的 SQL 查询效率并不高。除了数据库之外，使用 Redis 的 set
Redis系列--布隆过滤器（Bloom Filter）
weixin_42972832的博客
06-16 7758
无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。
Redis 中的布隆过滤器
weixin_34252090的博客
10-17 366
原文链接：jaychen.cc/redis/2018/… 作者：JayChen 什么是『布隆过滤器』 布隆过滤器是一个神奇的数据结构，可以用来判断一个元素是否在一个集合中。很常用的一个功能是用来去重。在爬虫中常见的一个需求：目标网站 URL 千千万，怎么判断某个 URL 爬虫是否宠幸过？简单点可以爬虫每采集过一个 URL，就把这个 URL 存入数据库中，每次一个新的 URL 过来就到数据库查...
redis-布隆过滤器
foralllove的博客
03-13 1547
布隆过滤器，是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。 优点：是空间效率和查询时间都远远超过一般的算法 缺点：是有一定的误识别率和删除困难 布隆过滤器的原理： 当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。 应用的场景 一般我们都会用来防止缓存击穿：
redis实现布隆过滤器
bad_boy的博客
04-26 299
@Autowired private RedisTemplate redisTemplate; private int bitSetSize; private int addedElements; private int hashFunctionNumber; //redisKey private String redisKey = null; /** * 构造一个布隆过滤器，过滤器的容量为c * n 个bit. * ...
【Redis篇】详解布隆过滤器（原理 | 操作 | 代码）
小吉妙妙屋
02-18 1925
当我们要删除“hello”这个数据的时候，我们会删除存储“hello”这个数据的hash值的位置，由于“hello”和“你好”存储在同一位置，这样子会造成误删。综上所述，布隆过滤器具有高效的查询性能、较低的存储需求、支持高并发访问、可扩展性强和简单高效的实现等优点，使其成为解决大规模数据查询和去重等问题的有效工具。，当我们查询“你好”的时候，由于 假设“你好”和“hello”这2个数据的hash值一样，会造成误判。因为布隆过滤器就是一个二进制数据的集合，当有一个数据加入到这个集合的时候，会经过下面的步骤。
Redis——构建布隆过滤器
吴声子夜歌的博客
04-16 1105
如果对应的 key 已经存在，bf.reserve 会报错。使用时不要让实际元素远大于初始化大小，当实际元素开始超出初始化大小时，应该对 布隆过滤器进行重建，重新分配一个 size 更大的过滤器，再将所有的历史元素批量 add 进 去 (这就要求我们在其它的存储器中记录所有的历史元素)。布隆过滤器的 initial_size 估计的过大，会浪费存储空间，估计的过小，就会影响准确 率，用户在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避 免实际元素可能会意外高出估计值很多。
Redis（十） 布隆过滤器
weixin_43189971的博客
08-16 3186
1
Redis分布式布隆过滤器实现方法对比及实践
在分布式系统中，布隆过滤器是一种空间效率高的概率型数据结构，用于判断一个元素是否在一个集合中。其优点是具有很低的误判率，同时节省空间，但缺点是一旦添加的元素就不能删除。布隆过滤器在处理大规模数据时非常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值