Redis布隆过滤器的原理和应用场景，解决缓存穿透

最新推荐文章于 2025-03-21 19:06:58 发布
最新推荐文章于 2025-03-21 19:06:58 发布
阅读量3.4k 收藏 86
点赞数 48
分类专栏： 数据库基础教程系列 文章标签： 数据库 redis java 分布式
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/guorui_java/article/details/130038255
版权
本文介绍了Redis中的布隆过滤器BloomFilter，一种用于去重问题的数据结构，主要用于解决缓存穿透、黑名单管理和网页爬虫URL去重。布隆过滤器通过多个无偏hash函数定位位数组中的位，存在误判但能确保不存在的确定性。文章详细阐述了其工作原理、使用场景，并提供了代码实例，展示了如何在Redis中应用布隆过滤器。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

目录

大家好，我是哪吒。

专栏导读

2023年再不会Redis，就要被淘汰了

图解Redis，谈谈Redis的持久化，RDB快照与AOF日志

Redis单线程还是多线程？IO多路复用原理

Redis集群的最大槽数为什么是16384个？

Redis缓存穿透、击穿、雪崩到底是个啥？7张图告诉你

了解本专栏 订阅专栏 解锁全文
Redis在大数据去重中的应用：布隆过滤器实战指南
AI天才研究院
05-03 915
在大数据场景（如日志分析、推荐系统、缓存穿透防护）中，数据去重是高频操作。传统方案（如内存HashSet、数据库唯一索引）在数据量达到亿级时，内存占用会指数级增长（例如1亿个64位整数需约800MB内存），导致成本剧增。本文聚焦Redis与布隆过滤器的结合方案如何用极小内存实现亿级数据的高效去重？如何控制误判率（False Positive Rate）以满足业务需求？如何在分布式系统中共享布隆过滤器状态？本文覆盖布隆过滤器的数学原理、RedisBloom模块的使用、实战代码开发及典型场景落地。
mysql索引详解
热门推荐
学Java，找哪吒
07-07 10万+
MySQL的存储引擎架构将查询处理与数据的存储/提取相分离
从原理到实战：如何通过布隆过滤器防止缓存击穿
m0_63437643的博客
05-28 137
del self._bf_conn 会调用`pyreBloom`内置的C的del方法，会关闭redis连接 ''' if self._bf_conn: logging.debug('pyreBloom reconnect') del self._bf_conn self._bf_conn = None _ = self.bf_conn。原因是除了Bloom Filter 本身有误判率，宕机之前的缓存不一定能覆盖到所有DB中的数据，当宕机后用户请求了一个以前从未请求的数据，这个时候就会产生误判。
【原创】缓存穿透-布隆过滤器实现
weixin_42306823的博客
04-17 1122
使用布隆过滤器，可以将数据库中的所有唯一主键放入布隆过滤器中。每当需要查询某个关键字时，先查询布隆过滤器。如果查询结果表明该关键字不存在，就可以直接返回查询结果为空。如果查询结果表明该关键字存在，就需要进行数据库的访问，查询具体的数据是否存在，不存在则在返回空。
硬核 | Redis 布隆（Bloom Filter）过滤器原理与实战
sinat_32849897的博客
03-23 833
在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。码哥，布隆过滤器还能在哪些场景使用呀？比如我们使用「码哥跳动」开发的「明日头条」APP 看新闻，如何做到每次推荐给该用户的内容不会重复，过滤已经看过的内容呢？你会说我们只要记录了每个用户看过的历史记录，每次推荐的时候去查询数据库过滤存在的数据实现去重。实际上，如果历史...
布隆过滤器BloomFilter
散步的博客
05-22 329
布隆过滤器BloomFilter： 是什么？ 由一个初值都为零的bit数组和多个哈希函数构成，用来快速判断某个数据是否存在 本质就是判断具体数据存不存在一个大的集合中 布隆过滤器是一种类似set的数据结构，只是统计的结果不太准确 特点： 1.高效的插入和查询，占用空间少，返回的结果是不确定的。 2.一个元素如果判断结果为存在的时候元素不一定存在 但是判断结果为不存在的时候则一定不存在 3.布隆过滤器可以添加元素，但是不能删除元素 因为删除元素会导致误判率增加 4. 误判只会发生在过滤器没有添加过的元素，对
redis持久化机制、删除策略、淘汰策略、数据一致性问题及布隆过滤器详解
weixin_41427129的博客
04-30 1705
为了提高系统的访问效率和降低服务器压力，我们通常会采用缓存的策略，而使用缓存可以有效地支持高性能和高并发，而我们常用redis作为缓存。 高性能： 用户第一次访问数据库中的某些数据时，是从硬盘中读取的，该过程缓慢。而操作缓存是直接操作内存，速度快。所以，当第一次访问后，将数据存储在缓存，若数据库中的数据有变动，则同步改变缓存中相应的数据。 高并发： 直接操作缓存能够承受的请求是远远大于直接访问数据...
redis布隆过滤器原理及应用场景
希望我的博客，能帮上你解决学习中工作中所遇到的问题,也期待与您一起探讨技术问题，共同成长。
07-02 982
redis布隆过滤器原理及应用场景，布隆过滤器（Bloom Filter）是一种空间效率很高的随机数据结构，它利用位数组和哈希函数来判断一个元素是否存在于集合中。
Redis + 布隆过滤器解决缓存穿透问题
宋发元
03-21 551
缓存穿透指的是。
布隆过滤器的原理和应用场景，解决缓存穿透
le12345678934694的博客
02-13 739
这和上面提到的hashcode判定原理是一样的，相同hashcode的字符串会存储在一个index，删除时，是将某个index移除，此时，就可能移除拥有相同hashcode的不同字符串，细品~高效地插入和查询，占用空间少，返回的结果是不确定的，一个元素如果判断结果为存在，它不一定存在；不存在时，一定不存在。组成，用来判断某个数据是否存在，它和HyperLogLog一样，不是那么的精准，存在一定的误判概率。，请求先在布隆过滤器中判断，如果布隆过滤器不存在时，直接返回，不再反问Redis和MySQL。
redis使用布隆过滤器解决缓存穿透- 面试宝典
牛肉胡辣汤
09-10 348
以上代码示例使用了Java语言，通过Redis和布隆过滤器解决了缓存穿透问题。在示例中，我们创建了一个布隆过滤器（使用BitSet实现），并将所有可能的查询键值添加到布隆过滤器中。在查询缓存之前，先通过布隆过滤器判断查询键值是否存在，如果不存在，直接返回缓存缺失；如果存在，再进行缓存查询，如果缓存中存在该键值，则返回缓存结果；如果缓存中不存在该键值，则执行其他的查询逻辑，并将查询结果添加到缓存中。Redis使用布隆过滤器可以有效地解决缓存穿透问题。
redis 布隆过滤器 BloomFilter
m0_37843156的博客
01-19 1859
文章目录1、什么是布隆过滤器？1.1工作原理1.2布隆过滤器的优点1.3缺点2、布隆过滤器的使用场景3、布隆过滤器的原理3.1布隆过滤器的数据结构3.2初始化阶3.3插入元素过程3.4查询元素是否存在3.5元素删除3.6扩容4、SpringBoot整合布隆过滤器4.1技术选型4.2依赖4.3配置布隆过滤器相关参数4.4布隆过滤器工具类4.5业务操作。
redis缓存穿透之终极解决方案——布隆过滤器
qq_40606397的博客
02-25 2986
一.介绍与原理 在我们开发过程中，避免不了经常使用到redis这个缓存中间件，尤其是在大并发访问量的时候，他的存在会让我们在对数据库操作时节省很大的性能。 然而当我们进行redis的使用时，难免不了会发生以下这三种redis搞崩数据库的情况：缓存击穿、缓存穿透、缓存雪崩。而在遇到这几种情况时，我们都要有对应的解决措施去防止他的发生。今天我要记录的就是redis modle中的一种非常实用的解决缓存击穿的利器——布隆过滤器（bloomFilter）。 何为布隆过滤器呢？他的定义的使用定义很简...
PostgreSQL数据库备份和恢复
学Java，找哪吒
09-10 4万+
🏆作者简介：哪吒，优快云2022博客之星Top1、优快云2021博客之星Top2、多届新星计划导师✌、博客专家💪，专注Java硬核干货分享，立志做到Java赛道全网Top N。🏆本文收录于，，目前已经700+订阅，优快云最强Java专栏，包含全部Java基础知识点、Java8新特性、Java集合、Java多线程、Java代码实例，理论结合实战，实现Java的轻松学习。🏆姐妹篇，，包含面向对象、基本数据类型、数组、继承和多态、泛型、枚举等Java基础知识点。🏆姐妹进阶篇，
SQL性能优化的21个小技巧
学Java，找哪吒
08-29 4万+
真正的一文在手，优化我有！
MySql基础知识总结（SQL优化篇）
学Java，找哪吒
07-12 4万+
1、建表语句 + 联合索引 CREATE TABLE `student` ( `id` int(10) NOT NULL, `name` varchar(20) NOT NULL, `age` int(10) NOT NULL, `sex` int(11) DEFAULT NULL, `address` varchar(100) DEFAULT NULL, `phone` varchar(100) DEFAULT NULL, `create_time` timestamp .
2023年再不会Redis，就要被淘汰了
学Java，找哪吒
03-06 2万+
Redis实战系列，打造精品专栏。
Your local changes would be overwritten by merge.Commit, stash or revert them to proceed.
最新发布
05-28
<think>好的，用户遇到了Git合并时本地更改会被覆盖的问题，需要解决方案。根据之前的引用资料，解决方法主要有commit、stash和revert三种。首先，我得确认用户的具体情况，比如他们的本地更改是否已经完成，是否需要保留，或者是否可以丢弃。用户可能不太清楚这三种方法的适用场景，需要详细解释每个选项的步骤和优缺点。比如，commit适用于需要保留更改的情况，stash适合临时保存以便后续恢复，而revert则是直接撤销更改，适用于不需要保留的情况。需要结构清晰，分点说明，每个方法都给出操作步骤和适用场景，帮助用户理解哪种情况最适合他们。还要注意使用中文，避免技术术语过于复杂，让用户容易理解。同时，生成相关问题，可能涉及如何恢复stash的内容，或者如何避免频繁冲突等，扩展用户的知识点。另外，要确保LaTeX格式正确，但在这个问题中可能用不上数学公式，所以主要关注代码块和引用标识。检查引用是否正确，比如引用[^1]和[^2]的来源是否相关，用户提供的引用内容是否准确对应解决方案。 最后，确保回答真实可靠，操作步骤准确无误，避免误导用户。可能还需要提醒用户根据具体情况选择方法，比如如果有未完成的实验性代码，stash可能是更好的选择，而如果是确定要保留的修改，则应该commit。</think>要解决Git合并时本地更改被覆盖的问题，可根据不同场景选择以下三种方法： ### 一、提交本地更改（commit） **适用场景**：当本地更改已测试通过且需要保留到版本历史中。 **操作步骤**： 1. 将改动添加到暂存区： ```bash git add . # 添加所有文件 # 或指定文件 git add file1.txt file2.py ``` 2. 提交更改并添加描述： ```bash git commit -m "完成用户登录模块优化" ``` 3. 执行合并操作： ```bash git merge origin/main ``` **优点**：保留完整的开发记录，便于后续追溯[^1]。 ### 二、暂存更改（stash） **适用场景**：需要临时保存未完成的修改（如调试代码），优先处理合并操作。 **操作步骤**： 1. 保存当前工作状态： ```bash git stash # 可选添加备注 git stash save "用户登录模块调试代码" ``` 2. 查看暂存记录列表： ```bash git stash list ``` 3. 合并远程分支： ```bash git merge origin/main ``` 4. 恢复暂存内容： ```bash git stash pop # 恢复并删除最近一次暂存 # 或指定特定暂存 git stash apply stash@{1} ``` **优点**：保持工作目录整洁，特别适合处理紧急合并任务[^2]。 ### 三、撤销本地更改（revert） **适用场景**：本地修改可丢弃（如实验性代码或错误修改）。 **操作步骤**： 1. 撤销所有未提交的修改： ```bash git checkout -- . # 全部文件 # 或指定文件 git checkout -- file1.txt ``` 2. 执行合并操作： ```bash git merge origin/main ``` **风险提示**：此操作不可逆，需确认文件无需保留。 --- ### 对比决策表 | 方法 | 保留记录 | 可恢复性 | 适用阶段 | |---------|----------|----------|------------------| | commit | ✅ | ✅ | 功能开发完成时 | | stash | ❌ | ✅ | 开发中途临时切换 | | revert | ❌ | ❌ | 放弃无效修改 | ### 扩展应用场景 - 当存在多个暂存时，可用`git stash list`查看记录，通过`git stash apply stash@{n}`精准恢复 - 合并后出现冲突时，可使用`git mergetool`可视化工具解决冲突 - 长期分支开发推荐使用`git rebase`保持提交历史线性
评论 35
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值