Redis和DB数据不一致解决方案

最新推荐文章于 2024-11-19 16:39:32 发布
原创 最新推荐文章于 2024-11-19 16:39:32 发布 · 4.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#JAVA #架构

当并发访问时，Redis和数据库数据不一致成为常见问题。本文探讨两种优化方案：1) 双删加超时策略，在写库前后删除缓存并设置超时时间；2) 通过读取MySQL binlog异步淘汰缓存，降低业务代码侵入性，减少不一致时间。

大多情况下，我们使用缓存都是这样的策略：先读缓存，读取不到就读数据库然后同步到缓存中。

问题出现场景

问题就是在并发访问中，不论是先写库，再删除缓存；还是先删缓存，再写库，都有可能出现数据不一致的情况

1、在并发中是无法保证读写的先后顺序的，如果删掉了缓存还没来得及写库，另一个线程就过来读取发现缓存为空就去数据库读取并写入缓存，此时缓存中为脏数据。
2、如果先写了库，再删除缓存前，写库的线程宕机了，没有删除掉缓存，则也会出现数据不一致情况。
3、如果是redis集群，或者主从模式，写主读从，由于redis复制存在一定的时间延迟，也有可能导致数据不一致。

优化解决方案

双删 + 超时

在写库前后都进行redis.del(key)操作，并且设定合理的超时时间。这样最差的情况是在超时时间内存在不一致，当然这种情况极其少见，可能的原因就是服务宕机。此种情况可以满足绝大多数需求。
当然这种策略要考虑redis和数据库主从同步的耗时，所以在第二次删除前最好休眠一定时间，比如500毫秒，这样毫无疑问又增加了写请求的耗时

通过读取binlog的方式，异步淘汰缓存

这里写图片描述

好处：业务代码侵入性低，将缓存与数据库不一致的时间尽可能缩小。

binlog介绍：Mysql的binlog日志作用是用来记录mysql内部增删改查等对mysql数据库有更新的内容的记录（对数据库的改动），对数据库的查询select或

最低0.47元/天 解锁文章
如何关闭谷歌浏览器的弹出窗口拦截功能
nntxthml的博客
01-06 2281
关闭谷歌浏览器的弹出窗口拦截功能是一个简单但有用的操作，可以让你更好地访问某些网站并获取重要的信息。通过按照本文提供的步骤进行操作，你可以轻松地关闭谷歌浏览器的弹出窗口拦截功能，并根据需要进行自定义设置。同时，也需要注意安全性考虑，确保你访问的网站是可信的。希望本文能够帮助你更好地使用谷歌浏览器，并享受更流畅的网页浏览体验。
Redis缓存：淘汰机制、缓存雪崩、数据不一致，都一步说到位
QAQFyl的博客
01-19 411
在实际的工作项目中， 缓存成为高并发、高性能架构的关键组件 ，那么Redis为什么可以作为缓存使用呢？首先可以作为缓存的两个主要特征： 在分层系统中处于内存/CPU具有访问性能良好， 缓存数据饱和，有良好的数据淘汰机制 由于Redis 天然就具有这两个特征，Redis基于内存操作的，且其具有完善的数据淘汰机制，十分适合作为缓存组件。 其中，基于内存操作，容量可以为32-96GB，且操作时间平均为100ns，操作效率高。而且数据淘汰机制众多，在Redis 4.0 后就有8种了促使Redis作为缓存可以适
谷歌浏览器如何设置不阻止弹窗弹出
热门推荐
Jack魏
02-25 1万+
谷歌浏览器如何设置不阻止弹窗弹出1.进入设置![在这里插入图片描述](https://img-blog.csdnimg.cn/20190225084657460.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dlaUhhbzAyNDA=,...
谷歌浏览器关闭弹出窗口阻止
不定期更新笔记，不成条理不成方圆。
11-19 6955
有时候有些网站会遇到点击按钮，但没任何反应的情况，可能是需要弹出一个新窗口，在新窗口中进行操作，但浏览器弹出窗口阻止了，所以点了按钮没反应。
redis和mysql数据不一致_高并发下为什么 redis 和数据库不一致？怎么解决？
weixin_39832448的博客
02-11 563
现在的web架构一般都用redis作为缓存层来减轻数据库的压力，数据在此架构下的读取问题，一般都是先判断redis缓存是否有数据，如果有，直接返回，否则读取数据库的数据，写入redis，返回数据，这是大致的读取流程。那么为什么会出现redis和数据库不一致的问题呢?举个例子，如果你的缓存里现在缓存了用户的年龄的数据，每次用户访问的时候，如果缓存里有这个数据，直接返回，那么如果用户更新了自己的年龄，...
redis缓存+数据库双写不一致问题分析与解决方案
u012868901的博客
11-19 5984
在高并发场景下，肯定会发生这个问题，这里简单谈谈解决思路 1.常规简单的解决方案   先删除缓存，在更新数据库,如果删除缓存成功，修改数据库失败了，那么数据库中依然是旧数据，如果去读取数据的时候，发现缓存没有，则去读数据库，数据库会把旧数据加载到缓存里，这样缓存和数据库则保持了一致。 2.如果在高并发的情况下会发生了如下更复杂的操作 比如有数据发生了变更，先删除了缓存，然后准备要去修改数据...
使用云服务器搭建Redis集群主从数据不同步的坑
qq_42799562的博客
01-18 2631
在我使用本地六台集群搭建集群的时候，一路顺风顺水，无论是速度还是master-slave之间都毫无问题。但是在使用云服务器的时候，问题就来了，master-slave之间数据无法同步啊。愁死人了，害。查了一大堆，好多博主都是在本地局域网使用虚拟机搭建的集群，使用云的少之又少，毕竟需要六台云啊。我也是恰巧拥有试用资格才有幸申请了六台云。终于，在几经痛苦的挣扎后，找到啦症结所在。即：使用云搭建集群后，在每个node.conf配置文件中，默认都有一个本机内网IP，作为节点标识，所以这时候把6个配置文件的内网IP.
Redis与DB数据一致性 解决方案（图解+秒懂+史上最全）
架构师尼恩
09-28 7120
文章很长，而且持续更新，建议收藏起来，慢慢读！ Java 高并发 发烧友社群：疯狂创客圈（总入口） 奉上以下珍贵的学习资源： 免费赠送 经典图书 ： 极致经典 + 社群大片好评 《 Java 高并发 三部曲 》 面试必备 + 大厂必备 + 涨薪必备 免费赠送 经典图书 ： 《Netty Zookeeper Redis 高并发实战》 面试必备 + 大厂必备 +涨薪必备 （加尼恩领取） 免费赠送 经典图书 ： 《SpringCloud、Nginx高并发核心编程》 面试必备 + 大
Redis 与 DB 的数据一致 / 双写一致性问题
Java Punk
08-31 2535
缓存提升性能就会有数据更新的延迟，就无法使数据库和缓存数据保持强一致，所以上树的各种优化方案，都是以保证弱一致性，最终一致性为前提的。
Redis解决数据一致性方案
java那些事儿
09-15 2953
先更新数据库，再删除缓存；先删除缓存，再更新数据库；目标就是通过重试机制来解决后删除缓存失败的情况，直到删除成功。无论是重试还是异步删除，都是最终一致性的思想。我们在使用Redis缓存时，优先选择先更新数据库，再删除缓存并且同步设置key的过期时间。在一些对数据一致性要求比较强的业务中，适当的借助MQ或者Canel来做重试。
如何解决缓存（redis）和数据库（MySQL）数据不一致的问题？
jkzyx123的博客
09-08 2091
如何解决缓存（redis）和数据库（MySQL）数据不一致的问题？
13 Redis-- 数据一致性模型、MySQL 和 Redis 的数据一致性
m0_46671240的博客
06-27 715
13 Redis-- MySQL 和 Redis 的数据一致性
【数据一致性】redis缓存与DB保持一致_Redis02
Lei锋帽的博客
08-15 529
数据一致性
企业级Redis数据库高可用解决方案
神一样的存在
06-20 3412
企业级Redis数据库高可用解决方案   背景： 最近比较火的Redis非关系数据，可基于内存亦可持久化的日志型、Key-Value数据库。由于服务器的内存管理能力有限，使用过大内存的Redis又会使得服务器的性能急剧下降，一旦服务器发生故障将会影响更大范围业务，集群功能还不适合生产环境的使用集群中超过半数的节点检测失效导致整个集群异常。 在实际特定的应用场景通过Redis的特性提高效率，
Redis主从数据不一致及读取过期数据问题的解决方案
ggh0314的博客
06-10 2611
主从数据不一致问题 因为主从库间的命令复制是异步进行的，所以有可能客户端从从库中读取到的值和主库中的最新值并不一致。 具体来说，在主从库命令传播阶段，主库收到新的写命令后，会发送给从库。但是，主库并不会等到从库实际执行完命令后，再把结果返回给客户端，而是主库自己在本地执行完命令后，就会向客户端返回结果了。如果从库还没有执行主库同步过来的命令，主从库间的数据就不一致了。 从库滞后执行同步命令主要有两种情况： 一方面，主从库间的网络可能会有传输延迟，所以从库不能及时地收到主库发送的命令，从库上执行同步命令的
关于redis与db不一致问题的思考总结
l8947943的博客
05-22 1552
腾讯之前一直深挖这一部分，让我有幸深入思考了一部分，今天记起来这儿，做一点总结，感谢腾讯的压力让我深入理解 关于不一致的问题： 一般情况下，我们都是先同步数据库，然后再删除redis，当删除redis时出问题了，这样就会出现不一致问题 于是，我们可以先删除缓存，再同步到数据库。这样，保证下次访问时候，先访问redis，没有数据，则请求DB，保证了Redis与DB的一致。当出错了，至少不会出现超卖现象，但是用户体验感很差 这样做会出现问题，那就是下一次访问，DB还没更新完成，Redis请求到没有更新的DB.
spring boot集成redis，以及配置database不生效问题
loney_wolf的博客
01-18 4202
备注：记录一次spring-boot + redis 配置redis.database后，仍然使用db0默认库的情况。
如何保证 redis 和 db 中数据一致
Cike___的博客
08-21 959
一般来说，只要我们用缓存，就可能会涉及到缓存与数据库双存储双写，只要是双写，就一定会有数据一致性的问题，那么如何我们如何解决一致性问题呢？
redis数据一致性问题还稀里糊涂？看这篇就够了
Huangjiazhen711的博客
11-12 889
当我们使用Redis做缓存时，数据不一致问题是绕不过的问题。如果我们没有很好的处理数据一致性问题，就有可能影响用户体验，最严重的会造成业务损失。数据一致性的场景和解决方式都有哪些呢？让我们一探究竟。在Redis的缓存和数据库的数据不一致问题上，可分为读写缓存和只读缓存来分析。读写缓存有同步写回策略和异步写回策略。采用同步写回能保证数据一致性，若数据一致性要求不是很高，可采用异步写回策略。先删除缓存，再更新数据库（不推荐）：并发请求多的时候，容易产生缓存和数据库值不一致的情况。
如何根据业务场景选择合适的Redis和MySQL数据一致性解决方案？
最新发布
12-30
选择合适的Redis和MySQL数据一致性解决方案，需要综合考虑业务对数据一致性的要求、读写操作的频率、并发量以及系统的可用性等因素： ### 对数据一致性要求不高、读多写少的场景 对于一些对数据一致性要求不是特别严格，且读操作远远多于写操作的业务场景，如新闻资讯、商品列表展示等，可以采用更新数据库+删除缓存的策略。该策略在实现上相对简单，能在一定程度上保证数据的最终一致性，同时可以避免更新缓存带来的高成本问题。在更新成功后，即使面临并发读，也不会读到旧数据，因为缓存被删除后，后续读请求会从数据库中获取最新数据并更新缓存。不过，若更新数据库失败，但缓存已被删除，可能会导致缓存穿透问题；在高并发场景下，还可能会出现短暂的数据不一致情况[^1][^2]。 ```python import redis import mysql.connector # 连接Redis redis_client = redis.Redis(host='localhost', port=6379, db=0) # 连接MySQL mysql_connection = mysql.connector.connect( host="localhost", user="your_username", password="your_password", database="your_database" ) mysql_cursor = mysql_connection.cursor() def update_db_and_del_cache(): try: sql = "UPDATE your_table SET column1 = 'new_value' WHERE id = 1" mysql_cursor.execute(sql) mysql_connection.commit() redis_client.delete('your_cache_key') print("数据库更新成功，Redis缓存已删除") except Exception as e: print(f"操作失败: {e}") mysql_connection.rollback() # 调用函数 update_db_and_del_cache() # 关闭连接 mysql_cursor.close() mysql_connection.close() ``` ### 对数据一致性要求较高、读写较为均衡的场景 当业务对数据一致性有较高要求，且读写操作比较均衡时，可以考虑使用先更新数据库，后延迟删除缓存的策略。这种策略可以避免并发写和并发读时缓存数据“脏读”的问题。通过延迟删除缓存，可以确保在更新数据库后，有足够的时间让其他可能的操作完成，减少数据不一致的概率。不过，需要处理好延迟期间的并发问题，并且引入消息队列会增加系统的复杂度。 ```python import redis import mysql.connector import time # 连接Redis redis_client = redis.Redis(host='localhost', port=6379, db=0) # 连接MySQL mysql_connection = mysql.connector.connect( host="localhost", user="your_username", password="your_password", database="your_database" ) mysql_cursor = mysql_connection.cursor() def update_db_then_del_cache(): try: sql = "UPDATE your_table SET column1 = 'new_value' WHERE id = 1" mysql_cursor.execute(sql) mysql_connection.commit() # 延迟删除缓存 time.sleep(0.01) redis_client.delete('your_cache_key') print("数据库更新成功，Redis缓存已延迟删除") except Exception as e: print(f"操作失败: {e}") mysql_connection.rollback() # 调用函数 update_db_then_del_cache() # 关闭连接 mysql_cursor.close() mysql_connection.close() ``` ### 对数据一致性要求极高的场景 对于金融交易、订单处理等对数据一致性要求极高的业务场景，需要采用强一致性策略。这种策略能确保任何时刻，缓存中的数据和数据库中的数据都保持完全一致。然而，实现强一致性需要引入复杂的分布式事务管理机制，会极大地降低系统的性能和可用性。因为要保证数据的强一致性，往往需要对数据库和缓存进行加锁操作，这会导致系统的并发处理能力下降，响应时间变长，并且在分布式环境中，处理网络延迟、节点故障等问题也会更加复杂[^1]。 ### 高并发写场景 在高并发写的业务场景中，先删除缓存，后更新数据库的策略可能更合适。该策略适用于可以容忍最终一致性的系统。更新成功后，即使有并发读操作，也不会读到旧数据，因为缓存已经被删除，后续读请求会从数据库获取最新数据并更新缓存。但当更新数据库失败时，缓存已经被删除，可能会导致大量请求直接访问数据库，造成缓存穿透问题；并且在删除缓存后、更新数据库前，如果有读请求进入，会读取到旧数据并更新到缓存中，导致数据不一致[^2]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值