Redis-缓存与数据库双写一致(二)

mysql和redis双写一致性策略分析 阅读详情

3.1对于读操作,流程是这样的
上面讲缓存穿透的时候也提到了:如果从数据库查不到数据则不写入缓存。
一般我们对读操作的时候有这么一个固定的套路:
如果我们的数据在缓存里边有,那么就直接取缓存的。
如果缓存里没有我们想要的数据,我们会先去查询数据库,然后将数据库查出来的数据写到缓存中。
最后将数据返回给请求
3.2什么是缓存与数据库双写一致问题?
如果仅仅查询的话,缓存的数据和数据库的数据是没问题的。但是,当我们要更新时候呢?各种情况很可能就造成数据库和缓存的数据不一致了。
这里不一致指的是:数据库的数据跟缓存的数据不一致

从理论上说,只要我们设置了键的过期时间,我们就能保证缓存和数据库的数据最终是一致的。因为只要缓存数据过期了,就会被删除。随后读的时候,因为缓存里没有,就可以查数据库的数据,然后将数据库查出来的数据写入到缓存中。

除了设置过期时间,我们还需要做更多的措施来尽量避免数据库与缓存处于不一致的情况发生。
3.3对于更新操作
一般来说,执行更新操作时,我们会有两种选择:
先操作数据库,再操作缓存
先操作缓存,再操作数据库
首先,要明确的是,无论我们选择哪个,我们都希望这两个操作要么同时成功,要么同时失败。所以,这会演变成一个分布式事务的问题。
所以,如果原子性被破坏了,可能会有以下的情况:
操作数据库成功了,操作缓存失败了。
操作缓存成功了,操作数据库失败了。
如果第一步已经失败了,我们直接返回Exception出去就好了,第二步根本不会执行。
下面我们具体来分析一下吧。
3.3.1操作缓存
操作缓存也有两种方案:
更新缓存
删除缓存
一般我们都是采取删除缓存缓存策略的,原因如下:
高并发环境下,无论是先操作数据库还是后操作数据库而言,如果加上更新缓存,那就更加容易导致数据库与缓存数据不一致问题。(删除缓存直接和简单很多)
如果每次更新了数据库,都要更新缓存【这里指的是频繁更新的场景,这会耗费一定的性能】,倒不如直接删除掉。等再次读取时,缓存里没有,那我到数据库找,在数据库找到再写到缓存里边(体现懒加载)
基于这两点,对于缓存在更新时而言,都是建议执行删除操作!
3.3.2先更新数据库,再删除缓存
正常的情况是这样的:
先操作数据库,成功;
再删除缓存,也成功;
如果原子性被破坏了:
第一步成功(操作数据库),第二步失败(删除缓存),会导致数据库里是新数据,而缓存里是旧数据。
如果第一步(操作数据库)就失败了,我们可以直接返回错误(Exception),不会出现数据不一致。
如果在高并发的场景下,出现数据库与缓存数据不一致的概率特别低,也不是没有:
缓存刚好失效
线程A查询数据库,得一个旧值
线程B将新值写入数据库
线程B删除缓存
线程A将查到的旧值写入缓存
要达成上述情况,还是说一句概率特别低:
因为这个条件需要发生在读缓存时缓存失效,而且并发着有一个写操作。而实际上数据库的写操作会比读操作慢得多,而且还要锁表,而读操作必需在写操作前进入数据库操作,而又要晚于写操作更新缓存,所有的这些条件都具备的概率基本并不大。
对于这种策略,其实是一种设计模式:Cache Aside Pattern

删除缓存失败的解决思路:
将需要删除的key发送到消息队列中
自己消费消息,获得需要删除的key
不断重试删除操作,直到成功
3.3.3先删除缓存,再更新数据库
正常情况是这样的:
先删除缓存,成功;
再更新数据库,也成功;
如果原子性被破坏了:
第一步成功(删除缓存),第二步失败(更新数据库),数据库和缓存的数据还是一致的。
如果第一步(删除缓存)就失败了,我们可以直接返回错误(Exception),数据库和缓存的数据还是一致的。
看起来是很美好,但是我们在并发场景下分析一下,就知道还是有问题的了:
线程A删除了缓存
线程B查询,发现缓存已不存在
线程B去数据库查询得到旧值
线程B将旧值写入缓存
线程A将新值写入数据库
所以也会导致数据库和缓存不一致的问题。
并发下解决数据库与缓存不一致的思路:
将删除缓存、修改数据库、读取缓存等的操作积压到队列里边,实现串行化。

3.4对比两种策略
我们可以发现,两种策略各自有优缺点:
先删除缓存,再更新数据库
在高并发下表现不如意,在原子性被破坏时表现优异
先更新数据库,再删除缓存(Cache Aside Pattern设计模式)
在高并发下表现优异,在原子性被破坏时表现不如意

SLG项目开发经验二_大地图设计与实现 本文深入探讨了SLG游戏大地图设计与实现的关键技术,包括网格化业务框架、AOI系统优化、边界处理方案以及行军系统实现。通过Unity引擎的实践案例,详细解析了大地图性能优化的核心策略,如分块加载、GPU Instancing和差异同步协议,为SLG项目开发提供宝贵经验。 阅读详情

相关推荐

Visual Tracker Benchamark傻瓜式教程(二)

问题  1 1  在调用main.m跑TRE和SRE时,因为会生成相应的.mat数据文件,如果跑完以后发现自己算法生成的.mat文件有问题,那么要把该文件删除,待找到错误原因后,重新生成相应的.mat文件。因为程序中写的是如果已经存在了.mat文件,例如已经存在car4_STC.mat文件,即使该文件中的数据有错误,但是重新跑时会默认该文件中的数据写完,不会重新写入数据 问题  2  b

mingbujingren的专栏 9928

Redis---缓存双写一致性

本文总结了redis的缓存双写一致性的知识点。

flyingcloud6的博客 3265

【目标跟踪】ECO算法论文阅读:ECO: Efficient Convolution Operators for Tracking

这里所指的训练集是指保存了每一帧的跟踪结果的训练集,也就是说,每一次进行model update的时候,要用在这一帧之前所有跟踪到的样本。那么随着视频越来越长,这个训练集就会越来越大。因为当目标被遮挡或者丢失的时候,比较新的这些样本本身就是错的,那么模型很容易有model drift,就是被背景或者错误的目标污染,导致跟踪结果出错。如下图所示,Baseline是传统的训练集,每更新一帧就加一个进来,那么连续的数帧后训练集里面的样本都是高度相似的,即容易遗忘前面的样本,且容易对最近的若干帧样本过拟合。

qq_43799400的博客 2619

Redis缓存与数据库双写一致性解决方案

目录 1、冤孽的诞生 1.1 需求起因 1.2 策略之争 2、标准解决方案 2.1 延时双删策略 2.2 异步更新缓存(基于订阅binlog的同步机制) 3 、基于binlog订阅实现步骤 3.1 准备材料 3.2 代码实现 1、冤孽的诞生 1.1 需求起因 在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库 ! 好了,我们现在引入缓存的概念,那么访问路程.

长沙老码农 4400

Python爬虫实战:从巨潮网批量抓取上市公司年报JSON数据

网络爬虫作为自动化数据采集的核心技术,其原理是通过模拟浏览器行为向服务器发送HTTP请求并解析响应,从而高效获取结构化信息。在金融数据分析领域,这项技术价值尤为突出,能够将研究人员从繁琐的手工数据收集中解放出来,聚焦于更高阶的模型构建与价值挖掘。典型的应用场景包括上市公司财务研究、市场趋势分析和风险预警系统开发。本文以Python的requests库为核心工具,详细解析如何通过分析巨潮资讯网的JSON数据接口,构建一个稳定、高效的上市公司年报数据采集管道,并重点探讨了接口逆向、分页爬取、PDF文件下载等关键

weixin_42529366的博客 1240

Windows Server+SqlServer Always On实战:5步搞定高可用集群搭建

本文详细介绍了在Windows Server环境中,通过5个关键步骤搭建SQL Server Always On高可用集群的实战指南。内容涵盖从底层故障转移集群配置、SQL Server实例启用Always On功能,到创建可用性组和侦听器的完整流程,并提供了核心运维与故障排查思路,帮助企业构建稳定可靠的数据库高可用架构。

milk5的博客 861

并发1--高并发场景下的缓存+数据库双写不一致问题分析与解决方案设计

目录 1、最初级的缓存不一致问题以及解决方案 2、比较复杂的数据不一致问题分析 3、为什么上亿流量高并发场景下,缓存会出现这个问题? 4、数据库与缓存更新与读取操作进行异步串行化 5、高并发的场景下,该解决方案要注意的问题 1、最初级的缓存不一致问题以及解决方案 问题:先修改数据库,再删除缓存,如果删除缓存失败了,那么会导致数据库中是新数据,缓存中是旧数据,数据出现不一致 解决思...

sunforlife的博客 1245

robosuite 入门教程(一)安装与基本用法

摘要:Robosuite是基于MuJoCo的模块化机器人仿真框架,提供标准化基准测试环境和多样化机器人控制功能。作为ARISE计划的一部分,该框架支持强化学习、模仿学习等算法研究,包含程序化环境生成、多模态传感器、多种控制器及遥操作设备。支持macOS/Linux系统,提供详细安装指南和功能演示脚本,包括随机动作测试、控制器验证、域随机化等。最新版本v1.5新增人形机器人支持、全身控制器和照片级渲染功能,旨在降低机器人学习研究门槛,促进算法开发与评估。

2506_90492529的博客 1271

redis缓存雪崩、缓存穿透、数据库和redis数据一致性

一、缓存雪崩 回顾一下我们为什么要用缓存(Redis):减轻数据库压力或尽可能少的访问数据库。 在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间,并采用的是惰性删除+定期删除两种策略对过期键删除。Redis对过期键的策略+持久化 如果缓存数据设置的过期时间是相同的,并且Redis恰好将这部分数据全部删光了。这就会导致在这段时间...

weixin_30940783的博客 1157

YOLOv12改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力yolov12精度提升

RFAConv:创新空间注意力和标准卷积运算感受野空间特征是针对卷积核设计的,根据卷积核大小动态生成。以3×3卷积核为例,它由非重叠滑动窗口组成,每个窗口代表一个感受野滑块。

Limiiiing的博客 686

90. 将 SAP ABAP 内表内容本地导出成 Excel 文件

这里文件扩展名为 csv,全称是 Comma-Separated Values,意思是这种类型的文件内容,由逗号分隔。除了 ASC 之外,另一个可用的选项是 BIN,适用于 PDF,EXE 等二进制文件的导出。支持海量的输入和输出参数,我们这个简单的本地导出场景里,大部分参数都用不上。这个分隔符的添加逻辑,编写在上图红色高亮矩形框内,使用的语法是。本教程有学习者向我提问,询问如何将 ABAP 某某函数的某某输出参数的值,导出成本地 Excel 文件。把这个内表的内容,下载到本地,以本地文件的方式保存。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1745

究竟先操作缓存,还是数据库?

究竟先操作缓存,还是数据库? 2018年07月09日 20:20:00 架构师之路_ 阅读数:1007 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/z50L2O08e2u4afToR9A/article/details/80976862 缓存存储,也是数据的冗余。 (1)数据库访问数据,磁盘IO,慢; (2)缓存里访问数据,存操作,快...

u010412301的博客 462

线结构光相机原理详解以及精度控制总结

摘要:线阵结构光相机是工业三维检测的核心设备,结合线阵相机的高分辨率与结构光的主动三维成像能力。其工作原理基于线激光投射、逐线扫描、亚像素级条纹提取及三角测量法实现三维重建。精度受硬件、校准、环境和算法四因素影响,需通过优化硬件选型(如小像元相机、窄线宽激光)、精准校准(相机内参、激光平面)、环境控制(遮光、隔振、恒温)及算法优化(Steger算法、点云后处理)来提升。典型应用(卷材、轨道检测)中深度精度可达5-20μm,需根据场景需求平衡参数配置。

start_up_go的博客 940

Redis缓存问题二---热点缓存key、缓存与数据库双写不一致的概念以及解决方案

Redis缓存问题二---热点缓存key、缓存与数据库双写不一致的概念以及解决方案1、热点缓存key1.1、什么是热点缓存key1.2、解决方案---只允许一个线程重建缓存2、缓存与数据库双写不一致2.1、双写不一致2.2、读写并发不一致2.3、解决方案2.4、注意 1、热点缓存key 1.1、什么是热点缓存key 比如说有一个商品平时无人问津,但似乎突然有一个网红来代购,然后在这时候,大量的粉丝就去购买这件商品,由于这个商品平时都没有放在缓存中的(因为平时访问的人很少),所以这时候,有大量的请求过来一边

qq_41931364的博客 614

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

如何保证Redis与数据库的数据一致性

一、需求起因 在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。 这个业务场景,主要是解决读数据从Redis缓存,一般都是按照下图的流程来进行业务操作。 读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。 不管是先写MySQL数据库,再删除Redis缓存;还是先删除缓存,再写库,都有可能出现数据

m0_49514150的博客 1万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

【Redis实战】双写一致性问题和解决方案

一、读写过程 1、读: (1)先读cache,如果数据命中则返回 (2)如果数据未命中则读db (3)将db中读取出来的数据入缓存 2、写: (1)先淘汰cache (2)再写db

程序员云帆哥的博客 1万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Redis缓存和MySQL实现一致性

在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。一般都是按照下图的流程来进行业务操作。 按照这个流程,读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。不管是先写MySQL数据库,再删除Redis缓存;还是先删除缓存,再写库,都有可能出现数据不一致的情况。 举一个例子: 如果删除了缓存Redis,还

weixin_44454618的博客 171

Redis 与 DB 的数据一致 / 双写一致性问题

缓存提升性能就会有数据更新的延迟,就无法使数据库和缓存数据保持强一致,所以上树的各种优化方案,都是以保证弱一致性,最终一致性为前提的。

Java Punk 2796

MySQL数据库与Redis缓存双写一致性

MySQL数据库与Redis缓存双写一致性 文章目录MySQL数据库与Redis缓存双写一致性问题分析一致性问题是如何产生的?双更新模式:操作不合理,导致数据一致性问题不再更新缓存,直接删除,为什么?“后删缓存”能解决多数不一致1.如果先删缓存2.如果后删缓存大厂高并发,“后删缓存”依旧不一致加锁?如何解决高并发的不一致问题?延时双删删除缓存重试机制异步优化方式:消息队列异步优化方式:基于订阅binlog的同步机制小结 问题 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一

猫头虎技术团队:授渔优于赠鱼,兴趣引领智慧,探索之乐尤显珍贵。商务合作+:Libin9iOak ,万粉变现+:优快云WF,猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务!全网搜:猫头虎技术团队,点击文章底部名片或直接私信我一切皆可谈,快找虎哥! 3715

Redis与MySQL的双写一致性问题

Redis与MySQL的双写一致性问题是指在使用缓存和数据库同时存储数据的场景下,如何保证两者的数据一致性。缓存更新策略:缓存更新策略有三种,分别是先更新缓存再更新数据库先更新数据库再更新缓存先删除缓存再更新数据库和先更新数据库再删除缓存。每种策略都有可能导致数据不一致的情况。数据库主从同步延迟:如果使用了主从复制模式来提高数据库的可用性和读写分离能力,那么就可能存在主从同步延迟的问题。也就是说,在主库上执行了写操作后,并不会立即同步到从库上。

小熊的学习记录 7212

Redis(十三)缓存双写一致性策略

缓存一致性

爱喝星冰乐的博客 1万+

Redis:缓存(双写)一致性问题

写在开头:本文为学习后的总结,可能有不到位的地方,错误的地方,欢迎各位指正。

CRUD工程师 6081

Redis——双写一致性

本文介绍了Redis中的双写不一致问题,并讲解了三种解决方法——延迟双删、使用 Canal、读写锁。

qq_61350148的博客 2259

Redis缓存双写一致性笔记(上)

redis缓存双写一致性是指在将数据同时写入缓存(如Redis)和数据库(如MySQL)时,确保两者中的数据保持一致性。在分布式系统中,缓存通常用于提高数据读取的速度和减轻数据库的压力。然而,当数据更新时,如果没有适当的机制来同步缓存和数据库,可能会导致用户读到的数据是过时的或不一致的。先更新数据库,再更新缓存;先删除缓存,再更新数据库;延时双删;消息队列;分布式锁;数据库日志监听等

2132

Redis缓存一致性:如何保证缓存与数据库的数据一致性?——双写一致性方案全解析

在Redis缓存系统中,缓存与数据库之间的数据一致性是经典难题。由于缓存和数据库是两个独立的存储系统,无法做到真正的强一致性,我们只能追求最终一致性。本文将系统梳理缓存一致性问题的成因,并深入剖析先删缓存后更新、先更新后删缓存、延时双删、订阅Binlog等解决方案的优劣与适用场景。fill:#333;important;important;fill:none;缓存一致性总结方案选择先更新后删缓存 通用方案延时双删 高要求场景Binlog同步 生产推荐兜底机制过期时间兜底MQ重试定时巡检。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 1350

Redis缓存与数据库双写一致性

保证缓存和数据库的一致性主要有两个方面的考虑: 1、读数据时,先读取缓存,如果换成不存在,则读取数据库,再将结果保存在缓存中 2、更新数据时,主要有以下几种策略: (1)先更新数据库,再更新缓存 (2)先删除缓存,再更新数据库,休眠一段时间,再删除缓存 (3)先更新数据库,再删除缓存

张维鹏的博客 1万+
上一篇: MySQL-优化(七)
下一篇: Spring-定时任务(一)
千|寻
博客等级 码龄14年 11粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值