go-zero微服务实战系列(六、缓存一致性保证)

go-zero结合自定义模版校验前端参数 如果想对官网goctl命名生成的项目结构改变的话,可以使用模版,自定义模版,然后生成自己想要的文件1、使用命令将官方模版映射到本地2、在项目的根目录下添加文件夹,把刚刚映射到本地的拷贝到项目中3、使用模版根据api文件来生成go的文件# 注意这个地方要根据你当前路径来找到goctl文件夹4、注意可以根据api文件来生成项目,也是修改了api来更新项目是创建一个user的api项目。 阅读详情

只要我们使用缓存,就必然会面对缓存和数据库间的一致性问题。如果缓存中的数据和数据库的数据不一致,那么业务应用从缓存中读取的数据就不是最新的数据,对业务的影响可想而知。比如我们把商品的库存数据存在缓存中,如果缓存中的库存数据不对,那么可能就会影响下单操作,这是业务上很难接受的。本篇文章我们来一起聊一聊缓存的一致性问题。

如何解决缓存不一致

先删缓存再更新数据库

假设线程A删除缓存后,还没来得及更新数据库,这时候线程B开始读数据,线程B发现缓存缺失就只能去读数据库,等到线程B从数据库中读取完数据回塞缓存后,线程A才开始更新数据库,此时,缓存中的数据是旧值,而数据库中是最新值,两者已经不一致了。

这种场景的解决方案是在线程A更新完数据库的值后,可以让它sleep一小段时间,再进行一次缓存删除操作,之所以要加上sleep的一段时间,就是为了让线程B能够先从数据库读取出数据然后再把缓存miss的数据回塞到缓存,然后线程A再进行删除。所以线程A的sleep时间就需要大于线程B读取数据再写入缓存的时间。这个时间是多少呢?这个是需要我们在业务中加入打点监控来统计的,根据这个统计值来估算该时间。这样一来,其他线程读取数据时,会发现缓存缺失,就会从数据库中读取最新的值。我们把这种模型叫做 "延时双删"。

先更新数据库再删除缓存

如果线程A更新了数据库中的值,但还没来得及删除缓存中的值,线程B这时候开始读取数据,此时,线程B查询缓存时,命中了缓存,就会直接使用缓存中的值,该值为旧值。不过在这种场景下,如果并发请求量不高的话,其实基本上不会有线程读到旧值,而且线程A更新完数据库后,删除缓存是非常快的操作,所以,这种情况总体对业务影响较小。一般在生产环境中,也推荐大家采用该模式。

重试机制

可以把要删除的缓存值或者要更新的数据库的值放到消息队列中,当应用没能够成功地删除缓存或者是更新数据库的值的时候,可以从消息队列中消费这些值,这里消费消息队列的服务叫job,然后再次进行删除或者更新,起到一个兜底补偿的作用,以此来保证最终的一致性。

如果能够成功地删除或更新,就需要把这些值从消息队列中去除,以免重复操作,此时,我们也可以保证数据库和缓存数据的一致了,否则的话,我们还需要再次进行重试,如果重试超过一定次数还是失败,这时候一般都需要记录错误日志或者发送告警通知。

并发读写

首先第一步线程A读取缓存,这时候缓存没有命中,由于使用的是cache aside这种模式,所以接下来第二步线程A会去读数据库,这个时候线程B更新数据库,更新完数据库后通过set cache更新了缓存,最后第五步线程A把从数据库读到的值通过set cache也更新了缓存,但是这时候线程A中的数据已经是脏数据了,由于第四步和第五步都是设置缓存,导致写入的值相互覆盖,并且操作的顺序具有不确定性,从而导致了缓存不一致情况的发生。

怎么解决这个问题呢?其实非常地简单,我们只需要把第五步的set cache操作替换成add cache即可,add cache即setnx操作,只有缓存不存在的时候才会成功写入,相当于加了优先级,即更新数据库后的更新缓存优先级更高,而读数据库后回塞缓存的优先级较低,从而保证写操作的最新数据不会被读操作的回塞数据覆盖。

结束语

本篇文章说明了在使用缓存时最常遇见的一个问题,也就是缓存和数据库不一致的问题,针对这个问题我们列举了一些可能导致不一致的场景以及对应场景的解决方案,特别地,对于job异步补偿的场景我们可以使用set操作来强行覆盖缓存,保证缓存的更新为最新的数据,而对于读数据库回塞缓存的操作我们一般使用add来更新缓存。

希望本篇文章能对你有所帮助,谢谢。

golang框架之go-zero基础框架搭建 作为golang服务的诸多框架,下面为大家介绍一下go-zero这款框架从搭建到使用中所遇到的诸多问题。 本章节从0开始,通过脚本、API的方式,帮助大家入门级搭建gozero基础框架,实现缓存的使用和数据库的基础增删改查。仅需创建几个文件,即可完成服务搭建。 阅读详情

相关推荐

Golang:通过Gin框架+Redis+责任链,实现一个简单的钉钉机器人,进行消息处理 ps:多应用版

Golang:通过Gin框架+Redis+责任链,实现一个简单的钉钉机器人,进行消息处理 ps:多应用版

go-zero api 接口参数的验证

默认是必填的,所有参数必填。 那么是否可以选填。是的。开发者说可以。 在那里控制 api/internal/types/types.go 这个文件 在标签里写上 optional 就可以为选填了。 日期:2021-1-12

程序员写的技术 FAQ 和杂文 4816

大漠多线程增强版:解决窗口消失、坐标错乱与识别卡死

多线程环境下窗口自动化面临的核心挑战,本质是GDI资源非线程安全、HWND生命周期失控及图像引擎状态污染三大底层问题。Windows GUI编程中,跨线程共享hDC、缓存失效的窗口句柄、OpenCV静态Mat等设计缺陷,导致FindPic失败、GetCursorPos异常、坐标跳变等典型故障。本方案通过线程局部存储(TLS)重构资源生命周期、WinEventHook+心跳探测构建实时窗口状态链、ABI对齐的多语言内存契约,实现稳定低延迟的并发UI识别与控制。适用于游戏多开监控、电商RPA、后台UI状态采集等

weixin_30561177的博客 478

go-zero 微服务实战系列(一、开篇)

在社区中经常看到有人问有没有基于 go-zero 的比较完整的项目参考,该类问题本质上是想知道基于 go-zero 的项目的最佳实践。完整的项目应该是一个完整的产品功能,包含产品需求、架构设计、关键流程的编码、表设计以及各种性能优化和数据一致性等,是一个真正贴近生产级的项目,是可以直接拿来在自己的生产项目中进行参考的,而目前社区并没有类似的比较完整的开源项目参考,因此决定和大家一起从零开始基于 go-zero 构建一个完整的贴近生产的项目。

hjxisking的专栏 469

微信小程序网关逆向分析:从协议、签名到会话管理的安全架构剖析

在现代Web与移动应用开发中,API网关作为客户端与后端服务之间的关键通信枢纽,承担着协议转换、流量调度、安全防护与性能优化等核心职责。其工作原理通常涉及统一的请求路由、身份认证、参数校验与响应聚合。从技术价值看,深入理解网关机制不仅能帮助开发者构建更健壮、可扩展的微服务架构,还能为安全评估、性能调优与故障排查提供基础。在移动生态如微信小程序中,网关设计尤为关键,它需要处理微信特有的登录态、数据加密与防重放攻击等安全需求。本文聚焦于微信小程序网关的逆向分析方法,通过结合网络抓包与代码反编译技术,深入解析其通

weixin_29323493的博客 443

别再手动调参了!用MATLAB+改进PSO算法,5步搞定机械臂轨迹优化(附完整代码)

本文介绍如何利用MATLAB和改进PSO算法快速优化机械臂轨迹规划,仅需5步即可完成传统耗时的手动调参过程。通过混沌初始化、自适应权重等创新方法,改进PSO算法显著提升优化效率,实现全局最优解搜索,适用于工业自动化中的机械臂控制。文章包含完整MATLAB代码实现,帮助工程师轻松应用于实际生产场景。

weixin_29232121的博客 357

go-zero 成长之路—微服务电商实战系列(八、jwt鉴权)

JWT

LW1314QS的博客 1110

【实战指南】DBeaver EE Windows版高效破解与配置全解析

本文详细解析了DBeaver EE Windows版的高效破解与配置方法,涵盖Java环境配置、破解包部署、配置文件修改等关键步骤,并提供了性能优化和数据库连接的最佳实践。适用于需要解锁企业版高级功能的数据库开发人员,帮助提升工作效率。

weixin_28837817的博客 1911

go-zero微服务实战系列(十一、大结局)

本篇是整个系列的最后一篇了,本来打算在系列的最后一两篇写一下关于k8s部署相关的内容,在构思的过程中觉得自己对k8s知识的掌握还很不足,在自己没有理解掌握的前提下我觉得也很难写出自己满意的文章,大家看了可能也会觉得内容没有干货。我最近也在学习k8s的一些最佳实践以及阅读k8s的源码,等待时机成熟的时候可能会考虑单独写一个k8s实战系列文章。

hjxisking的专栏 335

ComfyUI Impact Pack实战:如何用三大检测器打造高效人脸修复工作流(附2025最新模板)

本文详细解析了如何利用ComfyUI Impact Pack中的BBOX、Segm和SAM三大检测器构建高效人脸修复工作流。通过技术选型、参数优化和实战案例,帮助用户掌握从精准定位到细节修复的全流程技巧,特别适用于商业摄影和影视制作场景。文章还提供了2025年最新模板和性能优化方案,显著提升人脸精修效率。

weixin_29040367的博客 247

基于Python实现的捕鱼达人小游戏源代码+使用说明

摘要: 本文介绍了一款自制的捕鱼达人小游戏,使用Python3和Pygame模块开发。游戏包含完整的资源文件(图片、音效、字体)和源码结构(11个功能模块),实现了大炮移动射击、特殊子弹、炸弹、难度递增等核心玩法。安装需配置Python环境和Pygame模块,运行main.py即可启动游戏。游戏支持键盘控制(方向键移动、空格射击、1键放炸弹),默认时长600秒,包含开始菜单、游戏界面和结束界面。所有代码均有详细注释,项目已开源并提供下载链接。(150字)

2301_76484015的博客 670

go-zero 数据库优化实战:如何把读写分离和缓存完整落地

当主库的响应时间被大量读查询拖高、读流量集中压在单台主库上时,go-zero 数据库优化 通常从两个方向切入:用缓存挡掉重复读,用读写分离把读请求分摊到从库。本文面向正在用 go-zero 跑服务、需要给数据库减负的工程师,按"先定位、再分流、后缓存"的落地顺序,讲清楚这两条路线该怎么配、怎么验证。 ## 先定位瓶颈:看清 QPS、慢 SQL 与主从延迟再动手 优化前先取数,别靠感觉猜。动手前

gitblog_00020的博客 1035

Xilinx Aurora 8B/10B IP核详解和仿真

Xilinx Aurora 8b/10b IP核的详解,以及使用与仿真示例,对IP核的配置和如何仿真有非常详细的说明,除了对IP核官方文档的内容进行了解析以外,还对GTX引脚的选择等比较容易混淆和不好理解的地方进行了说明。最后对IP核的仿真运行进行了STEP BY STEP 的说明,对仿真的结果也进行了简要的说明。 该文档对Xilinx FPGA和ZYNQ SOC下 AURORA 8B/10B IP核的使用提供了一个快速上手的指导。

weixin_43354598的博客 1万+

Golang高并发编程:从根源上搞懂微服务高可用三道防线(Context,go-zero)

从 Goroutine 的基础使用,到context的生命周期控制,再到go-zero微服务框架下的缓存、限流、熔断实践,构建一个高性能、高可用的后端系统是一个系统工程。在医疗信息这个特殊的领域,每一次并发请求背后都是一个真实的患者,每一次系统抖动都可能影响临床研究的顺利进行。因此,对技术的深入理解和对细节的把控就显得尤为重要。希望我今天分享的这些来自一线的经验,能帮助大家在自己的项目中,更好地驾驭 Go 的并发能力,构建出更加稳定可靠的系统。

张国良的博客 914

通信原理 | 随机数仿真 | 均匀、正态、双高斯、瑞利、莱斯、对数正态、nakagami、Suzuki分布的随机数仿真(matlab)

信道建模在通信系统设计和分析中扮演着至关重要的角色。它指的是使用数学和物理模型来描述和模拟无线或有线通信路径中的信号传播特性。

若北辰 1992

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

go-zero 聚合根实战:微服务数据一致性设计与重构完整指南

凌晨对账,一个用户的余额比流水多出 1200 元:扣款成功、流水没写进去。这类微服务数据一致性事故,根子往往不在 bug,而在一致性边界没划对。下面基于 go-zero 自带的 MongoDB 存储层和 DDD 聚合根(Aggregate Root)设计,把余额、流水这类强一致数据收进同一个边界里。 ## 一、问题定位:微服务数据为什么会"漂" 先给术语一个白话解释:一致性边界,就是"要么全成

gitblog_00169的博客 463

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【后端开发】go-zero微服务框架实践(goland框架对比,go-zero开发实践,文件上传问题优化等等)

【后端开发】go-zero微服务框架实践(goland框架对比,go-zero开发实践,文件上传问题优化等) 文章目录 1、go框架对比介绍 2、go-zero 微服务开发实践 3、go-zero 文件上传问题优化

小哈里的博客 2470

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Go 开源说第四期:go-zero 微服务框架

写在前面随着Go在中国越来越多的应用场景,我们中国的Gopher开发的开源项目也越来越多,目前在github上面有大量的Go写的开源项目,但是很多时候一个好的项目让别人获知,同时让大家了...

Go中国 1730

go-zero微服务实战系列(三、API定义和表结构设计)

可能大家在工作中都遇到过这样的场景,就是代码更新了但是文档没有更新,从而产生一些问题导致一些扯皮事情的发生。这个问题的本质是服务和文档是割裂的。我们期望的是文档即协议,协议即服务,这个理念与go-zero的api定义不谋而合。我们定义了BFF层,BFF是对外提供HTTP接口的统一出口,所以我们这里API的定义主要是针对BFF服务的API的定义。首页功能主要分为四个部分,搜索、Banner图、限时抢购和推荐商品列表,点击搜索框会跳转到搜索页,推荐部分是分页展示的,用户通过不断地往上滑动可以加载下一页。

hjxisking的专栏 384

go-zero微服务:DDD聚合根设计实战指南

你是否还在为微服务数据一致性问题头疼?订单创建后库存未扣减、用户余额与交易记录不匹配?这些问题的根源往往在于领域模型设计缺陷。本文将通过go-zero框架的实战案例,带你掌握DDD聚合根设计思想,30分钟内学会构建高一致性的微服务数据模型。 ## 一、什么是聚合根(Aggregate Root) 在DDD(领域驱动设计)中,聚合根是维护领域对象一致性的"总管"。想象餐厅厨房:聚合根就像主厨,统...

gitblog_01155的博客 475

go语言实现的一个基于go-zero框架的微服务网盘系统butane-netdisk

基于go-zero框架的cloud-disk微服务网盘系统

CAOSHUCAOSHU的博客 1511

Diem 验证者管理脚本(ValidatorAdministrationScripts)深度解析:链上验证者集治理的完整指南

Diem 区块链通过 Move 智能合约实现链上治理,其中 `0x1::ValidatorAdministrationScripts` 模块是验证者生命周期管理的核心入口,负责验证者的加入、退出、配置更新与操作者指派。本文以该模块的官方文档为主体,结合仓库内 Move 源码逐函数讲解参数语义、中止条件与底层调用链,帮助你掌握在 Diem 网络中管理验证者集的完整技术方案。 ## 模块定位:验证者

gitblog_00336的博客 653

解决90%高并发问题:go-zero多级缓存设计与一致性保障

你是否还在为缓存穿透、击穿、雪崩头疼?作为一款云原生Go微服务框架,go-zero内置了高性能缓存解决方案,通过多级缓存架构和精细化的一致性控制,轻松应对高并发场景。本文将深入解析go-zero的缓存设计哲学,带你掌握从本地缓存到分布式缓存的全链路优化方案,以及如何在数据更新时保持缓存一致性的实战技巧。 ## 多级缓存架构:从内存到分布式的协同设计 go-zero采用**本地缓存+分布式缓存*...

gitblog_00742的博客 564
上一篇: 互联网公司都喜欢的消息队列,阿里Rocket MQ详细介绍
下一篇: JDBC 在性能测试中的应用
程序员职业指南
博客等级 码龄4年 2141粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值