Mybatis-Plus“读-批量写-读”数据不一致的问题分享

MyBatis Plus 批量数据插入功能,yyds 既已说到spring cloud alibaba,那对于整个微服务架构,如果想要进一步地向上提升自己,到底应该掌握哪些核心技能呢?就个人而言,对于整个微服务架构,像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识,架构师必经之路!下图,是自绘的微服务架构路线体系大纲,如果有还不知道自己该掌握些啥技术的朋友,可根据小编手绘的大纲进行一个参考。 阅读详情

背景

技术选型与版本: SpringBoot 2.7.6、Mybatis-Plus 3.1.0
技术名词: 快照读、ReadView、Undo log、SqlSession、一级缓存

在日常开发过程中,时常会遇到一个如下场景:

  1. 根据条件x,读取表A,得到多行数据;

  1. 遍历读取到的数据,对条件x以外的字段进行修改,并进行保存;(重点)

  1. 修改后,调用通用方法,传入条件x,重新读取表A的数据,并进行MQ广播;

流程如下图

以上业务流程,是一个很普通的流程,一眼看去没什么问题,以下是我们期望的流程结果:

  • 第一次条件x查询,得到结果R1;

  • 修改R1后执行更新;

  • 第二次条件x查询,得到结果R2为更新后在当前事务中的最新数据;

但是在我们实际测试中,却发现,对于相同的条件x的前后两次查询S1和S2,得到的居然是一样的结果数据。若按照以上的业务流程,第二次查询后发送MQ,如果R2不是最新值,那么可能导致MQ消费者数据不一致的情况。

下面来看一下伪代码演示。

示例演示

以下伪代码中,为了方便演示,不进行MQ操作,直接使用打印日志代替

可以看到,在执行Mybatis-Plus提供的批量更新方法updateBatchById后,重新读取数据,居然还是更新前的数据,那这到底是怎么回事呢,我们往下分析与追踪。

分析与追踪

在这个案例中,只有查询-更新-查询的代码,数据库使用的是MySQL,ORM框架使用的是Mybatis-Plus,所以可以从以下两方面进行排查

  1. MySQL事务;

  1. MyBatis-Plus;

mysql事务

知识点A:在MySQL中,Innodb基于MVCC思想实现快照读。核心思想是利用事务的ReadView与undo log版本链进行匹配,从而判断当前事务能读取到哪个版本的数据。即,在Innodb的默认隔离级别为可重复读时,对于同一事务下,写操作的结果对下一个读操作是可见的。

回到上面的案例代码,可见,当前代码的“读-写-读”操作,是被包含在同一个事务中,事务管理完全交给Spring事务管理器,且并未对事务传播行为进行控制,所以按照MySQL的知识点,可以确定,第二次“读”操作,如果是正常从MySQL数据库进行读数据,那么得到的数据必然是“写”操作所产生的数据。

但是事实却恰恰相反,第二次“读”操作,无法得到前一次“写”操作产生的数据。由此,我们有理由怀疑,第二次”读“操作,可能存在没有执行MySQL读取操作的情况,为此,我们开启SQL执行日志打印功能,打印日志如下:

从打印的日志中,可以很明显看到,代码是执行”读-写-读“的操作,但是实际上,却只执行的”读-写“的语句,第二次的”读“操作,在代码中并没有报错,且能成功返回数据。

由于我们使用的ORM是Mybatis-Plus,那么我们可以做出以下判断

  1. 第二次”读“操作,Mybatis-Plus或Mybatis没有对MySQL执行select语句;

  1. 第二次”读“操作,Mybatis-Plus或Mybatis从”某个地方“,读取了缓存并返回数据。

接下来我们从Mybatis-Plus来分析。

MyBatis-Plus

知识点B:
Mybatis无论是读操作,还是写操作的,底层都是通过SqlSession接口提供的方法来执行的,并且在默认情况下,同一事务中的多个读写操作,是共享同一个SqlSession实例对象。
Mybatis默认是开启一级缓存的,一级缓存是SqlSession级别的,也就是说,在同一个SqlSession下,连续执行相同的读操作,Mybatis并不会每次都将查询语句发送到MySQL,而是将第一次查询的结果缓存下来,在下一次执行相同的读操作时,会直接查询当前SqlSession下的缓存,若存在,那么直接返回结果的,若不存在,则再与MySQL进行查询交互。
若两次相同的查询中间存在任何update、commit、rollback操作时,Mybatis会在操作之前,先清除当前SqlSession中的缓存数据。

”读“操作源码

”读“操作源码

”写“操作源码

基于以上Mybatis的”读“、”写“操作的源码,现在回过头看下我们的业务伪代码,我们可以对”读-写-读“操作,进行简单分析:

  1. ”读“操作,当前SqlSession缓存中,没有数据,需要与数据库进行”读“交互,读取完成后进行SqlSession级别缓存。

  1. ”写“操作,对当前SqlSession中的缓存进行清空操作,再与数据库进行”写“交互。

  1. ”读“操作,当前SqlSession中的缓存数据已经被前面”写“操作清空,此时进行”读“操作,需要需要与数据库进行”读“交互,得到”写“操作后的最新数据。

What??这样分析下来,还是与我们伪代码得到的结果不一致,敢情是分析了个寂寞??

别着急,我们重新看一下我们的伪代码。

在这段代码中,”读-写-读“操作,分别调用了demoUserRepository.listByIds()、demoUserRepository.updateBatchById()这两个方法,而这两个方法,并不是Mybatis框架提供的方法,而是MyBatis-Plus框架提供的,接下来分别看一下这两个方法。

listByIds()

可以看出listByIds()方法中,实际是直接调用了Mapper代理对象的方法,与常规的直接调用Mapper代理对象的方法并无区别。

updateBatchById()

但是在updateBatchById()方法中,却调用了sqlSessionBatch()的方法,该方法得到一个SqlSession实例对象,而后直接for循环调用该SqlSession对象的update()方法。

还记得前面知识点中提到过, ”Mybatis在默认情况下,同一事务中的多个读写操作,是共享同一个SqlSession实例对象“ 这句话吗??那么在此处出现的sqlSessionBatch()方法,并且得到一个SqlSession实例对象,并进行使用,又是为什么呢??我们继续跟进sqlSessionBatch()方法。

最终,我们跟进到了openSessionFromDataSource()方法,可以看到,updateBatchById()方法,为了执行批量更新的操作,重新构建了一个执行器类型为ExecutorType.BATCH的SqlSession实例对象。

也就是说,尽管前面的”读“操作使用的是SqlSession实例对象A,但是在updateBatchById()”写“操作时,却重新构建了一个SqlSession实例对象B,并使用该对象直接执行update语句,此时,”Mybatis在默认情况下,同一事务中的多个读写操作,是共享同一个SqlSession实例对象“ 这个默认情况,由于Mybatis-Plus的封装,直接被打破,导致将同时存在两个SqlSession实例对象A和B。

为了验证以上的结论,我们进行以下断点调试:

首先是第一次”读“操作,如下:

此时的SqlSession实例对象引用为DefaultSqlSession@10338。

接下来是”写“操作,如下:

此时的SqlSession实例对象引用为DefaultSqlSession@10344。

通过以上的断点调试,我们可以证明,在实例的伪代码中,”读-写“操作,确实产生了两个不同的SqlSession实例对象。

那么,以上的证明,又与我们讨论的第二次”读“操作得到数据不一致,有什么关系呢??

别急,我们接着看第二次”读“操作的断点调试结果:

从断点调试结果可以看到,第二次”读“操作,使用的SqlSession实例对象,与第一次”读“操作使用的SqlSession实例对象,是同一个对象,对象引用为DefaultSqlSession@10338。

到此,结合前面《知识点B》中第2点,我们即可瞬间推断出,为何第二次”读“操作,没有与MySQL进行读交互,却能获取到数据,并且得到的数据,并不是前面”写“操作所产生的数据,即

在”读-写-读“顺序中的,”写“操作使用Mybatis-Plus封装的updateBatchById()方法,使用了与前后”读“操作不同SqlSession对象实例,”写“操作无法清除第一次”读“操作所属的SqlSession中的缓存,而第二次”读“操作,却又使用了与第一次”读“操作相同的SqlSession,导致第二次”读“操作,直接从SqlSession缓存中直接获取第一次”读“操作得到的数据。

知识点:关于为何”Mybatis在默认情况下,同一事务中的多个读写操作,共享同一个SqlSession实例对象“的问题,是因为Mybatis在对Mapper接口方法生成动态代理对象的时候,将SqlSession作为构造参数传递进代理对象。详见org.apache.ibatis.binding.MapperProxy类。

结论与方案

SqlSession

从以上演示案例与源码简单分析可以得知,造成案例中第二次”读“操作数据有误问题的原因,主要在于”写“操作使用的是MyBatis-Plus框架封装的”批量写“操作,导致出现不同SqlSession的问题,那么在SqlSession层面,我们有以下的解决方案:

  1. 不使用Mybatis-Plus封装的updateBatchById()方法,使用循环调用Mybatis提供update方法,使”读-写“操作使用同一个SqlSession。

  1. 当使用Mybatis-Plus封装的updateBatchById()方法前,对之前”读“操作的SqlSession进行commit操作,使其清空缓存中的数据,这样在下次”读“操作时,将会直接从数据库读取数据。

事务

以上的演示案例,除了从SqlSession层面解决,也可以从事务层面来解决这个问题。针对以上案例中的第二次”读“操作,我们可以将该操作,与当前事务分离,在当前事务提交后,再进行”读“操作,此时的读操作,将单独生成一个新的SqlSession,并直接从数据库读取数据。代码如下:

该方案做法是在当前事务中注入一个同步事务回调事件,在当前事务执行完commit后,再重新从数据库读取数据。

*注意,该方案没有返回值,若对第二次“读”操作的结果需要进一步处理,需要将处理过程包含进afterCommit()方法内

跟进

按理来说,Mybatis-Plus这样成熟与活跃的框架,本不应该出现本次案例updateBatchById()方法的“Bug”。由于我们当前案例使用的Mybatis-Plus版本为3.1.0,最新的Mybatis-Plus版本已更新到3.5.1,为此,我们直接翻一下Mybatis-Plus 3.5.1版本的源码看一下是否解决了该问题。

由于Mybatis-Plus 3.5.1使用了大量Java的新语法,源码存在部分差异,我们直接看核心源码:

可以看到,Mybatis-Plus 3.5.1版本已经修复了该“Bug”,且带上了注释,改修复方案,与上面我们提出的SqlSession方案也是一致的。具体实现,请自行翻阅源码,此处不再赘述。

问题排查:MyBatis-Plus 缓存导致查询结果不一致问题 排查问题往往比解决问题复杂得多。本文展示的这个案例,看似简单,实际排查过程却经历了多个阶段。从数据库层面排查数据变更,到怀疑事务、再到锁定缓存问题,每一步都需要扎实的理论知识和调试技巧。在实际开发中,MyBatis-Plus 的一级缓存机制在一定程度上提升了性能,但也可能引发数据不一致的问题。建议在使用缓存时结合业务需求谨慎评估,避免出现类似的困扰。 阅读详情

相关推荐

Mixer-First Receiver适用于宽带阵列应用的接收机技术1

Mixer-First Receiver适用于宽带阵列应用的接收机技术1技术的背景单元级数字化阵列传统链路到Mixer-First链路的逻辑考虑三种场景小结 技术的背景 在文章《吊打全球的顶级毫米波数字阵列项目-MIDAS》中提到了DARPA在MIDAS项目中在毫米波实现宽带单元级数字化阵列用到了一个关键的叫做N-Path filter的技术,而这个技术同样出现在了《让微波射频工程师颤抖的芯片-MATRICs》的MATRICs芯片中。 为什么DARPA的各个合作研究机构选择这种技术?这篇来自Universi

ICONO的博客 2167

mybatis批量数据分页查询

参考链接:https://blog.youkuaiyun.com/qq_34491508/article/details/126387600。除了上面几种方法外,可以使用 pagehelper 插件。当数据量很大时,我们需要按照分页处理,介绍接种分页方法。

程序员一博 1188

Acer宏碁暗影骑士擎AN515-58原厂系统恢复指南:从ISO镜像到完整出厂设置

本文详细介绍了为Acer宏碁暗影骑士擎AN515-58游戏本恢复原厂系统的完整指南。从准备工作、数据备份到下载官方镜像、制作恢复U盘,再到BIOS设置与恢复流程,一步步教你如何将系统完整还原至出厂状态,确保所有硬件驱动、NITROSENSE控制中心等专属优化功能恢复正常,解决系统卡顿、功能异常等问题。

weixin_29271263的博客 1109

多线程分批次查询数据

多线程分批次查询数据欢迎使用Markdown编辑器需求:在系统开发和对接过程中,常常出现大数据量获取的情况,比如你是A系统,去获取B系统的数据,B系统只是给你接口。并且返回只能返回10w条数据,但是实际上你查出来的量到达100w甚至上千万,那么怎么办呢?其实核心思想大家都应该猜的到那就是多线程分批次查询,比如100w分十个线程,然后是个线程一个线程查询10w数据。那么接下来我就用最简单的具体代码例子给大家实践一下吧,话不多说,上Code!系统本身肯定是springboot+myabties的简单框架系统,这

qq_37102211的博客 4393

NVIDIA Jetson Xavier NX刷机+ROS安装+深度学习配置

.NVIDIA Jetson Xavier NX 完整说明流程 V1.0.0 – by Holden Date : 2021-03-19 文章目录.NVIDIA Jetson Xavier NX 完整说明流程1. Jetson Xavier NX简介2. Jetson Xavier NX刷机介绍2.1 工具准备工作2.2 下载镜像以及烧录工具2.3 烧录原生镜像到TF卡2.4 开机启动2.5 组件配置4. 镜像克隆制作5. 镜像重烧写6. NX调控命令 1. Jetson Xavier NX简介 ​ NVI

李老板Holden的博客 7619

IAR for ARM 搭建STM32F103C8T6工程模板(实战指南)

本文详细介绍了如何在IAR for ARM开发环境中为STM32F103C8T6微控制器搭建完整的工程模板。从环境准备、固件库获取、目录结构设计到工程配置与编译调试,提供了实战指南和常见问题解决方案,帮助开发者快速建立稳定的STM32开发环境。

fun88的博客 990

MyBatis-Plus对于大数据量查询,采用分页查询按批次处理结果,通用工具封装

定义业务处理接口 /** * @author 向振华 * @date 2021/12/30 11:30 */ public interface PageService<T> { /** * 业务处理 * * @param record */ void business(T record); } 定义工具类,这里提供了两种实现方式 import com.baomidou.mybatisplus.core.condition

xzh_blog 5466

在Ubuntu 22.04上从零搭建FVCOM环境:手把手搞定Linux、Intel编译器与NetCDF库

本文详细指导在Ubuntu 22.04上从零搭建FVCOM环境,涵盖Linux系统配置、Intel编译器安装、NetCDF库编译及常见问题解决。通过手把手教程,帮助科研人员高效完成水动力数值模拟环境的部署,特别适合水环境研究领域的初学者。

weixin_30613727的博客 651

MySQL中Spring管理的事务开启后不提交引起的事故

了解到一个事故,在MySQL数据库中,使用Spring管理的事务在开启以后没有在操作结束时提交或回滚,使得原有线程在后续执行数据库操作时可能继续使用原有事务,且不会提交,导致对数据库的修改在Java应用层认为是成功,但在数据库层最终是没有生效的,产生了比较严重的后果

adrninistrat0r的博客 9985

遥感生态指数(RSEI)——四个指数的计算

遥感生态指数是在4个生态指数的基础上通过主成分变换得出的一个评价生态环境质量的指标。因此,第二部分就是要分别计算出这4个指数的值。 ①首先,是绿度指数的计算,一般用归一化植被指数(NDVI) NDVI=(NIR-Red)/(NIR+Red) 在Bandmath工具中输入NDVI计算公式 (float(b4-b3))/(b4+b3) 其中,b3、b4分别是红波段和近红外波段 ②其次,是湿度计算。 WET = c1B1 + c2B2 + c3B3...

qq_41978498的博客 9万+

别再死记硬背参数了!用ADS手把手教你仿真一个4GHz镜像抑制混频器(附完整工程文件)

本文详细解析了4GHz镜像抑制混频器的ADS仿真全流程,从理论到实践,涵盖混频器设计基础、ADS工程搭建、二极管选型、非线性仿真及性能优化。通过实战案例,帮助工程师掌握关键参数平衡与调试技巧,提升射频电路设计效率。

weixin_42552716的博客 339

Mybatis/MybatisPlus查询结果与数据库结果不一致

Mybatis/MybatisPlus查询结果与数据库结果不一致 当我们进行多表联合查询的时候会出现这种情况,比如,在一个聊天系统中,一个用户 加入了多个群,我们在用户(User)和群组(Group)之间需要建立一个关联表group_user,实体为GroupUser; 表user: user_id,name,age,birthday。 表group: group_id,group_na......

felix 1万+

基于fme和python-docx第三方库批量更新不动产调查表

最近应朋友需要批量更新在不动产成果中提交的各种word报表中的指定数据,根据初步的了解,我做了一个基于fme软件和python-docx第三方库进行一个批量的更新方案。

weixin_43229258的博客 1242

MyBatis-Plus 批量插入

spring boot+mybatis plus环境,单条插入用的是BaseMapper自带的insert方法 public ApiResult addAnc(Anc anc) { ApiResult result = new ApiResult(); Integer insert = ancMapper.insert(anc); if...

浪丶荡 14万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Mybatis-Plus批量插入应该怎么用

. 准备测试环境 2. saveBatch 2.1 分析 3. insert单条插入 4. 自定义sql插入 5. insertBatchSomeColumn 多线程同步数据

Lifelong learning 1万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Mybatis-plus批量操作

使用Mybatis-plus可以很方便的实现批量新增和批量修改,不仅比自己写foreach遍历方便很多,而且性能也更加优秀。但是Mybatis-plus官方提供的批量修改和批量新增都是根据id来修改的,有时候我们需求其他字段,所以就需要我们自己修改一下

小哥哥的博客 4万+

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

记 mybatis-plus 批量插入为什么是单条的

记 mybatis-plus 批量插入saveBacth入坑过程 == 熊大== 背景: 每天定时从sftp上下载文件,解析文件组装参数然后批量入库,方便数据组抽数。 sftp上共五个文件其中有两个文件内容可能超过几百万而数据库是mysql所以决定分表。 按天分表结果就是表太多而且又浪费空间嫌疑所以pass。 按月分表程序运行一年后会导致单表数据过多所以也不符合pass。 按年月分表是比较符合业务需求并且不会太浪费空间所以决定

aiailingfei的博客 6099

给你的MyBatis-Plus装上批量插入的翅膀

写在前面:2020年面试必备的Java后端进阶面试题总结了一份复习指南在Github上,内容详细,图文并茂,有需要学习的朋友可以Star一下! GitHub地址:https://github.com/abel-max/Java-Study-Note/tree/master 前言 大家有用过MyBatis-Plus(简称MP)的都知道它是一个MyBatis的增强工具,旨在MyBatis的基础上只做增强不做改变,为简化开发、提高效率而生。 特点 无侵入:只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺

qwe123147369的博客 1万+

Mybatis-plus批量插入更新

个人比较推荐方案三,感觉代码更优雅一点(手动狗头),这里也只实现方案三的代码,重写saveOrUpdateBatch()方法,通过构建updateWrapper来自定义更新数据的相关字段和更新条件,同时通过@Transactional管理事务,保证操作前后的数据一致性。由于是批量推送数据,如果使用遍历更新的方式会因为重复与数据库进行连接、断开,导致性能较差,因此考虑采用批量插入、更新的方式。例如:我们需要批量插入或更新员工信息,员工编号code是唯一键,通过code实现员工数据的新增和更新。

xugehahaha的博客 1万+

mybatis-plus原生的批量插入

mybatis-plus 批量插入

叫我红领巾的博客 1268

Mybatis的批量操作

每种方法都有其适用场景和限制。例如,使用 标签生成的批量 SQL 在某些数据库中可能因为 max_allowed_packet 大小限制而失败。因此,在选择批量处理方案时,需要根据具体的业务需求和数据库特性进行综合考虑。愿你我都能在各自的领域里不断成长,勇敢追求梦想,同时也保持对世界的好奇与善意!

weixin_45809780的博客 2605

mybatis-plus批量插入数据

mybatis-plus批量插入数据

飞得更高肥尾沙鼠 7962
上一篇: 阿里P8的Spring Security实战手册及源码笔记,火爆全网
下一篇: 深入浅出Redis宝典,阿里架构师10年经验汇总
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值