MyBatis多线程查询数据,数据重复,缓存不更新

最新推荐文章于 2025-07-19 23:24:52 发布

原创最新推荐文章于 2025-07-19 23:24:52 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mybatis #多线程 #缓存

ORM 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种在使用MyBatis进行大量数据处理时遇到的问题：由于缓存机制，主线程无法感知到子线程对数据的更新。通过分析问题原因及解决方案，包括使用CountDownLatch进行线程同步和调用SqlSession的clearCache方法来刷新缓存，最终解决了数据更新不一致的问题。

前阵子项目有个需求,对历史数据处理生成新数据.

具体做的就是从表A查询 -> 插入表B -> 对表A更新标志位

因为数据量大概有500万甚至更多,所以采用了每次查询5000条,开4线程去更新. 使用countDownLatch做的同步,4个线程把5000条数据处理完以后再查5000,一直到所有数据全部处理完.

实际运行的时候就是,主线程反复查询到的5000条没有变化. 子线程对数据的更新主线程感知不到.

后来查资料发现,对于当前sqlSession,如果一个表没有被update或者delete,查询的结果是拿上次的查询结果.与hibernate类似,session不是同一个,这也是与事务实现的有关系的.

虽然本人最终是使用了MQ做的中间件处理的数据,但是忙完以后又查了查这个问题.

网上给出的答案是调用

SqlSessionUtils.getSqlSession(sqlSessionFactory).clearCache();

具体获取SqlSession 也可以看看这篇文章

MyBatis的Dao层注入SqlSession

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

酆都来客

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SpringBoot整合Mybatis实现多数据源配置

专注于计算机研发知识和资讯分享

04-28

684

value如果有特殊符号需要使用单引号，比如账号和密码。pagehelper配置。

MyBatis缓存机制详解

靖节先生的博客

12-28

2563

MyBatis缓存机制详解1. MyBatis缓存1.1 MyBatis缓存概述1.2 MyBatis一二级缓存区别2. MyBatis一级缓存2.1 MyBatis一级缓存概述2.2 MyBatis一级缓存配置2.3 MyBatis一级缓存原理分析2.4 MyBatis一级缓存总结3. MyBatis二级缓存3.1 MyBatis二级缓存概述3.2 MyBatis二级缓存配置3.3 MyBatis二级缓存原理分析3.4 MyBatis二级缓存总结4. MyBatis缓存测试5. 参考文档 1. MyBat

参与评论您还未登录，请先登录后发表或查看评论

java整合mybatis连接myql的多线程测试

qq_43662627的博客

04-25

420

首先我的cpu是准备sql 我的mybatis的文件 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"...

多线程事务在Junit、Mybatis中使用

AE86的博客

07-05

1008

采用mybatis拦截器解决多线程事务一致性，解决拦截器导致mybatisSQL 日志不显示

Java Mybatis Maven多线程处理百万数据修改的小工具项目

10-17

最近在做一个数据抽取工作，因为涉及一些表的数据修改，因此写了个小工具。主要用到技术： Mybatis , java多线程

Mybatis oracle多表联合查询分页数据重复的问题

weixin_34150503的博客

01-15

520

Mybatis oracle多表联合查询分页数据重复的问题多表联合查询分页获取数据时出现一个诡异的现象；数据总条数正确，但有些记录多了，有些记录却又少了甚至没了。针对这个问题找了好久，最后发现是由于多个排序字段不唯一，同样的排序顺序每次运行返回的结果顺序不一致，导致这样的现象出现。 SELECT TEMP_.* FROM (select temp.*, ROWNUM ROWNUM_ ...

Spring Boot与MyBatis整合实现多数据源与缓存配置教程

在数据更新操作发生时，二级缓存可能需要失效或刷新。MyBatis默认不支持缓存刷新机制，但是可以通过实现`Cache`接口来自定义缓存行为，或者使用第三方缓存技术来支持缓存的失效和刷新策略。通过以上知识点的学习和...

MyBatis 多数据源切换：AbstractRoutingDataSource 与拦截器对比及实现实战

2301_76740633的博客

06-03

2835

MyBatis实现多数据源切换主要采用两种方案：基于Spring AbstractRoutingDataSource的动态路由和基于MyBatis拦截器的切换机制。前者通过继承AbstractRoutingDataSource重写determineCurrentLookupKey方法，利用ThreadLocal存储数据源标识，适合方法级别切换和Spring事务集成；后者通过拦截Executor的query/update方法，支持SQL语句级别的细粒度控制。

MyBatis之缓存机制详解

最新发布

aa_hdkf_vg的博客

07-19

1520

缓存是提升数据库查询性能的关键技术，MyBatis内置了两级缓存机制，能有效减少重复查询的数据库交互，降低数据库压力。本文我将深入解析MyBatis一级缓存（本地缓存）和二级缓存（全局缓存）的工作原理、配置方式、使用场景及最佳实践，结合实例对比二者差异，帮你在实际项目中合理利用缓存提升性能。

mybaits 多线程 实现数据批量插入（运用CountDownLatch实现闭锁）

10-12

mybaits 多线程 实现数据批量插入（运用CountDownLatch实现闭锁） 1、mybatis批处理 2、数据分批量查询 3、数据分批量插入

Mybatis多线程下如何使用Example详解

08-25

主要给大家介绍了关于Mybatis多线程下如何使用Example的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Mybatis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧

mybatis多线程查询数据库

qq_34412985的博客

04-21

4779

定义task类 public class ChargeCallableTask implements Callable<Object>{ private String method; private Object parameter; public ChargeCallableTask(String method,Object parameter){ this.method...

spring mybatis的多线程查询功能

qq_36090711的博客

01-25

7721

最近几天写我的自己的项目的时候用到数据的实例化，这个要求多张表查询数据源，当时我是想的直接按照顺序进行查询然后在通过map集合返回到前台，但是感觉这样数据量一高估计前端等待时间有点久。所以我想起用多线程的方式去同时查询数据返回。 * 类名称：ThreadPoolUtil * 类描述：线程池查询 * 创建人：fulln * 创建时间：2018年1月25日下午7:1

springboot mybatis 事务_MyBatis的一级缓存竟然还会引来麻烦？

weixin_39862985的博客

11-27

454

端午假期相信不少小伙伴都在偷偷学习吧(说好了放假一起玩耍呢，结果又背着我学习)，这不，刚过了端午，我的一个沙雕程序猿圈子里就有人讨论起来问题了，这个问题聊起来好像挺麻烦，但实际上问题是很简单的，下面咱来讨论下这个问题。原问题MyBatis 一级缓存与 SpringFramework 的声明式事务有冲突吗？在 Service 中开启事务，连续查询两次同样的数据，结果两次查询的结果不一致。—— 使用 ...

mybatis执行mysql缓存_mysql-Mybatisselect没有获取更新数据（缓存？）

weixin_42377407的博客

01-20

331

写了一个简单的mybatis demo，没有集成其他事务管理，对接mysql数据库。在表file_resources的mapper里面定义了一个这样的嵌套sql ，里面用到了 postinfo 、 poststatus两个表select count(*) from file_resources where objectName in (SELECT PostID FROM post...

java_mybatis:day04

m0_46540089的博客

09-16

221

关联查询：   <resultMap id="orderRslMap" type="orders">  <id column="id" property="id"></id> <id

mysql高并发和mybatis_（求助）spring+mybatis 解决数据库高并发操作

weixin_31028871的博客

02-04

709

该楼层疑似违规已被系统折叠隐藏此楼查看此楼缓存队列：public class TaskPool {//任务计数private int size;//最大线程数private int maxCount;//剩余线程数private int surCount;//初始化线程数private int max_count;//最长等待时间private int waitTime;//当前持有的额外线程数...

封装的多线程查询工具,需要依赖mybatis-plus开启线程池

weixin_45479938的博客

01-05

889

【代码】封装的多线程查询工具,需要依赖mybatis-plus开启线程池。