mybatis进行流式查询，防止大数据量查询导致的OOM

原创已于 2025-11-27 19:09:46 修改 · 211 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mybatis #java #数据库

于 2025-11-27 19:07:48 首次发布

1. 在mapper文件中，编写查询sql

这里@Select无需做特殊处理，正常些sql即可。

@Options规定了游标只能向前，且每次连接数据库查询500条数据缓存到应用内存中

@ResultType规定了返回的数据类型

方法的第二个参数 ResultHanlder 是对查询到的每条数据进行处理的方法

2.在调用的地方对 ResultHandler 进行实现

这样查询到的每条数据都会按照这里实现的方式进行处理。

3. 工作流程：程序每次与数据库连接会获取 fetchSize 指定数量的数据，并且缓存到内存中，但是ResultHanlder处理数据是一条条处理的，rs.next() 在内存中还有数据的时候就拿内存中的数据，内存中的数据用完了则再次从数据库中查询数据。

注意点：这里的数据库连接，是不关闭的

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

carlostb

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

使用JDBC/MyBatis流式查询，解决大数据量查询程序OOM问题

甘蓝的专栏

04-07

705

使用SQL查询的时候，数据量太大，出现OOM问题。如何处理？试试流式查询！

JAVA+MyBatis+MyBatisPlus解决大数据量查询慢问题

qq_27246521的博客

11-18

摘要：本文探讨大数据量查询的三种方案：常规查询一次性加载易导致OOM且效率低；流式查询通过迭代器逐条获取数据，降低内存消耗但需保持连接；游标查询通过fetchSize控制批量获取量，兼具效率与内存安全。重点分析了MyBatis实现方案及注意事项，包括游标状态管理、结果集处理和连接释放时机，对比了三种方式的内存占用特点，为大数据处理提供了优化思路。

参与评论您还未登录，请先登录后发表或查看评论

mybatis流式游标查询-导出DB大数据量查询OOM问题

weixin_42740540的博客

04-01

1616

Service层—需注意加上事务注解表示该service并不是在mapper结束时结束事务，而是等整个service结束才结束事务，不然会出现只能读取到第一段游标的结果集。客户端而言，数据每次读取都是从本机器的内核缓冲区，所以性能会更快一些，一般情况不必担心本机内核无数据消费（除非。服务端传递来的数据，在客户端不做任何业务逻辑，拿到数据直接放弃，会发生客户端消费比服务端超前的情况）流式查询，将结果集一条一条的拉取进内存，比较依赖网络，可能会造成网络阻塞。弊端就显而易见了，如果查询数据量过大，会不断经历。

流式查询 easyExcel Mybatis

love__fafa的博客

08-14

1151

流式查询从数据库读取数据并且以easyExcel写出到硬盘

MyBatis 游标查询大量数据

最新发布

2302_76761070的博客

12-21

130

本文介绍了二维数组在C++游戏开发中的基本应用，特别是迷宫类游戏的实现。通过示例代码演示了二维数组的输入输出操作，以及如何计算每行和每列的和。输入输出采用双重循环结构，行列求和则分别通过固定行或列索引来实现。这些基础操作为游戏开发中处理地图数据等场景提供了实用方法，适合编程新手学习二维数组的基本使用技巧。

车载系统应用开发集成系统API

yangyulong0622的博客

12-16

621

车载开发中，为了快速迭代常将系统应用剥离为普通应用开发，但调用系统API时反射效率低。解决方法是通过集成framework.jar，但会遇到编译报错问题。通用方案是在gradle中配置bootstrapClasspath引入jar包。当使用高版本JDK时，必须强制指定模块使用JDK8并关闭lint检查才能生效。关键步骤：先加载jar包到工程，再设置模块JDK版本为1.8。

Windows安装Maven

heqilai1的博客

12-17

211

Maven是一个基于POM模型的项目管理和构建自动化工具，其核心是通过一份配置文件，实现依赖管理和标准化的构建流程。对于Java开发者而言，Maven不是一个可选项，而是一个基础设施。它极大地降低了项目管理的复杂度，让开发者可以更专注于编写代码，而不是浪费时间在“搭建环境”和“寻找Jar包”上，Maven因其稳定、成熟和广泛的应用，至今仍是Java生态系统中最主流的构建工具。二、下载Maven https://maven.apache.org/download.cgi。至此Maven安装配置完成 😊😊。

JAVA设计模式之观察者模式

pingguocu3的博客

12-17

371

在我们开发的过程中，经常会遇到一些当什么什么事情发生的时候，然后做什么什么事。比如某种商品的物价上涨时会导致部分商家高兴，而消费者伤心。平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。著作权归作者所有,转载或内容合作请联系作者。

MyBatis-Plus 单元测试中 Lambda Mock 的坑与解决

qq_43657722的博客

12-17

1206

本文总结了 MyBatis-Plus 在单元测试中使用 LambdaWrapper 时常见的 Lambda 缓存异常问题，分析其根源在于 Mock 环境缺失真实上下文。通过精简示例说明为何 any(LambdaWrapper.class) 易出错，并给出使用 any() 的稳定解决方案，强调单元测试应聚焦业务逻辑、避免过度关注 SQL 与 Lambda 细节。

使用idea启动一个springboot项目

qq_51389137的博客

12-19

1454

5.装配置maven配置到idea下载项目依赖。4.装navicat。

计算一个字符串在另一个字符串中出现次数

沉下心,苦磨炼

12-21

【代码】计算一个字符串在另一个字符串中出现次数。

【FastAPI】FastAPI依赖注入完全指南

weixin_63434398的博客

12-18

2907

本文全面介绍FastAPI的依赖注入机制，主要包含两大注入方式：原生自动注入和Depends自定义注入。原生注入支持Request/Response等框架对象以及路径/查询参数等自动解析，而Depends则用于自定义依赖项注入。文章详细讲解依赖注入的核心思想、实现方式、生命周期管理、高级技巧，并通过完整认证系统案例展示实战应用。最后剖析Depends底层原理，并与Spring框架进行对比，帮助开发者彻底掌握FastAPI这一核心特性，实现代码解耦和高效开发。

任务总执行时长

y245166349的专栏

12-17

415

任务编排服务负责对任务进行组合调度。参与编排的任务有两种类型，其中一种执行时长为taskA，另一种执行时长为taskB。任务一旦开始执行不能被打断，且任务可连续执行。服务每次可以编排num个任务。请编写一个方法，生成每次编排后的任务所有可能的总执行时长。

安装java环境，安装jdk,jre,配环境win11,配置到idea

qq_51389137的博客

12-17

169

6.在系统变量的path中加入%JAVA_HOME%\bin，%JAVA_hOME%\jre\bin，并删除其他的含有javajdkjre的路径。2.创建一个安装位置，在想装的位置创建java文件夹，并在该文件夹下创建jdk，jre文件夹，可以带版本号好区分。4.安装后单击关闭并等待，一会会弹出jre的安装，网不好会等一会，选择jre的自己安装位置。5.设置环境变量，在此电脑里，选择属性，找到高级属性，选择环境变量，在系统变量里添加。JAVA_CLASS,JAVA_HOME,地址为jdk,jre地址。

计算机毕业设计|基于springboot + vue酒店管理系统(源码+数据库+文档)

2504_93113581的博客

12-17

779

本文介绍了一个基于SpringBoot+Vue的酒店管理系统，包含系统架构设计、技术选型和功能实现。后端采用SpringBoot框架简化开发，前端使用Vue.js实现响应式界面，数据库选用MySQL。系统提供详细的功能演示视频、代码参考和测试案例，确保项目质量。作者作为大厂开发人员，可提供源码获取和技术支持，并推荐最新计算机毕业设计选题。文章还包含完整的系统架构图和技术实现细节，适合作为毕业设计参考项目。

【短链接项目笔记】Day1 用户模块

m0_54394021的博客

12-17

1050

短链接（Short Link）是指将一个原始的长 URL（Uniform Resource Locator）通过特定的算法或服务转化为一个更短、易于记忆的 URL。短链接通常只包含几个字符，而原始的长 URL 可能会非常长。短链接的原理非常简单，通过一个原始链接生成个相对短的链接，然后通过访问短链接跳转到原始链接。

Kafka入门：从初识到Spring Boot实战

heqilai1的博客

12-17

367

key-serializer: org.apache.kafka.common.serialization.StringSerializer # Key序列化器（字符串）key-deserializer: org.apache.kafka.common.serialization.StringDeserializer # Key反序列化器。/opt/kafka/bin/kafka-server-start.sh -daemon config/server.properties # 后台启动。

【开题答辩全过程】以基于java的点餐猫在线个性化点餐系统的设计与实现为例，包含答辩的问题和答案

shiji9932的博客

12-19

892

本文介绍了一位拥有14年经验的毕设指导专家，擅长Java、PHP、Python等多种编程语言，提供项目开发、代码讲解、答辩指导等服务。并以《"点餐猫"在线点餐系统》为例，展示了毕业设计答辩的全过程，包括系统功能模块、技术架构（SSM框架+MySQL）、特色功能（个性化推荐）、测试方案等。答辩问答环节详细解答了技术选型、数据库设计、并发控制等关键问题。最后提供了毕设开题报告、源码获取渠道，建议学生独立完成毕设，也可寻求专业指导。