分页查询结果并将结果分批保存，防止内存溢出

原创

已于 2024-09-09 23:57:38 修改 · 472 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #java #后端

于 2024-09-09 23:57:22 首次发布

分页查询结果并将结果分批保存

一、思路
二、实现
三、项目结果及源码

一、思路

通过分页查询数据，然后再将分页查询的结果批量进行保存，防止一次性查询数据过大，导致内存溢出。

二、实现

@Service
public abstract class InsertUserListService implements IService<Users> {
   
   

    @Resource
    private UsersMapper usersMapper;

    /**
     * 通过分页查询数据，然后再将分页查询的结果

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

懒虫虫~

关注关注

8
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

MybatisPageHelper实现分页——让查询结果分页更简单

AI天才研究院

07-29

1755

分页是一个非常常见且基础的问题。一般情况下，数据库系统都提供了对数据进行分页查询的功能。但在实际应用中，往往会遇到各种各样的需求，比如需要将一个复杂的数据集分页显示给用户、需要快速定位到某一页、需要调整每页显示数量、需要快速翻页等。对于这些情况，通常我们都会自己去设计分页算法或工具类。而Mybatis-PageHelper就是为了解决这个问题，它是一个轻量级的 MyBatis 分页插件，只需简单配置即可实现分页查询功能。下面就让我们一起学习一下Mybatis-PageHelper的原理及其分页实现过程。

Java之~List批量，分页拉取第三方数据存入自己的库

hpp的博客

06-14

678

List批量，分页拉取第三方数据存入自己的库

参与评论您还未登录，请先登录后发表或查看评论

java List分批处理

weixin_34192993的博客

08-15

461

java List分批处理，例如对List中的数据进行批量插入。方法一： 1 /** 2 * ClassName:Test List分批处理 3 * @author Joe 4 * @version 5 * @since JDK 1.8 6 */ 7 public class Test { 8 9 public static void...

Java代码数据批次批量保存到数据库

小鱼儿的博客

10-24

1087

throw new Exception("批量保存错误，原因为：保存数据库后，影响条数为0");throw new Exception("批量保存设备日交易流水数据时，数据集合为空");// 循环保存每次默认保存1000条数据到数据库。// 7：批量保存交易流水。// 获取总循环保存次数。

list分批保存到另一个list

qq_41831842的博客

11-19

549

import lombok.extern.slf4j.Slf4j; import java.util.List; @Slf4j public final class BatchOperator { private BatchOperator() { } /** * 批量操作 * * @param pageSize * @param list * @param callback * @param <T> .

java 分批读取list

a7586032的博客

11-03

2438

public static void main(String[] args) { List list = new ArrayList(); for (int i = 0; i list.add(i); } System.out.println(list); int init = 1000;// 每隔1000条循环一次 int total = list.size(); in

内存分页处理：监控与预测防止堆栈溢出

通过日志监控，可以实时了解当前内存使用情况，对于大对象场景，如多个查询结果组合后需要分页处理，可以基于日志数据预测并防止堆栈溢出。 6. 分页处理的应用场景：内存分页处理在多种场景中都有应用，尤其是在...

如何避免JDBC引起的内存溢出情况

05-24

- **限制查询结果**：尽可能地使用LIMIT或TOP等关键字来限制查询返回的行数。 #### 四、结论在处理大量数据时，通过合理配置JDBC连接参数和采取一些最佳实践，可以有效避免内存溢出的问题。对于MySQL、SQL Server...

在大型结果集分页时Navicat如何避免内存溢出？

最新发布

09-02

在Navicat的查询结果窗口中，即使执行了不带分页的查询（如`SELECT * FROM large_table`），Navicat也会自动将其转换为分页查询，并且在用户滚动查看时动态加载后续数据。这种方式称为“懒加载”或“按需加载”。 ...

java小知识：分批处理List集合数据

危险、的博客

04-23

3725

*突然想起分批处理数据有多少种方法，随笔记个好用的。 public static void main(String[] args) { List<Object> list = new ArrayList<Object>(); for (int i = 0; i < 99; i++) { list.add(i); ...

数据库插入数据量过大时分批插入处理(JAVA)

qq_36932982的博客

08-15

4211

在特殊情况下，比如插入的数据是业务表，每行的数据量较大，且该表访问频繁，那么，插入1条的时候可能不会锁表，而插入10000行的时候，会遇到锁表的情况。如果并发插入，甚至发生死锁。这个时候，就要根据经验分析，调整每个批次的量，以避免影响使用。...

Java内存溢出及解决办法

hutongling的博客

04-01

4026

一、Java内存溢出的原因：（1）内存中加载的数据量过于庞大，，如一次性从数据库中取出过多的数据；（2）集合类中有对对象的引用，使用完之后未清空，使得JVM不能回收；（3）代码中存在死循环或者循环产生过多重复的对象尸体；（4）使用的第三方软件中的Bug；（5）JVM的启动参数设定的过小。二、解决Java内存溢出的方案：第一步：修改JVM的启动参数，直接增加内存（使用-Xms,

java并发批量保存优化

qq_53833871的博客

07-24

484

是一个基于线程池的通用批量保存工具类，支持将大批量数据拆分成多批并发执行保存操作，提升数据写入效率，并在批量保存失败时自动降级为逐条保存以排查问题。该工具类依赖 Lombok 的@Slf4j注解提供日志支持，并使用 Hutool JSON 工具进行对象序列化日志输出。

JAVA-List分批次处理

薛三岁

03-15

1103

【代码】JAVA-List分批次处理。

Java中list集合分批提交数据库

Abbott1314的博客

02-15

1015

public static <T> List<List<T>> split(Collection<T> list ,int split){ List<List<T>> result = new ArrayList<List<T>>(); int count = 0; List<T> cList = new ArrayList<>(); for(T t:li.

java 批量存储_Java读取文件并批量保存到数据库

weixin_39581571的博客

02-15

1082

package com.test;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStreamReader;impor...

java中对于大量数据采用批量处理来提高效率