jdbcTemplate读数据内存溢出

最新推荐文章于 2025-03-21 14:28:45 发布

苏雨田

最新推荐文章于 2025-03-21 14:28:45 发布

阅读量4.8k

点赞数

分类专栏： java JDBC 数据库文章标签： jdbcTemplate内存溢出

本文链接：https://blog.youkuaiyun.com/sophie2805/article/details/79113274

版权

最近做Hadoop项目的自动化测试，代码要从hadoop mart里读数据出来，写到.csv文件里。有一个query结果集包含10万+条记录，且每条记录包含30+个列，于是jdbcTemplate华丽丽的内存溢出了。其实论数据量，这个真心不算大…
仔细看了看代码，大概知道了原因，结果集保存在List<Map<String, Object>>这种结构中，而Map是比较消耗内存的，10万+个Map，每个Map30+对key-value…内存溢出是可以理解的

public List<Map<String, Object>> querySQL(final String query){
    return jdbcTemplate.queryForList(query);
}

于是改用最原始的statement执行query,设置fetch szie，然后将result set存到List<List<String>>中。每到2000行

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

苏雨田

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

JDBC查询大数据时怎么防止内存溢出-流式查询

pyf2533931995的博客

04-26

3391

在使用 JDBC 查询大数据时，由于 JDBC 默认将整个结果集加载到内存中，当查询结果集过大时，很容易导致 JVM 内存溢出的问题。解决办法通常是使用分页查询，但是分页查询越往后要遍历的行数越多，效率越低。除非能够添加索引条件，但这又提高了业务逻辑的复杂度。JDBC的流式查询就是在使用ResultSet对象获取查询结果集的时候，不是把结果集一次性全部加载到内存中，而是分批次读取数据。在jdbc客户端和mysql服务端建立tcp连接后，mysql以包的形式返回数据。

使用spring jdbcTemplate 批量查询校验【支持50万数据】使用JDBC不会造成内存溢出

bujibo的博客

03-03

5988

JDBC连接mysql，查大数据集报：java.lang.OutOfMemoryError: Java heap space http://blog.youkuaiyun.com/hwwn2009/article/details/424230391.使用spring jdbcTemplate做批量校验（支持50万数据） public void mxCheck(String tableName,Map<

4 条评论您还未登录，请先登录后发表或查看评论

如何避免JDBC引起的内存溢出情况

05-24

有的时候，我们需要一次查询很多的数据，或者是说每次查询的数据量都很大，都有可能早晨内存溢出的情况，所以我们今天分别针对三个数据库来探讨如何避免这一问题。

如何避免JDBC内存溢出问题

WlHelloWorld的专栏

07-03

7656

方法一：在连接mysql的URL后加两个参数：useCursorFetch=true&defaultFetchSize=100 完整形式如：jdbc:mysql://192.168.1.252:3306/lims?useUnicode=true&charsetEncoding=utf8&useCursorFetch=true&defaultFetchSize=100 此方法只针

数据库连接池：原理、实现、优化

03-21

1213

数据库连接池是一种用于管理数据库连接的技术，它通过预先创建并维护一定数量的数据库连接，供应用程序重复使用，从而减少频繁建立和关闭连接的开销，提高数据库访问效率。在现代企业级应用中，数据库连接池是提高系统性能和资源利用率的关键技术之一。数据库连接池的核心思想是“复用”。在没有使用连接池的情况下，每次访问数据库都需要建立一个新的连接，这个过程包括加载驱动程序、建立网络连接、进行身份验证等多个步骤，这些操作不仅消耗大量时间，还会增加系统资源的开销。

java jdbc 内存溢出_java - Java错误配置JDBC - 堆栈内存溢出

weixin_36469638的博客

02-28

266

此错误可能与数据源配置有关。如果使用Apache Tomcat AS，则它提供了三种在JNDI中配置数据源的方法。1-在您的应用程序中：META-INF目录下的context.xml。2-在您的服务器context.xml中的Tomcat / conf目录下。3-通过设置server.xml和context.xml在全局级别定义它我更喜欢第三种方式，因此对于Oracle数据库，在Tomca...

jdbc读取百万条数据出现内存溢出的解决办法

Apache012的专栏

11-25

5857

本人在做项目实施时，我们使用的是mysql数据库，在不到一个月的时间已经有了2千万条数据，查询的时候非常慢，就写了一个数据迁移的小项目，将这两千万条数据存放到MongoDB中看效率怎么样，再读取数据时老是出现内存溢出，查了好多资料才找到原因，解决方法：在jdbc的URL上加两个参数就OK，成功解决内存溢出的问题。例如： "jdbc:mysql://10.20.100.86:3306/js

正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space...

weixin_34268610的博客

11-14

164

昨天在项目中需要对日志的查询结果进行导出功能。日志导出功能的实现是这样的，输入查询条件，然后对查询结果进行导出。由于日志数据量比较大。多的时候，有上亿条记录。之前的解决方案都是多次查询，然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。那么能不能一次查询就把所有结果倒出来了？于是我就使用一次查询，不使用limit分页。结果出现 java.lang.Out...

JAVA使用POI如何导出百万级别数据,防止内存溢出

kobe_2014_ming的博客

12-18

2705

以前我们数据库中存在大量的数据，我们要查询，怎么办？我们在没有经过设计的时候是这样来处理的，先写一个集合，然后执行jdbc，将返回的结果赋值给list，然后再返回到页面上，但是当数据量大的时候，就会出现数据无法返回，内存溢出的情况，于是我们在有限的时间和空间下，通过分页将数据一页一页的显示出来，这样可以避免了大数据量数据对内存的占用，也提高了用户的体验，在我们要导出的百万数据也是一个道...

jdbc读大量数据导致内存溢出

shy_snow的专栏

07-03

1714

jdbc查询大量数据到内存时会导致内存溢出,需要设置结果集只读并分批次获取数据

JDBC的批量查询报告内存溢出解决方法

Littleree的博客

06-13

137

JDBC的批量查询报告内存溢出解决方法

JDBC连接池&JDBCTemplate

04-30

Templata所需资源与jar包

java jdbctemplate update_java - Spring JdbcTemplate.update（）不更新行 - 堆栈内存溢出

weixin_28020031的博客

02-25

783

我在DAO中使用Spring JdbcDaoSupport ，并尝试使用以下查询更新记录。String callersUpdateQuery = "update W67U999S a set pcrdattim= ? where exists (select b.CRDATTIM, b.RECORDCD, b.CRNODE, b.UNITCD, b.WRKTYPE from W03U999S b ...

Java多线程Jdbc,java - jdbctemplate.batchupdate是多线程还是并发？ - 堆栈内存溢出

weixin_42150745的博客

03-21

1085

我已经使用Informix数据库在春季启动的最新版本中开发了一个应用程序。有一些我想并行执行的任务。我有以下问题。jdbcTemplate.batchupdate()通过线程并行化查询，通过异步编程并发运行查询还是只是一个接一个地顺序执行它们？private String query1, query2, query3;public void executeQuery(JdbcTempla...

springboot中使用JdbcTemplate连接数据解决连接超载问题

qq_41562587的博客

04-16

2181

最近做Demo，需要使用JdbcTemplate连接查询不同数据源中所有表及表字段的信息，其实不难，MySQL都有提供对应的查询语句，所以只是需要获取不同的数据源信息，构建不同的DataSource，然后初始化JdbcTemplate即可。很奇怪，明明关了为啥我的每次测试，还是会不断的累加数据库连接数【注：查询连接数SQL：show full processlist】最后毫无头绪的乱翻源码的时候发现这个继承关系以及百度了一下恍然大悟，真的是关了个寂寞啊！

Spring Boot —— 如何排查内存溢出问题

最新发布

03-26

### 使用 JdbcTemplate 查询大量数据的最佳实践当使用 `JdbcTemplate` 进行大量数据查询时，内存管理和性能优化至关重要。以下是针对此场景的一些最佳实践： #### 1. **分页查询** 对于大规模数据集，一次性加载所有记录可能导致内存溢出或显著降低系统性能。因此，推荐采用分页查询的方式逐步获取数据。分页的核心在于 SQL 中的 LIMIT 和 OFFSET 子句（适用于 MySQL 或 PostgreSQL），或者 TOP 和 ROW_NUMBER() 函数（适用于 Microsoft SQL Server）。以下是一个基于 Spring 的分页实现示例[^1]： ```java public List<YourEntity> fetchDataByPage(int pageNumber, int pageSize) { String sql = "SELECT * FROM your_table ORDER BY id LIMIT ? OFFSET ?"; return jdbcTemplate.query(sql, new Object[]{pageSize, (pageNumber - 1) * pageSize}, new BeanPropertyRowMapper<>(YourEntity.class)); } ``` 上述代码中，`LIMIT` 控制每页返回的数据量，而 `OFFSET` 则指定跳过的记录数。这种方法能够有效减少单次查询的结果集大小，从而缓解内存压力。 #### 2. **流式处理** 如果无法预先知道总记录数量，或者希望进一步优化资源消耗，则可以考虑使用 JDBC 的游标功能配合 `ResultSet` 流式读取数据。Spring 提供了 `setFetchSize()` 方法来控制底层驱动程序的行为[^3]。下面展示了一个利用流式处理的大规模数据读取方案： ```java public void processLargeDataset(Consumer<YourEntity> consumer) throws SQLException { Connection connection = null; PreparedStatement statement = null; ResultSet resultSet = null; try { connection = dataSource.getConnection(); String sql = "SELECT * FROM your_table"; statement = connection.prepareStatement(sql); statement.setFetchSize(Integer.MIN_VALUE); // 启用服务器端光标模式 resultSet = statement.executeQuery(); while (resultSet.next()) { YourEntity entity = mapToEntity(resultSet); consumer.accept(entity); // 对每一行数据单独处理 } } finally { closeQuietly(connection, statement, resultSet); } } private YourEntity mapToEntity(ResultSet rs) throws SQLException { YourEntity entity = new YourEntity(); entity.setId(rs.getInt("id")); entity.setName(rs.getString("name")); // 映射其他字段... return entity; } private void closeQuietly(AutoCloseable... resources) { Arrays.stream(resources).forEach(resource -> { if (resource != null) { try { resource.close(); } catch (Exception ignored) {} } }); } ``` 这种方式避免了一次性将整个结果集载入内存，而是逐条处理记录，非常适合于超大型表的操作。 #### 3. **批量插入/更新** 除了查询外，在某些情况下还需要对大批量数据执行写入操作。此时应优先选用批量 API 来代替逐一调用 insert/update 命令。例如： ```java String sql = "INSERT INTO your_table (column1, column2) VALUES (?, ?)"; List<Object[]> batchArgs = new ArrayList<>(); for (int i = 0; i < largeDataSet.size(); ++i) { batchArgs.add(new Object[] {largeDataSet.get(i).getColumn1(), largeDataSet.get(i).getColumn2()}); } jdbcTemplate.batchUpdate(sql, batchArgs); ``` 该方法不仅提高了吞吐率，还能大幅削减网络往返次数以及锁等待时间。 --- ### 数据库连接管理的重要性无论采取何种策略，都需注意合理配置数据库连接池参数以适应高负载环境下的频繁请求。通常建议调整最大活跃连接数、最小闲置连接数及存活检测间隔等属性设置[^2]。另外，确保每次操作完成后及时释放资源也很重要——这可以通过 try-with-resources 结构自动完成，亦或是显式关闭 Statement 和 ResultSets 实现。 --- ### 总结综上所述，面对海量数据查询任务时，应当综合运用分页机制、流化技术和批量化手段加以解决；与此同时还要兼顾好基础架构层面的支持条件比如恰当设定 DBCP 参数等等。