jdbc查询超大数据集内存溢出

最新推荐文章于 2025-07-08 10:28:51 发布
原创 最新推荐文章于 2025-07-08 10:28:51 发布 · 1w 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#jdbc #exception #string #url #java #thread

今天使用jdbc的PreparedStatement查询语句如下：

 

 

总是报这个错误：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
 at com.mysql.jdbc.Buffer.getBytes(Buffer.java:198)
 at com.mysql.jdbc.Buffer.readLenByteArray(Buffer.java:318)
 at com.mysql.jdbc.MysqlIO.extractNativeEncodedColumn(MysqlIO.java:3567)
 at com.mysql.jdbc.MysqlIO.unpackBinaryResultSetRow(MysqlIO.java:3483)
 at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1391)
 at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2369)
 at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:451)
 at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2076)
 at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1451)
 at com.mysql.jdbc.ServerPreparedStatement.serverExecute(ServerPreparedStatement.java:1314)
 at com.mysql.jdbc.ServerPreparedStatement.executeInternal(ServerPreparedStatement.java:740)
 at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1467)

 

但是从网上找到的doc说，默认情况下不会出这个问题的，因为java回自动的优化不会导致内存溢出的。百思不得其解。

后来无意找到一个介绍，这么来做

就是给url连接字符串添加2个属性即可：useCursorFetch=true&defaultFetchSize=100

mysql jdbc缓存_支持连接池和结果集缓存的MySQL数据库JDBC通用框架的轻量级封装（一）——粗略实现...
weixin_31948907的博客
02-07 265
(1)数据库连接池构建方法1、利用Apache的Commons Pool通过继承BasePooledObjectFactory类实现一个PoolableConnectionFactory类，实现将JDBC数据库连接Connection对象包裹为一个PooledObject，并通过create()方法实现创建Connection对象，利用重载passivateObject、destroyObjec...
JDBC查询大数据时怎么防止内存溢出-流式查询
pyf2533931995的博客
04-26 3473
在使用 JDBC 查询大数据时，由于 JDBC 默认将整个结果集加载到内存中，当查询结果集过大时，很容易导致 JVM 内存溢出的问题。解决办法通常是使用分页查询，但是分页查询越往后要遍历的行数越多，效率越低。除非能够添加索引条件，但这又提高了业务逻辑的复杂度。JDBC的流式查询就是在使用ResultSet对象获取查询结果集的时候，不是把结果集一次性全部加载到内存中，而是分批次读取数据。在jdbc客户端和mysql服务端建立tcp连接后，mysql以包的形式返回数据。
《高效攻克数据库查询海量数据致内存溢出难题》
07-03
资源下载链接为： https://pan.quark.cn/s/22ca96b7bd39 数据库查询是应用程序与数据交互的关键环节，若一次性从数据库中获取大量数据，易导致内存溢出，即程序申请内存时，因系统资源限制或程序设计不当，无法分配到足够内存空间来完成操作。服务器内存负担过重，系统可能崩溃。以下是解决该问题的多种方法： 分页查询：这是常用方法，通过设定分页参数，每次仅加载一定数量数据，减少一次性加载量。如在SQL中，可用LIMIT或OFFSET关键词实现。 流式查询：允许数据库在结果集未完全生成时就开始返回数据，而非等待所有结果计算完毕。如Java的JDBC，其ResultSet的scrollable特性，可在获取数据同时释放已读取数据，避免一次性加载全部数据。 数据预处理：可将大查询拆分为多个小查询，分别处理，或运用子查询、连接查询等优化策略，减少单次查询数据量。 提升硬件配置：增加服务器内存大小，提升数据库处理大数据能力，但这只是临时方案，无法从根本上解决问题。 数据库优化：对数据库进行索引优化，提高查询效率；使用存储过程或视图封装复杂查询，减少客户端与服务器间通信开销。 引入缓存机制：借助缓存技术（如Redis或Memcached）存储部分数据，减轻数据库压力。对于频繁访问且不常变更的数据，缓存可显著提升性能。 使用数据压缩：在查询过程中，对返回数据进行压缩处理，减少传输数据量。像MySQL等数据库提供压缩协议，可在不影响业务情况下降低内存占用。 实施数据归档：将历史数据定期归档到低成本存储介质上，仅保留最近一段时间数据供查询。 调整JVM堆内存设置：对于Java应用，调整JVM的-Xms和-Xmx参数，合理设定堆内存大小，防止内存溢出。 代码优化：编程时避免集合类无限制增长，及时释放不再使用的对象，减少内存泄露可能。 解决数据库一次查询数据量过大导致的内存溢出问
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space
努力奋斗
12-21 412
http://blog.csdn.net/seven_3306/article/details/9303879
定位java应用程序出现内存溢出异常及解决方案
最新发布
zty0721的博客
07-08 891
在 Java 应用程序中，内存溢出（OOM, OutOfMemoryError）是常见且棘手的问题。内存溢出的定位和解决需要结合工具分析（堆转储、GC 日志）和代码审查。通过系统化的方法，可以高效解决内存溢出问题，并提升应用的稳定性和性能。免费工具，用于分析堆转储文件，定位大对象和内存泄漏。JDK 自带工具，集成多种监控功能，可安装插件扩展。在线 GC 日志分析工具，快速生成 GC 报告。商业工具，功能强大，支持实时内存监控和堆分析。：堆内存碎片化严重，GC 频繁且效率低。
ResultSet内存溢出OutOfMemory问题
zyh519的博客
12-30 1193
错误信息如下： jdbc在操作oracle海量数据的时候用ResultSet获取所有的返回数据出现内存溢出 处理： 出错的原因是ResultSet用的是可滚动结果集，正常情况下ResultSet是指针指向数据库的数据，本身是不存储数据库的数据的，默认情况下就算是提交的sql能查询处上亿条的数据也是不消耗内存的，但是如果用的是可滚动结果集的ResultSet情况就不一样了，ORACLE...
MySQL并发支撑底层Buffer Pool机制详解
喜欢猪猪
10-24 1065
MySQL的Buffer Pool机制是InnoDB存储引擎中用于提高数据库读写性能的核心组件。通过缓存磁盘上的数据页和索引页，减少磁盘IO操作，显著提高数据访问速度。作为资深架构师，深入理解Buffer Pool的工作原理和配置方法，对于优化数据库性能和提升系统响应速度至关重要。在Java应用中，通过合理使用JDBC连接和编写高效的SQL查询语句，可以充分利用MySQL的Buffer Pool机制来提高数据访问效率。
jdbc读取百万条数据出现内存溢出的解决办法
Apache012的专栏
11-25 5874
本人在做项目实施时，我们使用的是mysql数据库，在不到一个月的时间已经有了2千万条数据，查询的时候非常慢，就写了一个数据迁移的小项目，将这两千万条数据存放到MongoDB中看效率怎么样，再读取数据时老是出现内存溢出，查了好多资料才找到原因， 解决方法： 在jdbc的URL上加两个参数就OK，成功解决内存溢出的问题。例如： "jdbc:mysql://10.20.100.86:3306/js
mysql 报错：java.lang.OutOfMemoryError: Java heap space
weixin_30716725的博客
12-18 426
原因：mysql会将查询到的记录全部发送到java端保存，而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn ...
mysql java heap space_java.lang.OutOfMemoryError: Java heap space
weixin_39990029的博客
01-27 231
pid:60 nid:2 exception:canal:yoolifin_ yoolifin:com.alibaba.otter.canal.parse.exception.CanalParseException: java.lang.OutOfMemoryError: Java heap spaceCaused by: java.lang.OutOfMemoryError: Java heap...
完美解决因数据库一次查询数据量过大导致的内存溢出问题
08-27
数据库查询是应用程序与数据交互的重要环节，当一次性从数据库中获取的数据量过大时，可能会导致内存溢出（Memory Overflow）问题。内存溢出是程序在申请内存时，无法在分配到足够的内存空间来完成操作，这通常是...
【JDBC】使用原生JDBC，数据量很大且内存空间较小的情况下，JavaHeap溢出
ChanceZhou的博客
12-26 1072
你的问题主要是数据库查询返回结果集过大导致内存不足。优化数据库查询，通过分页和字段选择减少结果集大小；分批次处理数据，避免一次性加载所有数据；适当调整 JVM 堆内存配置，缓解现有内存压力；优化线程池配置，控制并发任务数。
mysql java heap space_MySQL的JDBC OutOfMemoryError: Java heap space异常
weixin_36269141的博客
01-19 857
MySQL的JDBC OutOfMemoryError: Java heap space异常MySql数据库通过JDBC对大表进行查询时抛出java.lang.OutOfMemoryError: Java heap space异常。这是因为默认情况下，MySQL的JDBC驱动会一下子把所有row都读取下来，这在一般情况下是最优的，因为可以减少Client-Server的通信开销。但是这样也有一个问...
Java heap space出错原因
qdchen
02-01 374
使用Java程序从数据库中查询大量的数据时容易出现异常: java.lang.OutOfMemoryError: Java heap space 在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。 还有使用jxl读写excel文件时，同时读入所有记录，也容易出现这个问题。 JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间...
jdbc statement.executeQuery(sql) 造成内存溢出的解决方法
ChasingdreamLY的博客
08-17 4305
如果你要读取一个超大的表，使用下面的语句有可能会造成内存溢出： Statement statement = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ResultSet rs = statement.executeQuery(sql); ...
MySQL的JDBC OutOfMemoryError: Java heap space异常
yanfeichening
07-21 514
MySQL的JDBC OutOfMemoryError: Java heap space异常 http://hi.baidu.com/tlw_ray/blog/item/ab925bf4ff3312d1f3d385e2.html MySql数据库通过JDBC对大表进行查询时抛出java.lang.OutOfMemoryError: Java heap space异常。这是因为默认情况下，...
jdbc读大量数据导致内存溢出
shy_snow的专栏
07-03 1728
jdbc查询大量数据到内存时会导致内存溢出,需要设置结果集只读并分批次获取数据
mybatisplus查询内存溢出
05-16
### MyBatis-Plus 查询大量数据导致内存溢出的解决方案 在使用 MyBatis-Plus 进行数据库查询时，如果涉及大量的数据读取，可能会因为一次性加载过多数据到内存中而导致内存溢出（Java Heap Space OutOfMemoryError）。以下是几种常见的解决方法： --- #### 一、分页查询 分页查询是一种简单且高效的手段，用于避免一次性加载全部数据。MyBatis-Plus 提供了内置的分页插件，可以通过配置轻松实现分页功能[^1]。 ```java // 初始化分页对象 Page<User> page = new Page<>(currentPage, pageSize); // 执行分页查询 IPage<User> result = userMapper.selectPage(page, null); // 获取分页后的数据列表 List<User> users = result.getRecords(); ``` 通过设置合理的 `pageSize` 和 `currentPage` 参数，可以显著降低单次查询返回的数据量，从而减轻内存负担。 --- #### 二、流式查询 对于超大规模的数据集，分页可能仍然不够理想。此时可以采用流式查询的方式，逐条或逐批处理数据，避免将所有数据一次性加载到内存中[^2]。 ##### 实现步骤： 1. **启用 Cursor 支持** 自 MyBatis 3.4.0 开始引入了 `Cursor` 接口，支持基于游标的流式查询。 2. **配置 JDBC Fetch Size** 确保 MySQL 驱动中的 `setFetchSize(Integer.MIN_VALUE)` 方法已生效，这会通知数据库服务器以流式方式传输数据，而不是一次性将所有结果发送给客户端[^2]。 3. **代码示例**： ```java @Select("SELECT * FROM large_table") public Cursor<LargeTableEntity> selectAll(); // 调用流式查询 try (Cursor<LargeTableEntity> cursor = mapper.selectAll()) { while (cursor.hasNext()) { LargeTableEntity entity = cursor.next(); process(entity); // 对每一行数据单独处理 } } catch (Exception e) { log.error("Stream query failed", e); } ``` 流式查询特别适合于需要全量扫描表但又受限于内存容量的场景。 --- #### 三、调整 JVM 堆内存参数 如果无法改变现有的查询逻辑，或者暂时不适合改造为分页或流式模式，则可以通过增加 JVM 的最大堆空间来缓解内存不足的问题。但这仅是一个权宜之计，并不建议长期依赖此方法[^3]。 修改启动命令，添加以下 JVM 参数以扩大堆内存： ```bash -Xms512m -Xmx4g ``` 其中 `-Xms` 设置初始堆大小，`-Xmx` 设置最大堆大小。单位可选 `m` 或 `g`。 --- #### 四、批量写入与分割操作 如果问题是由于大批量数据插入引起，则应重新设计插入策略。例如，将原本的一次性提交改为小批次循环执行，并及时清理无用的对象引用，以便垃圾回收机制尽早释放资源[^3]。 --- #### 五、优化 SQL 查询语句 除了以上技术层面的优化外，还应对 SQL 查询本身进行审查和优化。例如： - 添加索引以提高查询效率； - 减少不必要的字段选择（即只查询所需的列）； - 合理拆分复杂查询为多个简单的子查询。 这些措施都能间接减少内存消耗。 --- ### 结论 综合来看，针对 MyBatis-Plus 查询大量数据导致内存溢出的问题，首选方案是实施分页查询或切换至流式查询模式。这两种方式不仅能够有效控制内存使用量，还能提升系统的稳定性和性能。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值