jdbc statement.executeQuery(sql) 造成内存溢出的解决方法

最新推荐文章于 2022-07-03 21:22:05 发布
转载 最新推荐文章于 2022-07-03 21:22:05 发布 · 4.3k 阅读 · 5
文章标签：

#内存溢出 #sql #jdbc

本文介绍了在处理大型MySQL表时如何避免内存溢出的问题。通过调整Statement的fetchSize或者启用流式结果处理，可以有效防止数据全部加载到内存中导致的OutOfMemoryError错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果你要读取一个超大的表，使用下面的语句有可能会造成内存溢出：

Statement statement = conn.createStatement(
                    ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
ResultSet rs = statement.executeQuery(sql);

这是因为如果不设置statement的fetchSize的话，mysql驱动默认会将数据全部载入到内存中，所以就会OutOfMemoryError了。

解决的方法有两种，在执行statement.executeQuery(sql);添加下面两行中的一行，即可：

statement.setFetchSize(Integer.MIN_VALUE);
 ((com.mysql.jdbc.Statement)stat).enableStreamingResults();

内存溢出不好查，有时候有点莫名其妙了，编程愉快！

jdbc底层驱动加载数据机制之防止内存溢出(2)--oracle
weixin_34281477的博客
04-27 1103
2019独角兽企业重金招聘Python工程师标准>>> ...
【JDBC】使用原生JDBC，数据量很大且内存空间较小的情况下，JavaHeap溢出
ChanceZhou的博客
12-26 1077
你的问题主要是数据库查询返回结果集过大导致内存不足。优化数据库查询，通过分页和字段选择减少结果集大小；分批次处理数据，避免一次性加载所有数据；适当调整 JVM 堆内存配置，缓解现有内存压力；优化线程池配置，控制并发任务数。
mysql prepareStatement executeQuery() 内存溢出的解决办法
wangts的专栏
04-08 4247
1.  PreparedStatement ps = con.prepareStatement（"select * from myTableName",                                      ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY）;  2.  //ps.setFetchSize
executeQuery() 内存溢出的解决办法
zhglhy的专栏
04-13 622
内存溢出 OOM
PreparedStatement 查询大容量数据内存溢出解决
iteye_8029的博客
10-27 1080
PreparedStatement ps = con.prepareStatement(sql, ResultSet.TYPE_SCROLL_INSENSITIVE, ResultSet.CONCUR_READ_ONLY); ResultSet rs = ps.executeQuery(); 在使用PreparedStatement 查询大容量数据时内存溢出,只需在prepar...
mysql prestatement_mysql prepareStatement executeQuery() 内存溢出的解决办法 | 学步园
weixin_36258720的博客
02-07 592
1. PreparedStatement ps = con.prepareStatement("select * from myTableName",ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);2. //ps.setFetchSize(Integer.MIN_VALUE);3. ResultSet rs = ps.exec...
jdbcTemplate读数据内存溢出
sophie2805的专栏
01-20 4925
最近做Hadoop项目的自动化测试，代码要从hadoop mart里读数据出来，写到.csv文件里。有一个query结果集包含10万+条记录，且每条记录包含30+个列，于是jdbcTemplate华丽丽的内存溢出了。其实论数据量，这个真心不算大… 仔细看了看代码，大概知道了原因，结果集保存在List>这种结构中，而Map是比较消耗内存的，10万+个Map，每个Map30+对key-value…内
SQL注入原理与解决方法代码示例
09-09
2. 解决SQL注入的方法： - **预编译语句（PreparedStatement）**：Java的JDBC提供预编译语句接口，可以有效地防止SQL注入。预编译语句将查询模板与用户输入分开，确保用户输入的数据不会被解释为SQL代码。例如： `...
jdbc查询超大数据集内存溢出
热门推荐
silence1214的专栏
11-28 1万+
<br />今天使用jdbc的PreparedStatement查询语句如下：<br /> Class.forName("com.mysql.jdbc.Driver"); String url = "jdbc:mysql://localhost:3306/translate?characterEncoding=utf8"; String sql = "select id, title, search_title, content from article"; Connection conn
jdbc.rar_jdbc
09-24
4. **执行SQL语句**：调用Statement或PreparedStatement对象的`executeQuery()`或`executeUpdate()`方法来执行SQL。 5. **处理结果**：如果执行的是查询语句，会返回一个ResultSet对象，我们需要遍历它来获取结果；...
jdbc读大量数据导致内存溢出
shy_snow的专栏
07-03 1731
jdbc查询大量数据到内存时会导致内存溢出,需要设置结果集只读并分批次获取数据
一天一个java知识（execute，executeQuery，executeUpdate的区别是什么）
AAAhxz的博客
11-17 1109
1，Statement的execute(String query)方法用来执行任意的SQL查询，如果查询的结果是一个ResultSet，这个方法就返回true。如果结果不是ResultSet，比如insert或者update查询，它就会返回false。我们可以通过它的getResultSet方法来获取ResultSet，或者通过getUpdateCount()方法来获取更新的记录条数。 2，Sta...
mysql jdbc内存溢出_jdbc查询大量数据内存溢出的解决方法
weixin_29079643的博客
01-19 1403
当使用jdbc从mysql中查询大量数据时，有可能会导致内存溢出。为了避免这种情况的发生可以对数据库进行分页查询。public static void main(String[] args){String url = "jdbc:mysql://localhost:3306/test";String username = "username";String password = "password...
查询内存溢出
weixin_34184158的博客
06-18 253
首先我们来看一个带排序的查询，点击工具栏的显示包含实际的执行计划。 1 SELECT * FROM AdventureWorks2008R2.Person.Person WHERE FirstName LIKE 'w%' ORDER BY 1 从执行计划里可以看出，SELECT运算符包含了内存授予（Memory Grant）信息（一般情况下不会出现，这里是因为我们的语句包含排序操作...
ResultSet内存溢出OutOfMemory
qq_34412985的博客
03-02 971
我用java中的ResultSet从数据库sql查询读取数据，大概有8000行数据左右，但是在将数据从ResultSet中取出并进行处理时，程序卡在第5000行左右不动了 privatevoidgenerateRptSchemaWithLong(ConnectionfxqCon, Map<String,TFxqBJHReportSchema>fgsReportMap, ...
jdbc底层驱动加载数据机制之防止内存溢出--Mysql
lypeng13的专栏
11-04 941
1.关键对象 connection对象---com.mysql.jdbc.JDBC4Connection,里面有关于mysql的所有配置参数，设置方式通过url附带参数的形式设置 preparedStatement对象--com.mysql.jdbc.ServerPreparedStatement 2.数据结果集读取方式 有三种: 一种是流的形式，一次查询，结果集分多次获取，通信一次读一行。也就是while(rs.next)一次从服务器端获取一次结果集数据保存在RowDataCursor.
java-Mysql（一） JDBC
weixin_43835305的博客
09-24 252
java的JDBC基础
[原] Oracel JDBC 内存 问题
smithfox
06-24 166
Oracle JDBC 驱动, 会使用大量的内存, 如果控制不好很容易导致Java出现Out of memory错误. 耗内存有多方面的原因: 主要包括四个方面: (下面的讨论全部基于我自己的环境: ojdbc6.jar, version是11.1.0.7.0-Production, Oracle 10G, Java6(JDBC4) )   详见我自己的blog文章: [原] Orac...
java.sql.SQLException: Result set already closed
最新发布
07-15
<think>嗯，用户遇到了Java数据库操作中的"ResultSet already closed"异常，这确实是JDBC开发中的常见问题。从用户提供的代码片段和引用资料来看，用户应该是个Java开发者，可能正在使用原生JDBC连接SQL Server数据库，而且对异常原因不太清楚，显得有点着急。 用户的核心诉求很明确：解决这个异常。但深层需求可能是想彻底理解JDBC的结果集生命周期管理，避免类似问题。从引用中可以看到几个关键点：引用1展示了典型的关闭后访问错误；引用2揭示了结果集游标初始位置问题；引用3特别指出Statement对象的结果集互斥特性；引用4则涉及连接层异常。 这个异常通常由三个原因导致：一是结果集被显式关闭后再次访问；二是Statement执行新查询自动关闭前一个结果集；三是连接关闭导致结果集失效。用户提供的引用资料已经覆盖了前两点，但第三点在异常信息中没有明显体现。 在准备解决方案时，需要特别注意用户连接的是较旧的SQL Server 2000，某些驱动特性可能和现代数据库不同。解决方案应该从最直接的代码修复入手，再讲原理。特别要强调try-with-resources语法，因为用户代码片段显示还在用传统try-catch，这容易导致资源泄露。 用户可能还会遇到结果集遍历时的状态问题，比如初始游标位置在数据行之前，这点在引用2中提到过，但用户没具体问，所以放在进阶建议里比较合适。最后补充的"最佳实践"部分其实更重要，能帮助用户从根本上避免这类问题，虽然用户现在只想要解决方案，但这些经验能减少他未来踩坑的概率。 相关问题设计得很实用，特别是关于连接池和现代框架的部分，用户解决了当前异常后很可能会需要这些进阶知识。不过用户用Eclipse+SQL Server 2000的环境比较传统，Spring JDBC那题可能超出他当前需求，但可以作为技术拓展保留。</think>`java.sql.SQLException: Result set already closed` 异常通常发生在你尝试访问一个 **已被关闭的 `ResultSet` 对象** 时。以下是导致此异常的常见原因及对应的解决方案： --- ### **常见原因与解决方案** #### 1. **显式关闭后再次访问** * **原因**： 在调用 `resultSet.close()` 之后，又尝试读取数据（如 `resultSet.getXXX()`）。 * **代码示例**： ```java ResultSet rs = stmt.executeQuery("SELECT * FROM users"); rs.close(); // 结果集被关闭 while (rs.next()) { // 尝试访问已关闭的结果集 -> 异常！ // ... } ``` * **解决方案**： * **确保在完全处理完结果集数据之前不要关闭它**。 * 将 `rs.close()` 移到 `try` 块末尾或 `finally` 块中（确保在使用完后再关闭）。 * **推荐使用 `try-with-resources` 语法（Java 7+）自动管理关闭**： ```java try (Connection conn = dataSource.getConnection(); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery("SELECT * FROM users")) { // 自动关闭 while (rs.next()) { // 安全地处理数据 } } catch (SQLException e) { e.printStackTrace(); } ``` #### 2. **关联的 `Statement` 被关闭或执行新查询** * **原因**： * 关闭 `Statement` 对象（`stmt.close()`）会**自动关闭**其关联的 `ResultSet`。 * 在同一个 `Statement` 上执行**新的查询**（`stmt.executeQuery(...)`）会**自动关闭**之前该 `Statement` 创建的任何未关闭的 `ResultSet`。 * **代码示例**： ```java ResultSet rs1 = stmt.executeQuery("SELECT * FROM users"); ResultSet rs2 = stmt.executeQuery("SELECT * FROM orders"); // 执行新查询，rs1 被自动关闭！ while (rs1.next()) { // 尝试访问已关闭的 rs1 -> 异常！ // ... } ``` * **解决方案**： * **每个 `Statement` 对象一次只处理一个 `ResultSet`**。如果需要同时操作多个结果集，应为每个结果集创建独立的 `Statement` 对象。 * **在处理完一个 `ResultSet` 前，避免在同一个 `Statement` 上执行新查询或关闭该 `Statement`**。 * 使用不同的 `Statement` 实例： ```java try (Statement stmt1 = conn.createStatement(); ResultSet rs1 = stmt1.executeQuery("SELECT * FROM users"); Statement stmt2 = conn.createStatement(); ResultSet rs2 = stmt2.executeQuery("SELECT * FROM orders")) { // 同时处理 rs1 和 rs2 } ``` #### 3. **关联的 `Connection` 被关闭** * **原因**： 关闭 `Connection` 对象（`conn.close()`）会级联关闭其创建的所有 `Statement` 和 `ResultSet` 对象。 * **代码示例**： ```java Connection conn = getConnection(); ResultSet rs = stmt.executeQuery("SELECT * FROM users"); conn.close(); // 连接关闭，rs 被自动关闭！ while (rs.next()) { // 异常！ // ... } ``` * **解决方案**： * **确保在关闭 `Connection` 之前，所有相关的 `ResultSet` 和 `Statement` 都已处理完毕并关闭（或由 `try-with-resources` 管理）**。 * 关闭顺序应为：`ResultSet` -> `Statement` -> `Connection`（或让 `try-with-resources` 处理）。 #### 4. **结果集在方法间传递且提前关闭** * **原因**： 在一个方法中打开并处理部分结果集后，将其传递给另一个方法，但第一个方法中的 `try-with-resources` 或 `finally` 块在方法返回前关闭了结果集。 * **解决方案**： * **避免在方法间传递未完全处理的 `ResultSet`**，因其生命周期难以管理。 * **将数据提取到 DTO 或集合中传递**：在打开结果集的方法内遍历数据，将其转换为 `List<User>` 等对象集合，然后返回这个集合。这样原始结果集可以在方法内安全关闭。 --- ### **最佳实践总结** 1. **及时关闭资源**： 使用 `try-with-resources` 确保 `Connection`, `Statement`, `ResultSet` 在使用后自动关闭，避免资源泄露[^1][^3]。 2. **单一职责原则**： 一个 `Statement` 一次只服务一个 `ResultSet`。需要并发处理多个结果集时，创建多个 `Statement` 对象[^3]。 3. **作用域最小化**： 在尽可能小的作用域内打开和使用结果集（例如在单个方法内处理完）。 4. **避免传递结果集**： 优先将数据转换为对象或集合进行传递，而非传递 `ResultSet` 本身。 5. **检查游标位置**： 在读取数据前，确保 `ResultSet` 的游标位于有效行（如调用 `next()` 移动游标）[^2]。 6. **连接池配置**： 如果使用连接池（如 HikariCP），确保其配置正确，避免连接意外关闭[^4]。 > **关键点回顾**：`ResultSet` 的生命周期受其父对象（`Statement`/`Connection`）控制。任何关闭父对象的操作，或复用 `Statement` 执行新查询，都会导致关联的 `ResultSet` 失效。务必保证在访问结果集时，其依赖的资源（`Statement`/`Connection`）仍处于打开状态，且自身未被显式关闭。 --- ### **相关问题** 1. **`ResultSet` 在遍历过程中关闭连接会有什么后果？** > 会导致后续访问 `ResultSet` 抛出 `SQLException`，因为底层数据库资源已被释放。应在遍历完成后再关闭连接。 2. **如何在大型查询中高效处理 `ResultSet` 避免内存溢出？** > 使用 `setFetchSize()` 控制每次从数据库获取的行数，结合流式处理（如 `ResultSet.TYPE_FORWARD_ONLY`）逐步读取数据。 3. **`Statement` 和 `PreparedStatement` 在结果集管理上有何区别？** > 两者行为一致：执行新查询或关闭 `Statement` 都会关闭关联的 `ResultSet`。`PreparedStatement` 的优势在于参数化查询和防 SQL 注入。 4. **连接池配置错误为何会导致 "Socket closed" 异常？** > 连接池若设置超时时间过短，可能回收空闲连接。当应用尝试使用已被回收的连接时，会触发类似 `Io exception: Socket closed` 的错误[^4]。 5. **现代框架（如 Spring JDBC）如何简化结果集管理？** > 通过 `JdbcTemplate` 的 `query()` 方法，开发者只需提供 `RowMapper` 处理数据，框架自动管理 `ResultSet` 生命周期，避免手动关闭资源。 > 引用参考： > [^1]: 显式关闭 `ResultSet` 后访问导致异常。 > [^2]: 结果集游标初始位置需通过 `next()` 移动到有效行。 > [^3]: 同一 `Statement` 执行新查询会关闭前一个 `ResultSet`。 > [^4]: 连接关闭会导致关联结果集失效。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值