使用jdbc抽取mysql大表数据

最新推荐文章于 2024-12-17 22:51:14 发布

原创最新推荐文章于 2024-12-17 22:51:14 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#jdbc #java

后端同时被 2 个专栏收录

13 篇文章

订阅专栏

数据库

3 篇文章

订阅专栏

本文介绍了如何处理大数据查询时内存不足的问题，通过设置Statement为TYPE_FORWARD_ONLY和CONCUR_READ_ONLY，以及使用stmt.setFetchSize(Integer.MIN_VALUE)实现流式处理结果，让MySQL服务器一行一行返回数据。此外，还提到了使用useCursorFetch配置项和setFetchSize结合的方式，以控制服务端每次返回的数据量。这两种方法都能有效减少内存占用，避免因大数据查询导致的内存溢出错误。

问题描述

ResultSet默认会将一次查询的结果存入内存中。如果数据量比较大，就会占用大量的内存。如果内存不够，就会报错。

处理方法

流式处理结果，让驱动每次返回1行数据
```
stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);
```
statement进行java.sql.ResultSet.TYPE_FORWARD_ONLY，java.sql.ResultSet.CONCUR_READ_ONLY和stmt.setFetchSize(Integer.MIN_VALUE)的组合设置，会告诉mysql服务器流式处理返回结果，一行一行的返回数据。这是mysql规定的设置，一开始还搞不懂为啥setFetchSize会是Integer.MIN_VALUE，设置上就完了，这是规定的设置！

注意：当你使用此方式处理数据时，你必须处理完resultset中的所有数据，或者将resultset关闭后才能使用此连接进行下一次的查询等操作，否则会抛出异常。

使用基于游标的处理，setFetchSize

conn = DriverManager.getConnection("jdbc:mysql://localhost/?useCursorFetch=true", "user", "123456");
stmt = conn.createStatement();
stmt.setFetchSize(100);
rs = stmt.executeQuery("SELECT * FROM tablename");