jdbc查询超大数据集内存溢出

最新推荐文章于 2024-12-26 17:14:41 发布

iteye_20835

最新推荐文章于 2024-12-26 17:14:41 发布

阅读量673

点赞数

CC 4.0 BY-SA版权

文章标签： JDBC MySQL Java SQL thread

本文链接：https://blog.youkuaiyun.com/iteye_20835/article/details/82029846

本文介绍了使用JDBC PreparedStatement查询数据库时遇到的内存溢出问题，并提供了解决方案，通过设置连接参数useCursorFetch=true&defaultFetchSize=100来优化内存使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天使用jdbc的PreparedStatement查询语句如下：

Class.forName( "com.mysql.jdbc.Driver" );
String url = "jdbc:mysql://localhost:3306/translate?characterEncoding=utf8" ;
String sql = "select id, title, search_title, content from article" ;
Connection conn = DriverManager.getConnection(url, "root" , "123456" );
PreparedStatement ps = conn.prepareStatement(sql);
ResultSet rs = ps.executeQuery();
rs.close();
ps.close();
conn.close();

Class.forName("com.mysql.jdbc.Driver"); String url = "jdbc:mysql://localhost:3306/translate?characterEncoding=utf8"; String sql = "select id, title, search_title, content from article"; Connection conn = DriverManager.getConnection(url, "root", "123456"); PreparedStatement ps = conn.prepareStatement(sql); ResultSet rs = ps.executeQuery(); rs.close(); ps.close(); conn.close();

总是报这个错误：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at com.mysql.jdbc.Buffer.getBytes(Buffer.java:198)
at com.mysql.jdbc.Buffer.readLenByteArray(Buffer.java:318)
at com.mysql.jdbc.MysqlIO.extractNativeEncodedColumn(MysqlIO.java:3567)
at com.mysql.jdbc.MysqlIO.unpackBinaryResultSetRow(MysqlIO.java:3483)
at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1391)
at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2369)
at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:451)
at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2076)
at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1451)
at com.mysql.jdbc.ServerPreparedStatement.serverExecute(ServerPreparedStatement.java:1314)
at com.mysql.jdbc.ServerPreparedStatement.executeInternal(ServerPreparedStatement.java:740)
at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1467)

但是从网上找到的doc说，默认情况下不会出这个问题的，因为java回自动的优化不会导致内存溢出的。百思不得其解。

后来无意找到一个介绍，这么来做

就是给url连接字符串添加2个属性即可：useCursorFetch=true&defaultFetchSize=100