JDBC中的setFetchSize()

最新推荐文章于 2024-01-06 16:14:05 发布

转载最新推荐文章于 2024-01-06 16:14:05 发布 · 9.4k 阅读

数据库&缓存专栏收录该内容

16 篇文章

订阅专栏

本文介绍了解决MySQL JDBC在处理大数据集时遇到的Java堆内存溢出问题的方法。通过设置Statement属性，如使用流式数据接收、启用流式结果等技术手段，避免一次性加载整个结果集到内存中。

转载自：http://blog.youkuaiyun.com/seven_3306/article/details/9303879

在使用MySQL的JDBC时，如果查询结果集过大，使用一次查询，可能会出现Java.lang.OutOfMemoryError: Java heap space问题，因为DB服务器端一次将查询到的结果集全部发送到Java端保存在内存中而造成OOM。

MySQL JDBC需要一条SQL从数据库读取大量数据，而不发生JVM OOM，可以采用以下方法之一：
1、当statement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部份数据，直到所有数据处理完毕，不会发生JVM OOM。

setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);

2、调用statement的enableStreamingResults方法，实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持)，statement以TYPE_FORWARD_ONLY打开，再设置fetch size参数，表示采用服务器端游标，每次从服务器取fetch_size条数据。

故采用如下方式就可以解决OOM问题：

ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
            ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
ps.setFetchSize(Integer.MIN_VALUE);
ps.setFetchDirection(ResultSet.FETCH_REVERSE);