使用jdbc抽取mysql大表数据

问题描述

ResultSet默认会将一次查询的结果存入内存中。如果数据量比较大，就会占用大量的内存。如果内存不够，就会报错。

处理方法

1. 流式处理结果，让驱动每次返回1行数据

   stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,java.sql.ResultSet.CONCUR_READ_ONLY);
   stmt.setFetchSize(Integer.MIN_VALUE);
   

   statement进行java.sql.ResultSet.TYPE_FORWARD_ONLY，java.sql.ResultSet.CONCUR_READ_ONLY和stmt.setFetchSize(Integer.MIN_VALUE)的组合设置，会告诉mysql服务器流式处理返回结果，一行一行的返回数据。这是mysql规定的设置，一开始还搞不懂为啥setFetchSize会是Integer.MIN_VALUE，设置上就完了，这是规定的设置！

   注意：当你使用此方式处理数据时，你必须处理完resultset中的所有数据，或者将resultset关闭后才能使用此连接进行下一次的查询等操作，否则会抛出异常。

2. 使用基于游标的处理，setFetchSize

   conn = DriverManager.getConnection("jdbc:mysql://localhost/?useCursorFetch=true", "user", "123456");
   stmt = conn.createStatement();
   stmt.setFetchSize(100);
   rs = stmt.executeQuery("SELECT * FROM tablename");
   

   此方式需要在url中配置useCursorFetch=true，然后为statement设置setFetchSize大小，告诉服务端一次希望获取多少数据。

参考

https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-reference-implementation-notes.html