Java流式查询大批量数据

在Java中处理大批量数据的流式查询需根据持久层框架选择不同实现方案，以下是2025年主流技术方案总结：

‌一、MyBatis/MyBatis-Plus实现方案‌

1.使用Cursor对象‌

try (SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.SIMPLE)) {
    LambdaQueryWrapper<Student> wrapper = new LambdaQueryWrapper<>();
    Cursor<Student> cursor = studentMapper.selectCursor(wrapper);
    cursor.forEach(entity -> {
        // 单条数据处理逻辑
    });
}

需配置@Transactional注解并设置事务超时时间，避免长时间占用连接

2.ResultHandler扩展‌

<select id="streamingQuery" resultMap="studentMap" fetchSize="1000">
    SELECT * FROM student WHERE age > #{minAge}
</select>

通过实现ResultHandler接口自定义逐条处理逻辑，需设置合理fetchSize提升性能

‌二、JPA流式方案‌

@QueryHints(value = @QueryHint(name = HINT_FETCH_SIZE, value = "1000"))
@Query("SELECT s FROM Student s WHERE s.age > :minAge")
Stream<Student> streamByAge(@Param("minAge") int minAge);

需在事务边界内使用，处理完成后必须显式关闭Stream释放资源

‌三、原生JDBC方案‌

try (Connection conn = dataSource.getConnection();
     PreparedStatement ps = conn.prepareStatement(
         "SELECT * FROM big_data_table",
         ResultSet.TYPE_FORWARD_ONLY,
         ResultSet.CONCUR_READ_ONLY)) {
    ps.setFetchSize(Integer.MIN_VALUE);
    try (ResultSet rs = ps.executeQuery()) {
        while (rs.next()) {
            // 逐行处理逻辑
        }
    }
}

必须设置ResultSet.TYPE_FORWARD_ONLY和fetchSize=Integer.MIN_VALUE触发流式模式

‌四、注意事项‌

1.连接池配置‌
需使用支持autoCommit=false的池化技术（如HikariCP），避免连接过早归还

2.事务管理‌
建议采用READ_ONLY事务模式，缩短事务持有时间，例：

@Transactional(propagation = Propagation.REQUIRED,
               isolation = Isolation.READ_COMMITTED,
               readOnly = true)

3.资源释放‌
流式处理完成后必须显式关闭ResultSet/Connection，推荐try-with-resources语法

4.性能优化‌

• 设置fetchSize=1000-5000平衡网络传输与内存消耗
• 结合EasyExcel等工具实现边查询边写入，避免全量数据驻留内存

‌五、框架对比‌

方案	适用场景	优点	缺点
MyBatis Cursor	ORM框架集成环境	代码侵入性低，API友好	需注意事务边界控制
JPA Stream	Spring Data JPA项目	声明式接口，类型安全	需处理资源关闭问题
原生JDBC	超大数据量(千万级+)场景	性能最优，资源控制最精细	需手动处理对象映射关系