使用JdbcTemplate/JDBC流式读取数据库

最新推荐文章于 2025-06-13 16:36:06 发布
最新推荐文章于 2025-06-13 16:36:06 发布
阅读量4.6k 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： DB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sohu_2011/article/details/106437065
本文介绍了如何使用JdbcTemplate结合JDBC原生实现流式读取数据库，重点在于PreparedStatementCreator和RowCallbackHandler的运用，以MySQL为例，展示了手动控制提交的代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

JDBC原生实现

注意MySql中

conn.prepareStatement("select * from table",
                      ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
// 这里因为MySQL驱动实现使用Integer.MIN_VALUE来判断是否使用流的方式
preparedStatement.setFetchSize(Integer.MIN_VALUE);
@Test
public void testCursor() throws ClassNotFoundException, SQLException {
    Class.forName("com.mysql.cj.jdbc.Driver");
    Connection connection = DriverManager
            .getConnection("jdbc:mysql://127.0.0.1:3306/db?useUnicode=true&characterEncoding=utf8&useSSL=false", 
                    "root", "root");
    PreparedStatement preparedStatement =
            connection.prepareStatement("select * from table",
                    ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
    preparedStatement.setFetchSize(Integer.MIN_VALUE);

    ResultSet resultSet = preparedStatement.executeQuery();

    while (resultSet.next()) {
        System.err.println(resultSet.getString("
最低0.47元/天 解锁文章

200万优质内容无限畅学
使用JDBC/MyBatis流式查询，解决大数据量查询程序OOM问题
甘蓝的专栏
04-07 376
使用SQL查询的时候，数据量太大，出现OOM问题。如何处理？试试流式查询！
Java流式读取MySQL数据
weixin_44389063的博客
11-15 3054
优化日常工作 目前工作会出现一个常见的需求，就是把源表的数据读出来经过处理然后写入对应的表 其流程就是 读取=>处理=>写入 但是现在出现的一种情况是源表的数据量过大，经常会出现读数据的时候卡死或者出现oom的问题，所以特地学习了一下关于不使用实时框架去流式读取MySQL，这里推荐阿里开发的一套比较好用的框架druid 废话不多说，开干！！ <dependency> <groupId>com.alibaba</groupId&
JDBC查询大数据时怎么防止内存溢出-流式查询
pyf2533931995的博客
04-26 3446
在使用 JDBC 查询大数据时，由于 JDBC 默认将整个结果集加载到内存中，当查询结果集过大时，很容易导致 JVM 内存溢出的问题。解决办法通常是使用分页查询，但是分页查询越往后要遍历的行数越多，效率越低。除非能够添加索引条件，但这又提高了业务逻辑的复杂度。JDBC的流式查询就是在使用ResultSet对象获取查询结果集的时候，不是把结果集一次性全部加载到内存中，而是分批次读取数据。在jdbc客户端和mysql服务端建立tcp连接后，mysql以包的形式返回数据。
GBase 8a 开发科普：JDBC 流式处理如何实现数据的 “连续流动”？一文讲透
最新发布
weixin_47390342的博客
06-13 207
对于使用java程序对8a进行大批量数据的导出和抽取，往往会导致客户端内存超出或宕机情况出现。原理为：可以通过数据流的方式，逐条从集群获取数据，将数据获取到JDBC应用所在内存中，从而减小大结果集对应用内存的影响。1）不适用流式读取的时候，程序运行2分钟，内存升高到8g左右，还是没有读完数据，命令行没有数据处理的输出，如下图。2）使用流式读取的情况，程序运行1分多钟，就能读完所有数据，如下图。技术社区，南大通用致力于成为用户最信赖的。技术社区，南大通用致力于成为用户最信赖的。原文链接：​​​​​​​。
JDBC流式读取
William_TWG的博客
10-07 4217
业务场景 在做数据库的相关开发的时候，可能有人面对过这些场景，从一个数据库把大数据量读取出来存放到另外一个数据库、做大数据量的报表、将大数据量的数据读取出来推送到接口。 因为是大数据量，所以如果直接读取可能会存在OOM的问题，或者直接卡顿，因为使用JDBC连接数据库读取大数据量时候，所有的数据是直接从数据库服务端加载进入了客户端，所以内存占用过大，而且result.next()方法会阻塞。 解决方式 分页 上面的这种情况或许有人会说，数据量大那可以使用分页的方式，的确，甚至可以使用框架的分页，例
jdbc和mybatis的流式查询使用
我想问问天的专栏
12-18 2093
导语： 有些时候我们所需要查询的数据量比较大，但是jvm内存又是有限制的，数据量过大会导致内存溢出。这个时候就可以使用流式查询， 数据一条条的返回，处理完一条在拿下一条数据，这样每次在内存里面的数据其实很小，不会导致内存溢出。 本文里面会讲到jdbc的流式查询和mybatis的流式查询。 jdbc流式查询： jdbc的流式查询需要在生成PreparedStatement的时候设置三个参数。如下： PreparedStatement stmt = jdbcTemplate.getDataSource().ge
Jdbc如何从PostgreSql读取海量数据？PostgreSql源代码分析纪录
aijia7039的博客
10-16 759
前言： 最近做数据同步，需要从PostgreSql获取数据，发现一旦数据比较多，那么读取的速度非常慢，并且内存占用特别多&GC不掉。 代码样例： 为了方便讲解，下面写了事例代码，从b2c_order获取数据，这个数据表6G左右。 package com.synchro; import java.sql.*; /** * Created by qiu.l...
JDBC 流式读取MySQL表
ChengYanan的博客
06-08 1262
一张MySQL大表，我们希望遍历表中的数据，一般情况下都是一次性读进内存中，这样就会给服务器增大很大的压力，那我们可以不可以流式读取MySQL表呢，就像ElasticSearch的scrollSearch一样的效果。 答案是可以的。 经过看Statement的源码找到了如下片段： /** * We only stream result sets when they are forward-only, read-only, and the * fetch size has been se
oracle jdbc流式读取,在 Oracle Database 适配器中流式传输大型对象数据类型 - BizTalk Server | Microsoft Docs...
weixin_42439576的博客
04-05 1219
Oracle Database 适配器中流式传输大型对象数据类型Streaming large object data types in Oracle Database adapter06/08/2017本文内容用于 Oracle 数据库的 Microsoft BizTalk 适配器Microsoft BizTalk Adapter for Oracle Database支持 (LOB) 数据类型...
spring boot(三) 之 使用JdbcTemplate访问MySQL数据库
子时不睡的博客
07-15 1万+
spring boot(三) 之 使用JdbcTemplate访问MySQL数据库 使用JdbcTemplate之前的准备 为了能使用JdbcTemplate，添加JDBC starter 依赖。 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifact
JDBC链接数据库查询1000万数据并导出execl表格使用多线程和深度分页
2301_79455003的博客
01-05 801
可以连接本地和服务器，本地更快一些，和电脑的性能也有关系。
JDBCTemplate 数据读取机制
JetGeng的专栏
09-04 5475
JDBCTemplate 数据读取一般的读取数据的步骤可以用下图表示：l         确定需要读取的数据：这一步应该是我们程序员关心的重点。他是我们程序的原始需求。l         通知数据库我们的需求：在直接使用JDBC程序这一步主要是分成如下几步来完成的。先注册一个驱动（驱动由不同的厂商或组织实现。对不同的数据库服务器有不同的实现）典型的注册方法：Class.forName("my.sq
jdbc百万数据批量导入，流式读取
沉淀的博客
02-07 5133
Connection connReader = null; Connection connWrite = null; String url = "jdbc:mysql://XX:3306/XX?" + "user=XX&password=XX&useUnicode=true&characterEncoding=UTF8"; Class.forName("com.mysq
JdbcTemplate查询
热门推荐
我的世界我的梦
10-15 1万+
使用JdbcTemplate进行查询时，可以使用queryForXXX()等方法，例如使用queryForInt()方法传回user表格中的数据数目： jdbcTemplate.quertForInt("select count(*) from user"); 也可以使用queryForObject()传回一个查询后的对象，例如传回一个String对象：String name=(String)
JDBC mysql大数据量流式读取
岁月静好
02-04 1万+
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是server端处理太慢。但是在控制台是可以立即返回数据的。于是在应用这边抓包，发现也是发送sql后立即有数
Jdbc流式读取及后续流式处理的正确方式及示例
特别享受思考问题的过程
03-09 2328
JDBC流式读取
JdbcTemplate 查询操作
QWQAWAA的博客
11-21 505
jdbc和mybatis的流式查询使用方法
很多时候犯错都是在不知情的情况下发生的
02-25 676
throwSQLError.createSQLException(Messages.getString("Statement.7"), MysqlErrorNumbers.SQL_STATE_ILLcom.mysql.cj.jdbc.StatementImpl的方法EGAL_ARGUMENT, getExceptionInterceptor());这个时候就可以使用流式查询，数据一条条的返回，处理完一条在拿下一条数据，这样每次在内存里面的数据其实很小，不会导致内存溢出。
JdbcTemplate query查询方法
view1933的专栏
05-18 1万+
JdbcTemplate 中有很多的查询方法，整理几个比较常用的方法。 1、queryFor*方法很好用，简单强大。 2、query查询方法中带有回调接口有三个：ResultSetExtractor、RowCallbackHandler、RowMapper  使用ResultSetExtractor时，一般是直接new ResultSetExtractor()，然后在extractData(R
springboot流式读取DB3
02-26
<think>嗯，用户之前问了关于IK分词器的两种模式，现在转向了Spring Boot流式读取DB。我需要确认用户的需求是什么。首先，用户可能是在处理大数据量时遇到了性能问题，比如内存溢出，或者希望提高数据处理的效率。流式读取通常用于处理大量数据，避免一次性加载到内存中，所以用户可能有这方面的需求。 接下来，我需要考虑用户的技术背景。他们可能已经熟悉Spring Boot和数据库操作，但可能对JDBC的流式处理不太了解，或者在使用过程中遇到了问题。需要解释清楚流式读取的概念、为什么需要它，以及如何在Spring Boot中实现。 用户的问题中的“DB3”可能有拼写错误，应该是“数据库”（database），而不是某种特定的数据库类型，比如SQLite的.db3文件？不过更可能的是用户指的是数据库，所以需要按常规数据库来解释。如果用户确实指的是SQLite，可能需要特别处理，但通常流式读取更多用于关系型数据库如MySQL、PostgreSQL等。 需要分步骤解释如何实现，包括配置数据源、使用JdbcTemplate或Hibernate，以及可能的注意事项，比如事务管理和资源释放。还要提到常见的应用场景，比如数据导出、批量处理和大数据分析，帮助用户理解何时使用流式读取。 另外，用户可能关心性能优化，比如内存占用和响应速度，所以需要强调流式读取如何减少内存压力。同时，要提醒可能的问题，比如游标超时或连接泄漏，确保用户正确管理资源。 最后，是否需要提供代码示例？之前的回答有代码块，所以继续用示例会更好。确保示例是Spring Boot中常见的配置，比如使用JdbcTemplate的query方法，并结合ResultSetExtractor或RowCallbackHandler。 可能还需要对比传统分页查询和流式读取的区别，说明流式读取的优势。比如，分页查询在大数据量时效率低，而流式读取可以持续处理，减少数据库压力。 总结用户的需求：在Spring Boot中高效处理大量数据库记录，避免内存溢出，使用流式读取技术。需要给出实现方法、代码示例、注意事项和应用场景。</think>以下是关于在 **Spring Boot 中流式读取数据库**的详细介绍，重点解决大数据量场景下的内存与性能问题： --- ### **流式读取的核心目标** - **问题背景**： 传统一次性加载全部数据（如 `SELECT * FROM table`）会导致内存溢出（OOM），尤其数据量达到百万级时。 - **流式读取方案**： 逐条/分批从数据库读取数据，处理完立即释放内存，**降低内存占用**，适合大数据导出、ETL 或实时流处理。 --- ### **实现方案对比** | **方案** | 原理 | 优点 | 缺点 | |------------------------|-----------------------------------|--------------------------|------------------------------| | **JDBC 游标流式查询** | 通过 `ResultSet` 逐行读取 | 原生支持，内存占用最低 | 需手动管理连接和事务 | | **分页查询** | 分批按页查询（`LIMIT offset, size`） | 简单易用 | 深分页性能差，数据可能重复 | | **Spring Data JPA 流式** | 使用 `Stream` + Hibernate 流式API | 面向对象，适合 JPA 生态 | 需注意 Session 生命周期 | --- ### **JDBC 流式读取（推荐方案）** #### **1. 配置数据库连接** 在 `application.yml` 中启用游标支持（以 MySQL 为例）： ```yaml spring: datasource: url: jdbc:mysql://localhost:3306/test?useCursorFetch=true username: root password: 123456 hikari: maximum-pool-size: 10 # 控制连接池大小 ``` #### **2. 使用 JdbcTemplate 流式查询** ```java import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.jdbc.core.RowCallbackHandler; public class StreamService { private final JdbcTemplate jdbcTemplate; public StreamService(JdbcTemplate jdbcTemplate) { this.jdbcTemplate = jdbcTemplate; } public void streamData() { String sql = "SELECT id, name, content FROM large_table"; jdbcTemplate.query(sql, (RowCallbackHandler) rs -> { while (rs.next()) { // 逐行处理数据（示例：打印或写入文件） Long id = rs.getLong("id"); String name = rs.getString("name"); String content = rs.getString("content"); processRow(id, name, content); // 自定义处理逻辑 } }); } private void processRow(Long id, String name, String content) { // 实现业务逻辑（如写入 CSV、发送消息队列等） } } ``` #### **3. 使用原生 JDBC 流式（更底层控制）** ```java import java.sql.*; public void nativeStreamRead() throws SQLException { Connection conn = dataSource.getConnection(); conn.setAutoCommit(false); // 关闭自动提交 Statement stmt = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY ); stmt.setFetchSize(Integer.MIN_VALUE); // MySQL 流式标志 ResultSet rs = stmt.executeQuery("SELECT * FROM large_table"); while (rs.next()) { // 逐行处理数据 } rs.close(); stmt.close(); conn.close(); // 显式释放资源 } ``` --- ### **Spring Data JPA 流式读取** 适用于使用 Hibernate 的场景： ```java import org.hibernate.ScrollMode; import org.hibernate.ScrollableResults; import org.hibernate.query.Query; public void jpaStreamRead() { Session session = entityManager.unwrap(Session.class); Query<LargeEntity> query = session.createQuery( "FROM LargeEntity", LargeEntity.class ); try (ScrollableResults<LargeEntity> scroll = query.scroll(ScrollMode.FORWARD_ONLY)) { while (scroll.next()) { LargeEntity entity = scroll.get(); processEntity(entity); // 处理实体 session.evict(entity); // 分离实体，避免缓存堆积 } } } ``` --- ### **关键注意事项** 1. **事务管理**： - 流式查询需保持数据库连接打开至数据处理完成，避免使用 `@Transactional`（可能导致连接过早释放）。 - 若需事务，手动管理 `Connection` 或使用 `TransactionTemplate`。 2. **资源释放**： - 确保关闭 `ResultSet`、`Statement`、`Connection`，防止连接泄漏。 3. **数据库兼容性**： - MySQL：需添加 `useCursorFetch=true` 参数，并设置 `setFetchSize(Integer.MIN_VALUE)`。 - PostgreSQL：默认支持流式，直接使用 `setFetchSize(1000)` 控制批次大小。 4. **性能优化**： - 调整合适的 `fetchSize` 平衡内存与网络开销。 - 避免在循环中进行复杂计算或阻塞操作（如远程调用）。 --- ### **适用场景** - **大数据导出**：将百万级数据生成 Excel/CSV 文件。 - **实时数据管道**：读取数据后直接写入 Kafka 或 Elasticsearch。 - **ETL 处理**：逐行清洗、转换数据并写入目标库。 - **内存敏感环境**：如云函数（Serverless）等资源受限场景。 --- 通过流式读取，可有效解决 Spring Boot 中处理海量数据时的内存瓶颈问题，建议根据数据库类型和业务需求选择合适的实现方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值