JDBC提高mysql入库的效率！

最新推荐文章于 2023-09-22 19:43:37 发布
原创 最新推荐文章于 2023-09-22 19:43:37 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#jdbc #mysql

通过关闭自动提交机制，将数据库操作批量提交，成功将执行时间从160380ms缩短至5497ms，展示了批量提交对数据库性能优化的影响。

5650条记录，解析加入库居然要160380ms

鬼精灵说他都没用过什么批处理，就是每1w条commit一次。

好吧，那就试试看


改成con.setAutoCommit(false);不自动提交；

时间缩短为：execute time:5497ms


别忘了，con.commit();


JDBC处理批量数据提高效率
极客鼠之家
08-05 1223
在使用 JDBC 前，需要先加载相应的数据库驱动程序，不同的数据库使用的驱动程序不同。使用 Connection 对象的 createStatement() 或 prepareStatement() 方法创建 Statement 或 PreparedStatement 对象，用于执行 SQL 语句。使用 Statement 或 PreparedStatement 对象的 executeQuery() 或 executeUpdate() 方法执行 SQL 语句，返回 ResultSet 或更新的行数。
javaSwing+JDBC+Mysql项目——零食贩卖管理系统
11-07
**JavaSwing、JDBC与MySQL在零食贩卖管理系统中的应用** 本项目是一个基于JavaSwing图形用户界面（GUI）的零食贩卖管理系统，结合了JDBC（Java Database Connectivity）技术与MySQL数据库，实现了全面的增删改查...
JDBC与mysql的性能提升
qty4505861的博客
01-31 741
当我们在使用JDBC查询或操作mysql数据库中的数据时，每当有一条查询语句执行，JDBC便会与数据库建立一次连接，当我们的业务量较大时，频繁的与数据库建立连接，这会十分影响性能。 如何提升性能？ 首先明确，mysql的返回结果机制是，我们查询多少，数据库便返回多少结果，当我们不慎要求返回了某个表的所有结果，可能在java中出现OutofMemory错误，因此我们先限制查询时一次的数目返回值. P...
mysql千万级数据入库，提升插入速度
chichenyin9669的博客
02-28 1373
需求：将文本文件中包含的一千万int型id数据插入mysql中，并求得出现频率最高的前10条。 文本文件：http://pan.baidu.com/s/1gd08g3D。内容是一行一个int型id。 本文只探讨mysql插入速度。‍‍分别从‍‍数据库‍‍和‍‍代码‍‍两方面进行总结。‍‍ ...
关系数据库系统的查询优化
qq_63695668的博客
09-22 179
，小王迷之自信的说：”一切顺利“，随后就打开数据库给领导看，然后他就傻眼了，实际入库的数据量只有预期的二十分之一不到，领导觉得大事不妙，赶紧叫小王把他的代码拿出来看一下，经验丰富的领导一眼就看出了问题所在，原因就在于小王爬取的数据入库效率非常低效，那小王的数据入库是怎么写的呢？其中记录数为测试的插入的数据条数，单条数据插入指的是使用第一种方法插入所需时间，合并数据指的是使用第二种方法插入数据所需的时间。小王程序中数据入库的大致意思就如下代码所示，特点就是一条 insert 插入语句对应爬取的一条数据。
MySQL批量SQL插入性能优化
weixin_34060299的博客
08-06 1409
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。1. 一条SQL语句插入多条数据。常用的插入语句如：INSERT INTO ...
Java jdbc批量多线程读取CVS文件入库
08-25
该操作可以大大提高数据入库的效率，特别是在大数据量的情况下。 知识点： 1.JDBC（Java Database Connectivity）：JDBC是Java语言中的一种数据库连接技术，允许Java程序与数据库进行交互。JDBC提供了统一的数据库...
基于java swing+jdbc+mysql实现的超市购物管理系统实习报告.docx
11-05
达到的目标：能够通过SWING组件实现较为完整的UI，通过JDBC丰富超市内商品，实现商品的增删改等操作，通过对商品入库出库，上架下架等设计，掌握栈、队列等数据结构的使用。 功能要求：设计登录界面以及结算界面。...
java中JDBC实现往MySQL插入百万级数据的实例代码
08-31
在Java开发中，当需要处理大量数据插入到MySQL数据库时，传统的逐条插入方式效率低下，可能导致长时间的等待。为了提高性能，可以采用JDBC的批量处理（Batch Processing）功能。下面将详细介绍如何使用JDBC批量操作...
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（100000），如何提高效率呢?今天小编通过本教程给大家介绍下
mysql 一次插入几万条数据应该怎么做优化
战国墨竹的博客
06-11 1万+
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL InnoDB的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。 1、insert批量执行，禁止单条insert value（注意单条sql长度限制，可临时...
Mysql中几种插入效率的实例对比
IAlexanderI的专栏
01-10 2232
这篇文章通过实例跟大家介绍了Mysql中几种插入方法的效率对比，这其中包括逐条插入、基于事务的批量插入、单条语句一次插入多组数据以及导入数据文件等四种方法的对比，文中通过实例代码介绍很详细，需要的朋友们下来来一起看看吧。       前言 最近因为工作的需要，要在Mysql里插入大量的数据大约1000w，目测会比较耗时。所以现在就像测试一下到底用什么插入数据的方法比较快捷高效。
MySQL批量插入效率优化手记
shellching的专栏
11-13 1万+
在用C++写一段mysql入库代码时，用的connector/c++，使用了PreparedStatement方式单条insert，然后整个插入操作放在事务中，大致如下: begintrans PreparedStatement for(要插入的数据集) { setInt、setString等填充参数 excute() } commit 结果发现效率太低，在一台破虚拟机上每秒不到...
mysql千万级数据库插入速度和读取速度的调整记录
热门推荐
火侬智能科技
12-22 3万+
http://www.111cn.net/database/mysql/43315.htm 一般情况下mysql上百万数据读取和插入更新是没什么问题了，但到了上千万级就会出现很慢，下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。   （1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpo
mysql入库,Mysql 入库性能优化
weixin_35075655的博客
03-23 421
mysql 入库性能优化最近在开发一个数据量比较大的模块，此模块涉及到要把数据存入中间表，因为数据量太大了，无法一次性的加载到内存中分析。关键是分析的结果还要进行分页，排序，因此保存在中间表方便后续操作。曾想把中间结果存到MongoDB，但是数据量太大了，内存耗不起，况且MongoDB 比较适合存放那些原原本本的数据，查询过程中要尽量避免计算，统计等。 在我们现有的架构中，还有Solr和Mysql...
springboot 提高入库效率
最新发布
02-12
Spring Boot 提高数据入库效率是一个常见的需求，特别是在处理大量数据插入、更新等操作时。以下是几种优化策略： ### 1. 批量操作 批量提交可以显著减少数据库连接的次数和事务管理的成本。 - **JPA** 或者 **MyBatis** 等持久层框架都支持批量插入/更新功能。比如，在 JPA 中你可以通过 `EntityManager` 的 `persist()` 和 `flush()` 方法组合使用来进行批量保存。 ```java // 使用 Hibernate 的 SessionFactory 进行批量插入的例子 for (int i = 0; i < entities.size(); ++i) { session.save(entities.get(i)); if (i % batchSize == 0) { // 每到一定的数量就刷新缓存并清理状态 session.flush(); session.clear(); } } ``` ### 2. 数据库配置调整 合理的数据库配置能够提高性能： - 调整 MySQL Innodb 缓冲池大小 (`innodb_buffer_pool_size`)； - 合理设置 JDBC 连接池的最大活跃数、最小空闲数以及最大等待时间等参数。 ### 3. 减少不必要的 ORM 映射开销 对于不需要完整实体映射的情况下，考虑直接采用 SQL 查询代替复杂的 HQL / JPQL；另外也可以选择只加载必要的字段而非整个对象图。 ### 4. 并发异步处理 当有较多独立的数据需要存储时，并发地执行任务能加快整体速度。例如利用 Java8+ 特性的 CompletableFuture 来实现非阻塞式的服务调用。 --- 此外，还需要注意业务场景的特点来综合评估上述方案的效果。同时也要记得监控系统的实际运行状况，以便及时发现问题所在并作出相应改进措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值