java 插入大数据量数据到mysql

最新推荐文章于 2024-05-15 00:11:03 发布
原创 最新推荐文章于 2024-05-15 00:11:03 发布 · 654 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种通过 jdbcTemplate 进行批量数据处理的方法，每 150 条记录为一批进行插入操作，同时讨论了如何利用多线程提高处理效率。

1、批量处理（每150条一批）

jdbcTemplate.batchUpdate(insertsql,lists);

2、开启多线程

Java实现百万级数据量向MySQL批量插入
abc_lx123的博客
04-09 3045
Java实现百万级数据量向mysql插入
java csv大数据量导出(千万级别，不会内存溢出)
11-19
java csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
JAVA JDBC大数据量导入Mysql
weixin_30437337的博客
08-17 176
转自https://blog.youkuaiyun.com/q6834850/article/details/73726707?tdsourcetag=s_pctim_aiomsg 采用JDBC批处理（开启事务、无事务） 采用JDBC批处理时需要注意一下几点： 1、在URL连接时需要开启批处理、以及预编译String url = “jdbc:mysql://localhost:3306/Use...
java ：database 大数据量数据的插入/更新操作 solution
huijianpang的专栏
02-12 1301
项目需要有一个批量upload 数据功能，此功能要求批量upload 的数据需要进行业务数据库表的update insert 每一次操作的数据量大约10k，对业务表的操作性能要求比较高，即要以最小的代价影响业务表的使用 使用数据库：sqlserver 2014  语言：java 使用jdbc 的batch 操作，在除了主键以外没有其他索引的情况下，对原数据进行 delete-- in
高效方案：30万条数据插入 MySQL 仅需13秒
芋艿V
05-22 414
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
java—数据库批量插入数据
深夜无眠的博客
05-15 4773
本篇文章将记录几种使用java向mysql数据库中批量插入数据的方法，比如插入1000条，10000条，10万条甚至100万条数据。操作数据库的方式采用Mybatis框架。输入的数据：现数据库有一个student表，表中字段如下：编写student实体类，及其controller和dao层，因为只是插入数据所以不需要加service层。
[转]java的preparedstatment中的addbatch的使用
12-21 2416
java的preparedstatment中的addbatch的使用 jvm：-Xmx1024msize = 1000000，可以插入成功。如果再为size增大一个数量级，还是OutOfMemoryError，这时内存已经不好再增加分配了批量处理本来是为了提高性能，但是太大的数据提交，因为堆的膨胀，堆的寻址会造成性能反而下降。如果是为了事务处理，不妨用个变通的办法，建立
java中JDBC实现往MySQL插入百万级数据的实例代码
08-31
这种方式虽然简单，但当插入数据量较大时，由于每次插入都会产生一次网络通信和数据库的解析、执行、返回结果的过程，所以效率较低。 为了解决这个问题，我们可以利用JDBC的批量处理特性。批量处理允许我们将多个...
精选资源
MySQL大数据量快速插入方法和语句优化
01-31
MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容，接下来我们就来一一介绍，希望能够对您有所收获！插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：连接：（3）发送查询给服务器：...
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
在Java开发中，当需要向MySQL数据库大量插入数据时，使用JDBC的批量处理功能可以显著提高效率。本文将详细讲解如何使用JDBC批量插入10万条数据，并探讨其背后的原理和优化策略。 批量处理在JDBC中主要通过Statement...
Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL
08-27
这种方式广泛应用于数据交换和导入，尤其是在数据量非常大的情况下。 MySQL的LOAD DATAINFILE语句用于高速地从一个文本文件中读取行，并装入一个表中。文件名称必须为一个文字字符串。LOAD DATAINFILE语句的基本...
java，如何处理大批量数据插入
蚂蚁吞象
01-12 6666
由于做公司业务，由于数据量太大，一条条插入数据非常缓慢。（记得是插入60w单表数据，就要半个多小时，处理完后只需要几秒了） 后来，自己操作的是通过拼接sql语句，比如 insertintopersons (name, age) values ("a", 12),("b",13),("c",14)... 这样确实提高了不少效率，比如for循环个几百次然后去执行一次sql语句。（这里sql语句不能过长，否者会内存溢出） 这样可以分批处理，不需要插入一条数据，提交一次事务。 当然，还可以更简便，...
Java如何实现实现50万条数据插入（小霸王电脑11秒完成50万条数据插入MySQL）
qq_47307140的博客
08-26 1932
1.不要偷懒，自带的不一定很适合现有的场景。2.配置连接池：连接池提供了诸多优势，包括性能提升、资源管理、连接可靠性和平滑扩展等，使得应用程序能够更高效地与数据库进行交互。3.索引：在大量数据插入前暂时去掉索引，最后再打上，这样可以大大减少写入时候的更新索引的时间。4.更好的硬件，硬件提升之后，速度肯定会更快。
【转】Java批量导入百万级数据到mysql
mao_mao37的博客
07-04 3683
需求：把一个500M的txt文件导入mysql数据库，数据量大概有几千万。
13 秒插入 30 万条数据，这才是 Java 批量插入正确的姿势！
犬小哈
05-03 1880
来源：blog.youkuaiyun.com/qq_35427589/article/details/129665307???? 欢迎加入小哈的星球，你将获得:专属的项目实战 / Java 学习路线 /一对一提问 / 学习打卡 / 赠书福利新项目:仿小红书(微服务架构)正在更新中... , 全栈前后端分离博客项目 2.0 版本完结啦，演示链接：http://116.62.199.48/。全程手摸手，后端...
java快速插入海量数据
掀衣怒码
04-02 283
依赖jar包 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.16</version> </dependency> java插入工具类 import java.s
Java向mysql批量存储数据_java大批量数据导入（MySQL）
weixin_39967096的博客
01-27 1314
© 版权声明：本文为博主原创文章，转载请注明出处最近同事碰到大批量数据导入问题，因此也关注了一下。大批量数据导入主要存在两点问题：内存溢出和导入速率慢。内存溢出：将文件中的数据全部取出放在集合中，当数据过多时就出现Java内存溢出，此时可通过调大JVM的最大可用内存(Xmx)解决，但终究不是王道。MySQL支持一条SQL语句插入多条记录的操作，并且效率比单条插入快的不是一点点；但是MySQL一次可...
Java怎么实现几十万条数据插入(30万条数据插入MySQL仅需13秒)
热门推荐
write less , do more
03-20 7万+
Java怎么实现几十万条数据插入(30万条数据插入仅需13秒)
JAVA高效率 (秒级) 将千万条数据导入数据库 (已封装工具类)【详解】【一看就懂】
杨大仙
11-03 2万+
最近在导入一个500w+的数据至数据库时，遇到一个异常，相信做大数据应该都有遇到。500w的数据说大不大，说小也不小，既然问题出现了，那么就一定要解决。 异常如下图所示： 所使用的方法在如下链接： MySQL数据库10秒内插入百万条数据 （多字段）【详解】 由于数据通过该方式转换为一条sql，执行读取工作量过于庞大，导致所创建的对象都为强引用，垃圾回收机制无法释放内存，所导致堆内存溢出而造成的异常。 想了一下，虽然通过prepareStatement的addBatch( )方法可以做到.
java连接mysql数据库插入大量数据
最新发布
06-13
### 高效使用Java连接MySQL并插入大量数据的方法与示例代码 在Java中，通过JDBC连接MySQL数据库并高效插入大量数据时，可以采用批量处理的方式。这种方式显著减少了数据库的交互次数，从而提升了性能和效率。以下是一个完整的解决方案，包括关键步骤和优化技巧。 #### 1. 使用PreparedStatement进行批量插入 `PreparedStatement` 是 JDBC 中用于预编译 SQL 语句的对象，它支持批处理操作，能够显著提升插入大量数据的效率[^1]。 ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class BatchInsertExample { public static void main(String[] args) { String url = "jdbc:mysql://localhost:3306/testdb"; String user = "root"; String password = "your_password"; String sql = "INSERT INTO users (username, password) VALUES (?, ?)"; try (Connection conn = DriverManager.getConnection(url, user, password); PreparedStatement pstmt = conn.prepareStatement(sql)) { // 关闭自动提交以手动管理事务 conn.setAutoCommit(false); for (int i = 0; i < 100000; i++) { // 插入10万条数据 pstmt.setString(1, "user" + i); pstmt.setString(2, "password" + i); pstmt.addBatch(); // 每1000条提交一次批处理 if (i % 1000 == 0) { pstmt.executeBatch(); pstmt.clearBatch(); } } // 提交剩余的数据 pstmt.executeBatch(); conn.commit(); // 提交事务 } catch (SQLException e) { System.err.println("Failed to batch insert data into the database."); e.printStackTrace(); } } } ``` #### 2. 事务管理的重要性 为了进一步提高性能，可以通过关闭自动提交模式（`conn.setAutoCommit(false)`）来手动管理事务。这样可以减少每次插入操作后的日志记录开销，从而加快插入速度。 #### 3. 调整MySQL配置以优化批量插入 在处理大量数据时，还需要调整 MySQL 的配置参数以适应高吞吐量的需求。例如，可以增加 `innodb_buffer_pool_size` 和 `bulk_insert_buffer_size` 等参数的值[^3]。 #### 4. 其他优化建议 - **禁用索引**：在插入大量数据之前，可以临时禁用表上的非主键索引，待数据插入完成后重新启用。 - **使用延迟更新日志**：设置 `sync_binlog=0` 来禁用二进制日志的同步写入。 - **批量大小控制**：根据硬件资源和网络条件，合理设置每批次插入的数据量（如1000或5000条）[^2]。 通过上述方法，可以在短时间内完成数十万乃至上百万条数据的高效插入。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值