mysql批量数据处理性能提升

最新推荐文章于 2024-07-26 03:51:06 发布
最新推荐文章于 2024-07-26 03:51:06 发布
阅读量344 收藏
点赞数 1
文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_24084169/article/details/134515487
版权

        目前商户后台、管理后台项目中有很多批处理的功能，mysql提供了一个参数rewriteBatchedStatements，代码上使用bacth处理新增和更新，实际上mysql还是会拆分为多条入库，只是减少了一层循环调用， 实际性能并未提升很大，但是官方也有提供的批量难道只是迷惑人的吗？ 实际上需要参数配置才可以实现高性能的批量插入的性能，减少了IO和DB开销，合并sql为一条，从而达到性能提升。

MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。

如图：10条数据的批量更新，执行930ms


只需要在MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，就能实现高性能的批量插入。

如图：10条数据的批量更新组合成一条完整的SQL，执行430ms

10条数据插入性能提升1倍以上，此场景适用批量导入时数据大提升性能，也需要针对场景数据拼接SQL进行控制，尽量300条以内拆分，自行处理多个List执行Bacth

实践发现：rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL时才会有效提升性能

批量操作场景：INSERT/UPDATE/DELETE 都是有效的，但是要注意：必须是全部属性的SET，即使是不更新的字段也要有值，这里是源自空属性值不更新，导致SQL拼接无效会自动转为单条执行

MaAidan
关注
MySql批量插入性能优化(多值插入)【通用实体服务类TCommonService】
专注于计算机研发知识和资讯分享
02-15 1396
mybatis-plus内置的批量插入方法并不是真正的批量写入，而是通过executeBatch分批提交。 所以想提升批量插入的性能可以采用多值插入。多值插入的方式1: JDBC URL批量处理参数配置， 在mysql连接信息中添加rewriteBatchedStatements=true使得执行效率大幅提升。多值插入的方式2: 通过sql注入器注入InsertBatchSomeColumn方法实现了insert的多值插入，提升了批量插入的性能。通过sql注入器注入InsertBatchSomeColumn
mysql 批量更新及效率对比
09-16
比较集中mysql批量更新的方式，推荐一种效率最高的更新语句写法
mysql批量更新数据性能_mysql 批量更新多条记录的不同值的性能分析
weixin_32022555的博客
01-19 1669
一，mysql批量更新mysql更新语句，更新一条数据的某个字段：UPDATE mytable SET myfield = 'value' WHERE other_field = 'other_value';更新同一字段为同一个值，修改下where即可：UPDATE mytable SET myfield = 'value' WHERE other_field in ('other_values'...
记一次MySQL批量更新SQL优化，性能提升几十个数量级
wumi0002的博客
03-01 7488
一、问题背景 原始需求是这样的，100个计数器硬件设备每隔5秒给服务器上报计数信息，服务端收到消息后先将上报的元数据存储起来，再每隔10s批量对之前上报的所有的元数据按时间段进行批量累加统计更新（题外话，为什么要每隔10s处理一次，而不是上报一次就累加一次？是为了不频繁操作数据库） 二、实现方案 在看实现方案前，我们先看一下表的设计： CREATE TABLE `aps_produce_statistics` ( `produce_id` bigint(20) NOT NULL COMMENT.
mysql批量更新update性能
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
11-17 1004
关于mysql的批量更新 mysql数据批量更新 updateasetb=1whereidin($ids)andid!=$_GET['id']; updateasetb=0whereidnotin($ids)andid!=$_GET['id']; 本回答由网友推荐 mysql 批量更新10000+的数据，有什...
MySQL批量更新操作优化
王仁一的博客
05-30 1126
根据以上理论分析与实际验证，我们找到了一种对批量更新场景的优化方式。
10万条数据下MySQL批量更新6种方式的性能测试.zip
05-11
通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率，并详细记录了每种方法在处理500,1000,5000,10000,50000,100000条数据的平均时间、最小时间和最大时间。包括MyBatis-Plus提供的批量更新,JdbcTemplate...
MYSQL开发性能研究之批量插入数据的优化方法
12-16
批量插入数据是一种常见的优化手段，能够显著提升数据插入的效率。本文主要探讨了在MySQL中如何通过批量插入优化性能，对比了几种不同的批量插入方法，并进行了实验验证。 首先，传统的单条插入方式在面对大量数据...
MySQL批量SQL插入性能优化
12-15
MySQL批量SQL插入性能优化是数据库管理员和开发人员关注的重要议题，尤其是在处理大数据量时。针对描述中的内容，本文将详细探讨几种提升MySQL插入性能的方法，适用于处理报表系统等需要大量数据导入的场景。 1. **...
MySQL批量更新（下) -- 性能对比
Mr.hu
09-13 1313
MySQL批量更新（下) – 性能检测 前言 前面写了批量更新的上篇–四种实现方式，本节对他们的性能进行测试。本次测试 数据库隔离级别 READ-COMMITTED 表总计40万行 每次更新3000行 测试结果 方法一：CASE 指令 – 性能 【消息】：执行成功，当前返回 [3000] 行，耗时 [386ms.] 方法二：Join Update – 性能 【消息】：执行成功，当前返回 [3000] 行，耗时 [247ms.] 可以看出 join 的方式性能优于 case&nbs
mysql三种批量增加的性能分析
12-15
下面把代码写出来,希望大家批评指正. 首先domain对象.在这里使用的注解的方式,都是比较新的版本. User.java 代码如下: package com.bao.sample.s3h4.domain; import javax.persistence.Column; import javax.persistence.Entity; import javax.persistence.GeneratedValue; import javax.persistence.GenerationType; import javax.persistence.Id; import javax.persi
原生mysql的批量更新及性能测试
铁柱的博客
01-13 4268
一、前言       我们在做批量更新的时候，经常会使用到框架的批量更新API，那么原生的mysql要怎么做批量更新呢，下面我们来研究下原生的批量更新以及性能测试。（如果有框架，谁又愿意用原生的呢！！！） mysql环境： mysql> select version(); +-----------+ | version() | +-...
sql中应该尽量使用批量操作来提高效率而不是一条一条操作
codemami的博客
05-09 674
在SQL中，当需要处理大量数据时，使用批量操作（如批量插入、更新或删除）通常比逐条处理数据要高效得多。这是因为批量操作减少了与数据库的交互次数，降低了网络传输的开销，并允许数据库优化内部处理。对于更复杂的批量操作，你可以使用存储过程或事务来确保数据的一致性和完整性。在执行大量数据操作时，考虑使用数据库的批量处理功能（如MySQL的LOAD DATA INFILE或PostgreSQL的COPY命令）。批量操作可能会增加单个SQL语句的复杂性，因此请确保仔细测试以确保性能和准确性。-- ... (更多条件)
高效的批量数据库操作
野狼e族 的博客
08-28 690
高效的批量数据库操作
MySQL提高批量更新性能的方法
一入IT深似海
11-17 983
其中Yj_CPhone有1500万数据，Yj_TempPhone有31万数据，语句执行时间超过半个小时还没有执行完。场景：批量更新A表字段1，条件为B表中的字段2等于A表中的字段2。执行时间为3.185秒。
Mysql批量更新
04stone37
01-07 715
Case1:更新同一字段为同一值 <update id="updateStatusByTableNameAndPartitions"> update migrate_data set update_time = now(), migrate_status = #{migrateSta...
SpringBoot中六种批量更新Mysql 方式效率对比
Java领域优秀创作者
05-10 2752
sql语句for循环效率其实相当高的，因为它仅仅有一个循环体，只不过最后update语句比较多，量大了就有可能造成sql阻塞,同时在mysql的url上需要加上allowMultiQueries=true参数,即 jdbc:mysql://localhost:3306/mysqlTest?characterEncoding=utf-8&allowMultiQueries=true(公司项目不一定加,我们也不一定有权限加)。
Windows中使用MySQL 批处理（五）
weixin_33872660的博客
06-22 246
一、如何批量执行语句 　　1.将脚本存成一个脚本文件，比如company.sql 　　2.执行命令 　　　　mysql -h 主机 -u 用户名 -p <d:\dbdata\company.sql 　　　　Enter password:****** 二、分页显示 　　mysql -h 主机 -u 用户名 -p <d:\dbdata\company.sql | more 三...
mysql 批量插入多少性能性能较好
最新发布
weixin_34229622的博客
07-26 83
MySQL 批量插入性能优化指南 作为一名经验丰富的开发者，我经常被问到如何实现MySQL的批量插入以获得较好的性能。在这篇文章中，我将向刚入行的小白开发者们介绍批量插入的基本流程，以及如何通过一些技巧来优化性能。 批量插入流程 首先，让我们通过一个表格来展示批量插入的基本步骤： 步骤 描述 1 准备数据 ...
Spring Boot批量更新MySQL数据的性能对比分析
资源摘要信息:"本文档详细介绍了在使用Spring Boot框架配合MySQL数据库进行大数据量、高并发环境下的批量更新...对于需要处理大批量数据的人员，了解和掌握这些批量更新的方法和技巧将有助于提升系统的性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值