300 秒到 4 秒,如何将 MySQL 批量写入的耗时缩短 99%?

3C工厂SMT产线设备互联实战:基于C#与OPC UA实现全制程数据追溯 OPC UA作为工业互联的标准协议,在解决多品牌设备互联的问题上有着天然的优势,配合C#强大的工程化开发能力,可以快速搭建稳定可靠的产线数据采集与追溯系统。对于3C行业的SMT产线来说,这套方案开发成本适中、扩展性强,既满足了当下的追溯与监控需求,也为后续的工厂数字化升级打下了基础。后续我们会从两个方向继续深化:一是接入更多工序设备,比如X-RAY检测、分板机,实现全工序数据覆盖;二是引入工艺数据分析算法,基于历史数据优化回流焊温度曲线和贴片机参数,进一步提升良率和生产效率。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

5dd69a6fad6f30431da899e95dc7ba7c.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、ERP、CRM、AI 大模型等等功能:

  • Boot 多模块架构:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 微服务架构:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 17/21 + SpringBoot 3.3、JDK 8/11 + Spring Boot 2.7 双版本 

来源:juejin.cn/post/
7395020728624021513


最近碰到一个场景,从 XML 文件导入 6 万多条数据到 MySQL 中。需求并不复杂,基于 XML 文件和 xlsx 文件的相似性,其实这就是一个老生常谈的数据导入问题。

本文将介绍我如何将导入操作耗时从 300 秒优化到 4 秒。

代码运行的环境

Java 代码在笔记本上运行,MySQL 在局域网内的虚拟机上。

笔记本配置八核 i9 2.3 GHz,16 GB 内存,最近气温偏高,CPU 存在降频现象,对执行耗时有一定影响。

MySQL 数据库运行在 VirtualBox 虚拟机内。虚拟机分配了 4 核 4 GB 内存,但宿主机硬件性能比较羸弱,导致 MySQL 写入耗时较长。

JDK 采用 21 版本,MySQL 采用 8.0 版本。

在这个环境配置下,从 XML 文件中读取一条数据耗时 0.08 秒,向 MySQL 导入一条数据耗时 0.5 秒。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

基础实现的性能

基础实现就是过程式处理方式。

void importData() {
    Document doc = 解析 XML 文件,获取 Document 对象;
    List<Product> products = 从 Document 对象中提取数据,返回集合;
    遍历 products 集合,逐条插入 MySQL;
}

基础代码比较简单,就不详细展示了。本地测试整个流程需要 300 秒。

37d96bb9f3e6115b9369553c3ed33edf.jpeg

其中 parse-xml 和 build-producs 可以合并,统一看作解析 XML 文件,相对于写入 MySQL 的耗时,这部分简直微不足道。

对应内存占用为峰值 656.6 MB。

2391ca82bf806fc1dd922cc884f65122.jpeg

总之,300 秒和 656 MB,就是最初的起点。旅途就此开始。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

从哪个方向开始优化?

很明显,优化 MySQL 写入性能是目前最具性价比的方向,那长达 298.3 秒的耗时简直就是一片尚未开采的富矿,蕴藏着极大的优化空间。

对于写入的优化通常有两个方向:写聚合和异步写。单次写入操作有一定成本,写聚合是指在一次写操作里尽可能多地写入数据,通过减少操作次数来降低成本。异步写是指异步进行写入过程的耗时操作,引入队列作为中转容器,通过减少单次操作的成本来降低总体的成本。

aef304d20e72ea49a1c9859b0d636703.jpeg

写聚合是分批次写入,单批次数据 b 越多,节约的时间成本也越多,但批次太大也会带来内存和带宽上的开销,需要均衡取舍。同时,对于流式数据源,写聚合需要凑齐一批数据统一操作,实时性不如逐条写入。

异步写是将耗时操作移出操作流程,从数据源角度看,总时间成本有所降低。但从系统的角度看,时间成本 = N x (t' + t2),t' 与 t2 之和通常大于 t,总时间成本反而有所增加。

异步写的意义在于可以对流量削峰,通过生产者消费者模型,让消费端可以平滑地处理数据。此外,增加消费者数量,也能通过并发处理的方式来缩短 t2,从而提升系统时间成本。

写聚合和异步写可以组合使用,更进一步缩短时间,提升性能。

开启 MySQL 批处理

对于数据库写入操作,最典型的写聚合莫过于批量处理。单次写入的成本包括网络传输的成本和数据库进程写数据的成本,通过批处理,可以节约大量网络传输成本。

MySQL 本身支持一次请求中包含多条 SQL 语句,JDBC 提供对应的批处理 Batch API。

Connection connection = ...;
// PreparedStatement 可以缓存 SQL 语句,避免多次编译,提高 SQL 语句执行性能
PreparedStatement statement = connection.prepareStatement(sql);
connection.setAutoCommit(false); // 关闭自动提交事务,以批为单位执行事务
for (int i = 0; i < batchSize; i++) {
    statement.setString(...);
    // ...
    // 加入当前批次
    statement.addBatch();
}
// 统一执行命令
statement.executeBatch();
statement.clearBatch();
connection.commit();
// close 相关

主要涉及三个方法:

  • statement.addbatch() ,不立即执行 SQL,将数据添加进当前批,稍后一起执行。

  • statement.executeBatch() ,批量提交 SQL,交给数据库统一执行。

  • statement.clearBatch() ,清空当前批缓存的 SQL,回收内存。

通过多次 addBatch,然后统一 executeBatch,这就是 JDBC 提供的批处理方式。

但是,此处有一个坑,必须开启 rewriteBatchedStatements=true 才能让 JDBC 的 Batch API 生效,否则仍然是以逐条 SQL 的方式执行。对此在 JDBC 连接中添加 &rewriteBatchedStatements=true 选项即可。

rewriteBatchedStatements 用于将包含 INSERT 和 REPLACE 的 SQL 语句合并,比如将多条 insert into t1(c1, c2, c3) values (?, ?, ?) 语句合并到一条语句中,insert into t1(c1, c2, c3) values (?, ?, ?), (?, ?, ?), ...,通过将多条 SQL 合并为一条 SQL 可以提高效率。但我使用这个选项主要是为了开启批处理,重写只是附带的功能。

另一个需要注意的地方是,MySQL 对单次请求的包大小有限制,注意 batchSize 不要太大导致包体积超过上限。通过 max_allowed_packet 可以调整包体积上限,具体可以参考官方文档。

开启 MySQL 批处理后,立竿见影,MySQL 写入耗时降到了 9 秒!

2b95d913969af241b8c69542ac7b3f8c.jpeg

内存开销比较稳定,相较于之前并没有增加。

16229d96e53d3fcfef3c50ffad34d547.jpeg

现在的成绩是 12 秒 673 MB,显著的进步!

为什么一定要开启 rewriteBatchedStatements?

答案在 JDBC 代码中。

我是用的 MySQL 驱动为 8.3.0 版本。在com.mysql.cj.jdbc.ClientPreparedStatement 类中定义了批处理逻辑。

3db335c648b1cb6e5c4892c649e4764d.jpeg

代码中限制了只有开启 rewriteBatchedStatements 才能使用批处理功能。

重复导入的问题

由于是导入数据的场景,可能遇到需要重新导入的情况。重复导入时,如何处理已经存在的数据,有不同做法。

可以在导入前将目标表的数据删除,然后以新导入数据为准。ETL 流程中的临时表常用这种方式。

可以增加一个步骤,区分出新增数据和更新数据,然后分别执行更新和新增,内部仍然可以批处理。

还可以使用 INSERT ... ON DUPLICATE KEY UPDATE 语句兼顾更新和新增两种情况,保证操作的幂等性。

INSERT INTO t1 (a,b,c) VALUES (1,2,3),(4,5,6)
  ON DUPLICATE KEY UPDATE a=VALUES(a), b=VALUES(b), c=VALUES(c);

MySQL 还有另一个 REPLACE INTO 语句,功能相同,特殊之处在于 ORACLE 和 PostgreSQL 也支持 REPLACE INTO,在涉及多种数据库时有利于统一代码。

开启多线程写入

通过开启数据库批处理,我们已经大幅度缩短了耗时,其实已经适合大多数场景的需求了。但还有进一步提升的空间。

通过异步写的方式,可以缩短请求方的等待时间,且可以根据数据量动态调整消费者的数量,这样能在性能和成本之间达到动态均衡。

我使用 Disruptor 并发队列来实现异步写。解析 XML 文件后,将数据入队 Disruptor 提供的队列,并开启了 4 个消费者进行消费。

var disruptor = new Disruptor<>(
        ProductEvent::new,
        16384,
        DaemonThreadFactory.INSTANCE,
        ProducerType.SINGLE,
        new BusySpinWaitStrategy());

var consumers = new SaveDbHandler[4];
for (int i = 0; i < consumers.length; i++) {
    consumers[i] = new SaveDbHandler(i, consumers.length, shutdownLatch);
}
disruptor.handleEventsWith(new SimpleBatchRewindStrategy(), consumers)
        .then(new ClearingEventHandler());
var ringBuffer = disruptor.start();

// 通过 ringBuffer 队列发布数据
for (var it = document.getRootElement().elementIterator(); it.hasNext(); ) {
    var element = it.next();
    if (!StringUtils.hasText(element.elementTextTrim("id"))) {
        continue;
    }
    var product = ObjectMapper.buildProduct(element);
    ringBuffer.publishEvent((event, sequence, buffer) -> event.setProduct(product));
}

Disruptor 4.0 之后,去掉了 worker 相关的 API,一切统一以 EventHandler 来处理。同一数据会被注册到 Disruptor 的所有 EventHandler 获取到,类似广播模式。而我们的场景需要的是争抢模式,为了保证每个消费者只消费自己相关的数据,可以在获取数据时进行判断。

具体做法是为每个 EventHandler 分配一个从 0 开始的序号,每条数据带有一个序号,EventHandler 通过对序号取模的方式判断是否应该丢弃。

@Override
public void onEvent(ProductEvent event, long sequence, boolean endOfBatch) throws Exception, RewindableException {
    if (sequence % numberOfConsumers != ordinal) {
        return;
    }
    try {
        // 设置 statement
        // ...
        statement.addBatch();
        if (endOfBatch) {
            statement.executeBatch();
            statement.clearBatch();
            connection.commit();
        }
    } catch (SQLException e) {
        log.error("[{}] handler error, sequence: {}, endOfBatch:{}", ordinal, sequence, endOfBatch, e);
        try {
            if (connection != null)
                connection.rollback();
        } catch (SQLException se2) {
            log.error("rollback error", se2);
        }
    }
}

Disruptor 4.0 还提供了重新消费的功能。在 Disruptor 内部会对数据分批次,同一批次内的数据支持从头开始重新消费。具体做法是实现 RewindableEventHandler 接口,在需要重新消费时,抛出 RewindableException。

对于批量写数据库的场景,rewind 机制可以用在数据库出现异常的情况,先回滚事务,然后抛出 RewindableException 通知 Disruptor 重传当前批次数据。

通过开启多线程异步写入,将耗时从 12 秒降到了 4.5 秒。虽然不如批处理的效果明显,但以 12 秒为基准,也缩短了 60% 的时间。

c02b9dcae8ce0852f5131940206da499.jpeg

内存方面,由于开启了多线程,每个线程会带来一定的开销,因此峰值内存提升了不少,能否接受就看具体需求场景。

48bfae17d7120be88b2ae311eaf719c5.jpeg

最终成绩,4 秒 1 GB。

进一步的优化方向

优化 XML 解析

我测试的数据量并不大,解析 XML 文件并不是瓶颈。大数据量时,存在一个性能隐患:大量对象带来的内存压力。解决方案也并不复杂,可以采用事件模型来解析 XML 文件。SAX 解析器基于事件驱动,逐行读取 XML,解析为多种事件,开发者可以实现事件处理接口来处理事件。

SAX 的优点在于内存消耗小,适合处理大型 XML 文档。我们可以将事件处理接口作为生产者,获取 Element 并交给 Disruptor 分发。事件模型下每个事件对象存活周期很短,可以节约内存开销。

优化 Disruptor 内存占用

Disruptor 的 batchSize 越大,理论上性能也越高。我将示例代码的 batchSize 从 1024 提升到 16384 后,整体时间能缩短到 3.5 秒。但作为利刃的另一面,大 batch 会导致 Ring Buffer 的体积增大。

Ring Buffer 的大小 = Event 对象内存占用 x batchSize。Disruptor 提供了提前释放内存来优化内存使用的例子:Early release。

优化 MySQL 的写性能

MySQL 的写入优化是一个比较复杂的问题,涉及因素很多。通常的做法是增大 log_buffer(innodb-log-buffer-size)、Buffer Pool(innodb_buffer_pool_size),调整 innodb_flush_log_at_trx_commit 来控制日志刷盘时机。

这次批量写入优化实践的经历对我而言挺有成就感,因此分享出来。我了解了 JDBC Batch 的概念,也学习了 Disruptor 的使用。这种优化方案比较适合批量导入数据的场景。按照惯例,相关代码已经上传 GitHub。

https://github.com/xioshe/xml-to-mysql


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

657abc07f81e1c997e93b1ca70a87b67.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

c8281f5fba92c67b691ac7bae359d6d8.png

cebf3d92941e389e6eef5ae2d89eb5a3.pngd2273af1273dafcfb48f548592e69d8b.pnge3ed53c73dc898137b3edc9fb2c43974.pngc6d1d82bddbe003b80dfcf972b3fe11d.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
Git系列(一)、Git基础教程【建议收藏】 Git一、Git简介1.1、什么是Git? 一、Git简介 1.1、什么是Git? Git是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或大或小的项目。 Git是Linus Torvalds为了帮助管理Linux内核开发而开发的一个开放源代码的版本控制软件。 Git与常用的版本控制工具CVS、Subversion等不同,它采用了分布式版本库的方式,不用服务器端软件支持。 ......... 阅读详情

相关推荐

超详细YOLOv8目标检测全程概述:环境、训练、验证与预测详解

这篇博文提供了一个关于使用YOLOv8进行目标检测的全面指南,包括环境搭建、模型训练、验证和预测的详细步骤,以及如何解释训练过程中生成的各种图表和数据。整篇文章为读者提供了一个关于如何利用YOLOv8进行目标检测的实践指南,从环境搭建到模型部署,再到结果分析,每一部分都给出了详细的步骤和解释。此外,还有对于模型输出的解释,帮助读者更好地理解和使用YOLOv8模型。

CDBmax的博客 10万+

mysql如何批量添加数据_mysql如何大批量插入数据 mysql大批量插入数据4种方法

本篇文章小编给大家分享一下mysql大批量插入数据4种方法,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。方法一:循环插入这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。大致思维如下(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)for($i=1;$i<=100;$i++){$sql = 'insert.......

weixin_39983912的博客 3204

PCB设计实践(三十二)PCB设计遇到大电流时的设计技巧

本文系统阐述10A至数百安培PCB设计的六大关键技术。载流能力优化强调铜厚选择(2-4oz)、线宽计算及并联结构;热管理提出散热孔阵列、铜基板嵌入等方案;布局策略包括功率分区和低阻抗路径设计;材料工艺推荐铝基板、陶瓷基板等高效解决方案;安全设计涵盖电气隔离与保护电路;验证环节需结合热仿真与实测。典型150A电机驱动板案例显示,通过4oz铝基板、散热孔阵列等设计,可实现温升≤45℃的稳定运行。核心在于铜厚线宽协同、主动散热及严格验证。

致力于硬件设计、人工智能知识及技术的分享,不断鞭策自己成长,共同进步! 4236

mysql 如何快速写入大量数据

在开发过程中可能会遇到需要快速入库大量数据的场景。理论上来说通过批量写入应该能够快速的插入数据,但是实际过程中批量插入速度并不是很理想。接下来介绍一下优化常用的操作。文章主要内容参考介绍MySQL Jdbc驱动的rewriteBatchedStatements参数 - chenjianjx - 博客园。

abments的博客 4351

无人机基本组成部件

无人机基本组成部件

qq_37410522的博客 1万+

PTA-浙大版 《Python程序设计》 第三章编程题目及答案

博主第一次写优快云的博客,所以排版上可能有些不尽人意,代码部分均为自己的思路,可能复杂或者考虑欠妥,欢迎大家一起讨论~ 第一题:大于身高的平均值 这里用了np数组求得平均数,当然for循环累加也是可以的 import numpy as np data = input().split() data = list(map(int,data)) avg = np.mean(data) for i in data: if i > avg: print(i,end = '

Legendwqs的博客 1万+

mysql 大量写入 优化_优化了MYSQL大量写入问题,老板奖励了1000块给我

摘要:大家提到Mysql的性能优化都是注重于优化sql以及索引来提升查询性能,大多数产品或者网站面临的更多的高并发数据读取问题。然而在大量写入数据场景该如何优化呢?今天这里主要给大家介绍,在有大量写入的场景,进行优化的方案。总的来说MYSQL数据库写入性能主要受限于数据库自身的配置,以及操作系统的性能,磁盘IO的性能。主要的优化手段包括以下几点:1、调整数据库参数(1) innodb_flush_...

weixin_29023079的博客 933

Ubuntu 24.04 部署 EMQX 5.8 开源版MQTT服务器:从零搭建到实战应用

本文详细指导如何在Ubuntu 24.04系统上部署EMQX 5.8开源版MQTT服务器。内容涵盖从环境准备、安装Erlang、下载安装包到启动服务的完整步骤,并提供了验证服务、配置网络防火墙以及通过WebSocket工具进行基础消息收发的实战方法,帮助用户快速搭建稳定、免费的物联网消息中间件。

weixin_29209825的博客 294

Mysql 批量插入大量数据的两种方案以及优缺点(分别是 5W 条数据和 10W 条数据)

Mysql 批量插入大量数据的两种方案以及优缺点(分别是 5W 条数据和 10W 条数据)

qq_41824825的博客 1万+

【2024遥感应用组一等奖】基于风云四号卫星的小时级大气气溶胶和颗粒物监测

最后,比较AGRI观测反射率和查找表计算的反射率反演得到的1小时分辨率AOD数据。然后,使用广泛应用的MODIS DT和DB产品进行对比,图 5显示了它们逐像元尺度的对比,AGRI LaGA算法可以捕捉亚洲地区AOD高低值空间分布格局,比如南亚次大陆、中南半岛、塔克拉玛干沙漠和华北平原是AOD高值区域(平均AOD高于0.3),中国西北、中国南方、中国东北和韩国地区为AOD中值地区(平均AOD在0.2到0.3之间),北纬45度以上以及日本地区为AOD低值区域(平均AOD小于0.2),与全球平均AOD值接近。

JData_Engineer的博客 376

RK3588部署YOLO模型 包含模型量化+npu轻量化+ubuntu+RGA图像加速和多线程模型加速 包源码

本专栏为深度学习部署全栈学习体系,包含68篇由浅入深的教程,专为零基础学习者设计。内容涵盖TensorRT与RK3588平台部署技术,包含Jetson系列和RK系列硬件部署实战,采用"理论+源码+实战"三位一体的教学模式。学习路径从基础环境搭建到模型优化、容器化部署、多硬件平台适配,最终掌握工业级AI部署能力。特色包括C++基础教学、Docker容器化、INT8量化、多线程优化等核心技术,并附带YOLOv5、人脸检测、车牌识别等多个实战项目源码。适合算法工程师转部署方向、嵌入式开发者及对

FJN110的博客 3733

300 秒到 4 秒,如何将 MySQL 批量写入的耗时缩短 99%

最近碰到一个场景,从 XML 文件导入 6 万多条数据到 MySQL 中。需求并不复杂,基于 XML 文件和 xlsx 文件的相似性,其实这就是一个老生常谈的数据导入问题。本文将介绍我如何将导入操作耗时从 300 秒优化到 4 秒。

m0_73735578的博客 1095

一文整理深度学习【深度学习linux的docker+pytorch+cuda+nvidia-docker+vscode配置】

docker+pytorch+cuda+nvidia-docker+vscode

LetsonH的博客 1337

比手动快10倍!MySQL批量插入的5种高效方法

的在线MySQL环境完成的,不用自己搭建数据库就能直接测试各种SQL性能,还能一键部署数据可视化看板,特别适合快速验证技术方案。实测插入1万条数据耗时约8秒,随着数据量增加呈线性增长,到10万条时已经需要近90秒。测试数据方面,用程序自动生成了从1万到100万不同量级的测试数据集,确保每个测试用例的数据完全一致。首先需要准备标准化的测试环境。这种方式减少了网络往返和SQL解析次数,1万条数据只需0.8秒,性能提升约10倍。如果你也在为MySQL插入速度发愁,不妨试试这些方法,选择最适合你业务场景的那一款。

SilvermistFalcon19的博客 1134

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

批量插入10万条数据只要10秒?Python高手都在用的SQLAlchemy优化技巧

提升SQLAlchemy批量插入数据效率的实用技巧,教你如何在10秒内完成10万条数据插入。适用于高并发写入场景,采用bulk_insert_mappings、连接池优化等核心方法,显著降低执行时间。性能提升超80%,值得收藏。

VarChat的博客 715

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

MyBatis批量插入从5分钟优化到3秒,我做了这3件事

优化点关键配置批量SQLforeach拼接,分批1000条JDBC批处理多线程线程数 ≤ 连接池大小核心原则:减少网络往返 + 减少事务次数 + 并行处理。

fuladulu的博客 903

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Java分布式事务性能优化秘籍:如何将提交耗时降低80%?

掌握Java分布式事务性能优化核心技巧,有效降低提交耗时达80%。适用于高并发微服务场景,通过异步化处理、批量提交与连接池优化提升效率。方案稳定可靠,落地性强,值得收藏。

LogicGap的博客 378

Java 与 MySQL 性能优化:Java 实现百万数据分批次插入的最佳实践

MySQL批量插入方案对比与选择 本文对比了三种MySQL批量数据插入方案:Statement.executeBatch()、PreparedStatement批量插入和LOAD DATA批量加载。Statement.executeBatch()实现简单但性能较差,适合小数据量;PreparedStatement通过预编译机制提高了安全性和性能,适合中等规模数据;LOAD DATA则是最高效的大规模数据导入方案,百万级数据仅需9秒。三种方案在性能、内存消耗、安全性和实现复杂度上各有优劣,开发人员应根据数据规

博客 1086

MySQL高效插入数据的最佳实践

原创 码农SharkChili2025年01月08日 08:44福建。

竹林幽深 268

MySQL服务管理效率提升300%的自动化方案

在日常数据库运维中,MySQL服务意外停止是让DBA头疼的常见问题。传统处理方式需要人工登录服务器、查看日志、手动重启,不仅耗时耗力,还可能因响应不及时导致业务中断。经过实践,我总结出一套自动化管理方案,将问题处理效率提升3倍以上,现在把核心思路分享给大家。对于需要持续运行的服务管理场景,这种可视化部署方式比本地测试更接近生产环境。整个过程无需配置复杂的环境变量,特别适合快速验证自动化脚本的可靠性。特别是部署功能,能快速验证服务控制脚本的实际效果。监控脚本是整个系统的眼睛。这套工具的开发过程在。

BlackironLynx23的博客 769

开源流水线实现秒级RPO与99.97%快照可用率

数据备份与快照是现代IT系统高可用架构的核心能力,其本质是通过一致性捕获、增量日志归档和可验证副本生成,保障业务连续性。传统集中式备份套件因I/O路径长、存储快照强耦合、策略僵化等缺陷,难以兼顾速度与可靠性;而基于应用层快照(如pg_basebackup、xtrabackup)与WAL/二进制日志流式捕获的开源流水线方案,将备份解耦为独立自治环节,显著降低RPO至90秒内、提升快照可用率至99.97%。该模式已在PostgreSQL、MySQL等主流数据库生产环境规模化验证,适用于混合负载、x86通用服务器

weixin_30647065的博客 354

Redis高可用架构设计:从单点故障到P99.999%写入保障

Redis作为高性能内存数据库,其高可用并非简单主从或集群部署即可实现,而是涉及复制机制、故障检测、数据一致性与系统级调优的综合工程问题。核心原理在于解决主节点故障时写入不中断、读流量激增时吞吐不塌方、网络分区时数据不丢失三大矛盾。技术价值体现在将P99.99延迟稳定在50ms内、写入成功率提升至99.999%,支撑秒杀、抢券、风控等强实时业务场景。典型应用包括电商库存扣减、金融规则引擎、IoT设备状态缓存等对可用性与一致性有分级要求的系统。本文深入剖析Redis哨兵脑裂边界、Cluster跨slot陷阱及

unixboy 628

Navicat 17 vs 传统工具:数据库管理效率提升300%实测

简单操作(连接/ER图/查询构建)平均节省75%时间- 中等复杂度任务(迁移/批量处理)效率提升68%- 高级功能(调试/协作/自动化)耗时减少82%- 综合10个场景测算,整体效率提升达312%在。

NightshadeRaven21的博客 629
上一篇: MySQL数据实时同步到Elasticsearch的高效解决方案
下一篇: SpringBoot3.4.0 结构化日志详解
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值