300 秒到 4 秒,如何将 MySQL 批量写入的耗时缩短 99%?

3C工厂SMT产线设备互联实战:基于C#与OPC UA实现全制程数据追溯 OPC UA作为工业互联的标准协议,在解决多品牌设备互联的问题上有着天然的优势,配合C#强大的工程化开发能力,可以快速搭建稳定可靠的产线数据采集与追溯系统。对于3C行业的SMT产线来说,这套方案开发成本适中、扩展性强,既满足了当下的追溯与监控需求,也为后续的工厂数字化升级打下了基础。后续我们会从两个方向继续深化:一是接入更多工序设备,比如X-RAY检测、分板机,实现全工序数据覆盖;二是引入工艺数据分析算法,基于历史数据优化回流焊温度曲线和贴片机参数,进一步提升良率和生产效率。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

5dd69a6fad6f30431da899e95dc7ba7c.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、ERP、CRM、AI 大模型等等功能:

  • Boot 多模块架构:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 微服务架构:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 17/21 + SpringBoot 3.3、JDK 8/11 + Spring Boot 2.7 双版本 

来源:juejin.cn/post/
7395020728624021513


最近碰到一个场景,从 XML 文件导入 6 万多条数据到 MySQL 中。需求并不复杂,基于 XML 文件和 xlsx 文件的相似性,其实这就是一个老生常谈的数据导入问题。

本文将介绍我如何将导入操作耗时从 300 秒优化到 4 秒。

代码运行的环境

Java 代码在笔记本上运行,MySQL 在局域网内的虚拟机上。

笔记本配置八核 i9 2.3 GHz,16 GB 内存,最近气温偏高,CPU 存在降频现象,对执行耗时有一定影响。

MySQL 数据库运行在 VirtualBox 虚拟机内。虚拟机分配了 4 核 4 GB 内存,但宿主机硬件性能比较羸弱,导致 MySQL 写入耗时较长。

JDK 采用 21 版本,MySQL 采用 8.0 版本。

在这个环境配置下,从 XML 文件中读取一条数据耗时 0.08 秒,向 MySQL 导入一条数据耗时 0.5 秒。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

基础实现的性能

基础实现就是过程式处理方式。

void importData() {
    Document doc = 解析 XML 文件,获取 Document 对象;
    List<Product> products = 从 Document 对象中提取数据,返回集合;
    遍历 products 集合,逐条插入 MySQL;
}

基础代码比较简单,就不详细展示了。本地测试整个流程需要 300 秒。

37d96bb9f3e6115b9369553c3ed33edf.jpeg

其中 parse-xml 和 build-producs 可以合并,统一看作解析 XML 文件,相对于写入 MySQL 的耗时,这部分简直微不足道。

对应内存占用为峰值 656.6 MB。

2391ca82bf806fc1dd922cc884f65122.jpeg

总之,300 秒和 656 MB,就是最初的起点。旅途就此开始。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

从哪个方向开始优化?

很明显,优化 MySQL 写入性能是目前最具性价比的方向,那长达 298.3 秒的耗时简直就是一片尚未开采的富矿,蕴藏着极大的优化空间。

对于写入的优化通常有两个方向:写聚合和异步写。单次写入操作有一定成本,写聚合是指在一次写操作里尽可能多地写入数据,通过减少操作次数来降低成本。异步写是指异步进行写入过程的耗时操作,引入队列作为中转容器,通过减少单次操作的成本来降低总体的成本。

aef304d20e72ea49a1c9859b0d636703.jpeg

写聚合是分批次写入,单批次数据 b 越多,节约的时间成本也越多,但批次太大也会带来内存和带宽上的开销,需要均衡取舍。同时,对于流式数据源,写聚合需要凑齐一批数据统一操作,实时性不如逐条写入。

异步写是将耗时操作移出操作流程,从数据源角度看,总时间成本有所降低。但从系统的角度看,时间成本 = N x (t' + t2),t' 与 t2 之和通常大于 t,总时间成本反而有所增加。

异步写的意义在于可以对流量削峰,通过生产者消费者模型,让消费端可以平滑地处理数据。此外,增加消费者数量,也能通过并发处理的方式来缩短 t2,从而提升系统时间成本。

写聚合和异步写可以组合使用,更进一步缩短时间,提升性能。

开启 MySQL 批处理

对于数据库写入操作,最典型的写聚合莫过于批量处理。单次写入的成本包括网络传输的成本和数据库进程写数据的成本,通过批处理,可以节约大量网络传输成本。

MySQL 本身支持一次请求中包含多条 SQL 语句,JDBC 提供对应的批处理 Batch API。

Connection connection = ...;
// PreparedStatement 可以缓存 SQL 语句,避免多次编译,提高 SQL 语句执行性能
PreparedStatement statement = connection.prepareStatement(sql);
connection.setAutoCommit(false); // 关闭自动提交事务,以批为单位执行事务
for (int i = 0; i < batchSize; i++) {
    statement.setString(...);
    // ...
    // 加入当前批次
    statement.addBatch();
}
// 统一执行命令
statement.executeBatch();
statement.clearBatch();
connection.commit();
// close 相关

主要涉及三个方法:

  • statement.addbatch() ,不立即执行 SQL,将数据添加进当前批,稍后一起执行。

  • statement.executeBatch() ,批量提交 SQL,交给数据库统一执行。

  • statement.clearBatch() ,清空当前批缓存的 SQL,回收内存。

通过多次 addBatch,然后统一 executeBatch,这就是 JDBC 提供的批处理方式。

但是,此处有一个坑,必须开启 rewriteBatchedStatements=true 才能让 JDBC 的 Batch API 生效,否则仍然是以逐条 SQL 的方式执行。对此在 JDBC 连接中添加 &rewriteBatchedStatements=true 选项即可。

rewriteBatchedStatements 用于将包含 INSERT 和 REPLACE 的 SQL 语句合并,比如将多条 insert into t1(c1, c2, c3) values (?, ?, ?) 语句合并到一条语句中,insert into t1(c1, c2, c3) values (?, ?, ?), (?, ?, ?), ...,通过将多条 SQL 合并为一条 SQL 可以提高效率。但我使用这个选项主要是为了开启批处理,重写只是附带的功能。

另一个需要注意的地方是,MySQL 对单次请求的包大小有限制,注意 batchSize 不要太大导致包体积超过上限。通过 max_allowed_packet 可以调整包体积上限,具体可以参考官方文档。

开启 MySQL 批处理后,立竿见影,MySQL 写入耗时降到了 9 秒!

2b95d913969af241b8c69542ac7b3f8c.jpeg

内存开销比较稳定,相较于之前并没有增加。

16229d96e53d3fcfef3c50ffad34d547.jpeg

现在的成绩是 12 秒 673 MB,显著的进步!

为什么一定要开启 rewriteBatchedStatements?

答案在 JDBC 代码中。

我是用的 MySQL 驱动为 8.3.0 版本。在com.mysql.cj.jdbc.ClientPreparedStatement 类中定义了批处理逻辑。

3db335c648b1cb6e5c4892c649e4764d.jpeg

代码中限制了只有开启 rewriteBatchedStatements 才能使用批处理功能。

重复导入的问题

由于是导入数据的场景,可能遇到需要重新导入的情况。重复导入时,如何处理已经存在的数据,有不同做法。

可以在导入前将目标表的数据删除,然后以新导入数据为准。ETL 流程中的临时表常用这种方式。

可以增加一个步骤,区分出新增数据和更新数据,然后分别执行更新和新增,内部仍然可以批处理。

还可以使用 INSERT ... ON DUPLICATE KEY UPDATE 语句兼顾更新和新增两种情况,保证操作的幂等性。

INSERT INTO t1 (a,b,c) VALUES (1,2,3),(4,5,6)
  ON DUPLICATE KEY UPDATE a=VALUES(a), b=VALUES(b), c=VALUES(c);

MySQL 还有另一个 REPLACE INTO 语句,功能相同,特殊之处在于 ORACLE 和 PostgreSQL 也支持 REPLACE INTO,在涉及多种数据库时有利于统一代码。

开启多线程写入

通过开启数据库批处理,我们已经大幅度缩短了耗时,其实已经适合大多数场景的需求了。但还有进一步提升的空间。

通过异步写的方式,可以缩短请求方的等待时间,且可以根据数据量动态调整消费者的数量,这样能在性能和成本之间达到动态均衡。

我使用 Disruptor 并发队列来实现异步写。解析 XML 文件后,将数据入队 Disruptor 提供的队列,并开启了 4 个消费者进行消费。

var disruptor = new Disruptor<>(
        ProductEvent::new,
        16384,
        DaemonThreadFactory.INSTANCE,
        ProducerType.SINGLE,
        new BusySpinWaitStrategy());

var consumers = new SaveDbHandler[4];
for (int i = 0; i < consumers.length; i++) {
    consumers[i] = new SaveDbHandler(i, consumers.length, shutdownLatch);
}
disruptor.handleEventsWith(new SimpleBatchRewindStrategy(), consumers)
        .then(new ClearingEventHandler());
var ringBuffer = disruptor.start();

// 通过 ringBuffer 队列发布数据
for (var it = document.getRootElement().elementIterator(); it.hasNext(); ) {
    var element = it.next();
    if (!StringUtils.hasText(element.elementTextTrim("id"))) {
        continue;
    }
    var product = ObjectMapper.buildProduct(element);
    ringBuffer.publishEvent((event, sequence, buffer) -> event.setProduct(product));
}

Disruptor 4.0 之后,去掉了 worker 相关的 API,一切统一以 EventHandler 来处理。同一数据会被注册到 Disruptor 的所有 EventHandler 获取到,类似广播模式。而我们的场景需要的是争抢模式,为了保证每个消费者只消费自己相关的数据,可以在获取数据时进行判断。

具体做法是为每个 EventHandler 分配一个从 0 开始的序号,每条数据带有一个序号,EventHandler 通过对序号取模的方式判断是否应该丢弃。

@Override
public void onEvent(ProductEvent event, long sequence, boolean endOfBatch) throws Exception, RewindableException {
    if (sequence % numberOfConsumers != ordinal) {
        return;
    }
    try {
        // 设置 statement
        // ...
        statement.addBatch();
        if (endOfBatch) {
            statement.executeBatch();
            statement.clearBatch();
            connection.commit();
        }
    } catch (SQLException e) {
        log.error("[{}] handler error, sequence: {}, endOfBatch:{}", ordinal, sequence, endOfBatch, e);
        try {
            if (connection != null)
                connection.rollback();
        } catch (SQLException se2) {
            log.error("rollback error", se2);
        }
    }
}

Disruptor 4.0 还提供了重新消费的功能。在 Disruptor 内部会对数据分批次,同一批次内的数据支持从头开始重新消费。具体做法是实现 RewindableEventHandler 接口,在需要重新消费时,抛出 RewindableException。

对于批量写数据库的场景,rewind 机制可以用在数据库出现异常的情况,先回滚事务,然后抛出 RewindableException 通知 Disruptor 重传当前批次数据。

通过开启多线程异步写入,将耗时从 12 秒降到了 4.5 秒。虽然不如批处理的效果明显,但以 12 秒为基准,也缩短了 60% 的时间。

c02b9dcae8ce0852f5131940206da499.jpeg

内存方面,由于开启了多线程,每个线程会带来一定的开销,因此峰值内存提升了不少,能否接受就看具体需求场景。

48bfae17d7120be88b2ae311eaf719c5.jpeg

最终成绩,4 秒 1 GB。

进一步的优化方向

优化 XML 解析

我测试的数据量并不大,解析 XML 文件并不是瓶颈。大数据量时,存在一个性能隐患:大量对象带来的内存压力。解决方案也并不复杂,可以采用事件模型来解析 XML 文件。SAX 解析器基于事件驱动,逐行读取 XML,解析为多种事件,开发者可以实现事件处理接口来处理事件。

SAX 的优点在于内存消耗小,适合处理大型 XML 文档。我们可以将事件处理接口作为生产者,获取 Element 并交给 Disruptor 分发。事件模型下每个事件对象存活周期很短,可以节约内存开销。

优化 Disruptor 内存占用

Disruptor 的 batchSize 越大,理论上性能也越高。我将示例代码的 batchSize 从 1024 提升到 16384 后,整体时间能缩短到 3.5 秒。但作为利刃的另一面,大 batch 会导致 Ring Buffer 的体积增大。

Ring Buffer 的大小 = Event 对象内存占用 x batchSize。Disruptor 提供了提前释放内存来优化内存使用的例子:Early release。

优化 MySQL 的写性能

MySQL 的写入优化是一个比较复杂的问题,涉及因素很多。通常的做法是增大 log_buffer(innodb-log-buffer-size)、Buffer Pool(innodb_buffer_pool_size),调整 innodb_flush_log_at_trx_commit 来控制日志刷盘时机。

这次批量写入优化实践的经历对我而言挺有成就感,因此分享出来。我了解了 JDBC Batch 的概念,也学习了 Disruptor 的使用。这种优化方案比较适合批量导入数据的场景。按照惯例,相关代码已经上传 GitHub。

https://github.com/xioshe/xml-to-mysql


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

657abc07f81e1c997e93b1ca70a87b67.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

c8281f5fba92c67b691ac7bae359d6d8.png

cebf3d92941e389e6eef5ae2d89eb5a3.pngd2273af1273dafcfb48f548592e69d8b.pnge3ed53c73dc898137b3edc9fb2c43974.pngc6d1d82bddbe003b80dfcf972b3fe11d.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
LabVIEW 调用MATLAB 进行图像处理的实现 程机械及设备的变形、振动、冲击、粗糙度、刚度和强度等特性,还可用在土木结构、水利设施的变形测量[4][5]。因此,该技术在机械、土木、水利、电器、航空航天、兵器工业及生物医学等领域的检测中具有非常重要的地位。将物面前方空间的散斑用摄像设备记录下来,当物体运动或由于受力而变形时,这些随机分布的散斑图也随之在空间按一定的规律运动,因此能用记录的散斑图在计算机上分析物体的运动和变形,这就是电子散斑技术。当物体的漫反射表面被激光照射时,漫反射的光波在物体表面的前方相互干涉,由于漫反射光的。 阅读详情

相关推荐

树莓派5搭建ROS1开发环境:从系统安装到环境变量配置

本文详细指导如何在树莓派5上搭建ROS1开发环境。针对树莓派OS非标准安装路径导致的常见CMake报错问题,提供了从系统烧录、一键安装ROS到关键环境变量配置的完整解决方案,确保工作空间能成功编译,助力机器人项目开发。

weixin_29159127的博客 389

mysql如何批量添加数据_mysql如何大批量插入数据 mysql大批量插入数据4种方法

本篇文章小编给大家分享一下mysql大批量插入数据4种方法,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。方法一:循环插入这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。大致思维如下(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)for($i=1;$i<=100;$i++){$sql = 'insert.......

weixin_39983912的博客 3204

深入解析MATLAB四旋翼仿真案例asbQuadcopter的核心模块与优化技巧

本文深入解析了MATLAB/Simulink中的四旋翼无人机官方案例asbQuadcopter,详细拆解了其指令、传感器、控制器、本体与环境等核心模块的工作原理。重点探讨了经典的PID双环控制结构、传感器噪声模拟、模型替换方法以及系统化的PID参数调优技巧,旨在帮助用户从“开箱即用”过渡到深度定制与优化,构建更精准的仿真模型。

weixin_29171087的博客 365

mysql 如何快速写入大量数据

在开发过程中可能会遇到需要快速入库大量数据的场景。理论上来说通过批量写入应该能够快速的插入数据,但是实际过程中批量插入速度并不是很理想。接下来介绍一下优化常用的操作。文章主要内容参考介绍MySQL Jdbc驱动的rewriteBatchedStatements参数 - chenjianjx - 博客园。

abments的博客 4351

保姆级教程:用torch.profiler给你的vLLM推理做个“全身体检”(附Perfetto可视化分析)

本文提供了一份详细的vLLM推理性能分析教程,通过torch.profiler和Perfetto工具链实现从数据采集到可视化分析的全流程。文章涵盖了环境配置、性能数据采集、trace文件解析以及Perfetto可视化分析,帮助开发者优化大模型推理服务的性能,显著降低计算资源消耗。

weixin_29041767的博客 360

手把手教你用C语言实现GNSS卫星方位角计算(附RTKLIB风格代码解析)

本文详细介绍了如何使用C语言实现GNSS卫星方位角计算,包括从地固坐标系到站心坐标系的转换链条。通过RTKLIB风格的代码解析,展示了XYZ到ENU坐标转换的核心原理和C语言实现框架,帮助开发者掌握卫星方位角和高度角的计算技巧,适用于GNSS观测数据质量分析和精密定位算法开发。

weixin_30699915的博客 365

mysql 大量写入 优化_优化了MYSQL大量写入问题,老板奖励了1000块给我

摘要:大家提到Mysql的性能优化都是注重于优化sql以及索引来提升查询性能,大多数产品或者网站面临的更多的高并发数据读取问题。然而在大量写入数据场景该如何优化呢?今天这里主要给大家介绍,在有大量写入的场景,进行优化的方案。总的来说MYSQL数据库写入性能主要受限于数据库自身的配置,以及操作系统的性能,磁盘IO的性能。主要的优化手段包括以下几点:1、调整数据库参数(1) innodb_flush_...

weixin_29023079的博客 933

槽型光电开关传感器原理图设计,已量产(光电传感器)

在嵌入式设备的位置限位、物料计数等场景中,槽型光电开关是性价比极高的传感器方案 —— 它通过遮挡发射器与接收器之间的光路实现电平切换,电路简单且抗干扰性优于漫反射式光耦。今天分享一个实际项目中落地的槽型光电开关检测电路,从器件选型到逻辑设计都做了简化适配,适合小批量原型或低成本产品的需求。

不脱发的程序猿 724

Mysql 批量插入大量数据的两种方案以及优缺点(分别是 5W 条数据和 10W 条数据)

Mysql 批量插入大量数据的两种方案以及优缺点(分别是 5W 条数据和 10W 条数据)

qq_41824825的博客 1万+

RK3568平台(camera篇) MPP编码

同芯片的差异,为使用者提供统一的视频媒体处理接口(Media Process Interface,缩写 MPI)。瑞芯微提供的媒体处理软件平台(Media Process Platform,简称 MPP)是适用于瑞芯微芯片系列的。mpi_enc_test 的命令参数中,图像宽度(w)图像高度(h),码流类型(t)为强制要求参数,其他参。视频拷贝,缩放,色彩空间转换,场视频解交织(Deinterlace)数如输入文件(i),输出文件(o),编码帧数(n)等为可选参数。设置一些MPP的模式。

weixin_49303682的博客 7380

【git】git: ‘interpret-trailers’ is not a git command. See ‘git --help’

cents 7.6系统. yum源安装git最新版本是1.8.3 报错: git: 'interpret-trailers' is not a git command. See 'git --help'. cannot insert change-id line in .git/COMMIT_EDITMSG 解决: git add xxx git commit -m "xxx" 然后修改 vim .git/hooks/commit-msg #if test -n "${reviewurl}" ; th

machh的专栏 4760

300 秒到 4 秒,如何将 MySQL 批量写入的耗时缩短 99%

最近碰到一个场景,从 XML 文件导入 6 万多条数据到 MySQL 中。需求并不复杂,基于 XML 文件和 xlsx 文件的相似性,其实这就是一个老生常谈的数据导入问题。本文将介绍我如何将导入操作耗时从 300 秒优化到 4 秒。

m0_73735578的博客 1095

反应动力学仿真软件:Kintecus_(11).数据输入与输出解析

在反应动力学仿真软件的二次开发中,数据输入与输出解析是至关重要的步骤。正确地解析输入数据和生成输出结果不仅能够确保仿真过程的顺利进行,还可以提高仿真的准确性和效率。本节将详细介绍如何在仿真软件中实现数据输入与输出的解析,包括文件格式、数据结构、解析方法以及实际操作示例。

kkchenjj的博客 760

比手动快10倍!MySQL批量插入的5种高效方法

的在线MySQL环境完成的,不用自己搭建数据库就能直接测试各种SQL性能,还能一键部署数据可视化看板,特别适合快速验证技术方案。实测插入1万条数据耗时约8秒,随着数据量增加呈线性增长,到10万条时已经需要近90秒。测试数据方面,用程序自动生成了从1万到100万不同量级的测试数据集,确保每个测试用例的数据完全一致。首先需要准备标准化的测试环境。这种方式减少了网络往返和SQL解析次数,1万条数据只需0.8秒,性能提升约10倍。如果你也在为MySQL插入速度发愁,不妨试试这些方法,选择最适合你业务场景的那一款。

SilvermistFalcon19的博客 1134

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

批量插入10万条数据只要10秒?Python高手都在用的SQLAlchemy优化技巧

提升SQLAlchemy批量插入数据效率的实用技巧,教你如何在10秒内完成10万条数据插入。适用于高并发写入场景,采用bulk_insert_mappings、连接池优化等核心方法,显著降低执行时间。性能提升超80%,值得收藏。

VarChat的博客 715

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

MyBatis批量插入从5分钟优化到3秒,我做了这3件事

优化点关键配置批量SQLforeach拼接,分批1000条JDBC批处理多线程线程数 ≤ 连接池大小核心原则:减少网络往返 + 减少事务次数 + 并行处理。

fuladulu的博客 903

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Java分布式事务性能优化秘籍:如何将提交耗时降低80%?

掌握Java分布式事务性能优化核心技巧,有效降低提交耗时达80%。适用于高并发微服务场景,通过异步化处理、批量提交与连接池优化提升效率。方案稳定可靠,落地性强,值得收藏。

LogicGap的博客 378

Java 与 MySQL 性能优化:Java 实现百万数据分批次插入的最佳实践

MySQL批量插入方案对比与选择 本文对比了三种MySQL批量数据插入方案:Statement.executeBatch()、PreparedStatement批量插入和LOAD DATA批量加载。Statement.executeBatch()实现简单但性能较差,适合小数据量;PreparedStatement通过预编译机制提高了安全性和性能,适合中等规模数据;LOAD DATA则是最高效的大规模数据导入方案,百万级数据仅需9秒。三种方案在性能、内存消耗、安全性和实现复杂度上各有优劣,开发人员应根据数据规

博客 1086

MySQL高效插入数据的最佳实践

原创 码农SharkChili2025年01月08日 08:44福建。

竹林幽深 268

MySQL服务管理效率提升300%的自动化方案

在日常数据库运维中,MySQL服务意外停止是让DBA头疼的常见问题。传统处理方式需要人工登录服务器、查看日志、手动重启,不仅耗时耗力,还可能因响应不及时导致业务中断。经过实践,我总结出一套自动化管理方案,将问题处理效率提升3倍以上,现在把核心思路分享给大家。对于需要持续运行的服务管理场景,这种可视化部署方式比本地测试更接近生产环境。整个过程无需配置复杂的环境变量,特别适合快速验证自动化脚本的可靠性。特别是部署功能,能快速验证服务控制脚本的实际效果。监控脚本是整个系统的眼睛。这套工具的开发过程在。

BlackironLynx23的博客 769

开源流水线实现秒级RPO与99.97%快照可用率

数据备份与快照是现代IT系统高可用架构的核心能力,其本质是通过一致性捕获、增量日志归档和可验证副本生成,保障业务连续性。传统集中式备份套件因I/O路径长、存储快照强耦合、策略僵化等缺陷,难以兼顾速度与可靠性;而基于应用层快照(如pg_basebackup、xtrabackup)与WAL/二进制日志流式捕获的开源流水线方案,将备份解耦为独立自治环节,显著降低RPO至90秒内、提升快照可用率至99.97%。该模式已在PostgreSQL、MySQL等主流数据库生产环境规模化验证,适用于混合负载、x86通用服务器

weixin_30647065的博客 354

Redis高可用架构设计:从单点故障到P99.999%写入保障

Redis作为高性能内存数据库,其高可用并非简单主从或集群部署即可实现,而是涉及复制机制、故障检测、数据一致性与系统级调优的综合工程问题。核心原理在于解决主节点故障时写入不中断、读流量激增时吞吐不塌方、网络分区时数据不丢失三大矛盾。技术价值体现在将P99.99延迟稳定在50ms内、写入成功率提升至99.999%,支撑秒杀、抢券、风控等强实时业务场景。典型应用包括电商库存扣减、金融规则引擎、IoT设备状态缓存等对可用性与一致性有分级要求的系统。本文深入剖析Redis哨兵脑裂边界、Cluster跨slot陷阱及

unixboy 628

Navicat 17 vs 传统工具:数据库管理效率提升300%实测

简单操作(连接/ER图/查询构建)平均节省75%时间- 中等复杂度任务(迁移/批量处理)效率提升68%- 高级功能(调试/协作/自动化)耗时减少82%- 综合10个场景测算,整体效率提升达312%在。

NightshadeRaven21的博客 629
上一篇: MySQL数据实时同步到Elasticsearch的高效解决方案
下一篇: SpringBoot3.4.0 结构化日志详解
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值