第13问:pt-table-checksum 到底会不会影响业务性能?

LLM推理优化实战地图:从应用层到硬件层的三层漏斗法 大语言模型(LLM)推理优化并非简单调参,而是覆盖请求接入、KV缓存管理、逐token生成等全链路的系统工程。其核心原理在于识别计算图、权重与调度策略的协同关系,并在吞吐量、延迟、成本与资源占用之间寻求帕累托最优。技术价值体现在将首字延迟(TTFT)降低50%以上、显存占用压缩35%、吞吐翻倍等可量化收益。典型应用场景包括实时客服(重TTFT)、离线摘要(重吞吐)、边缘设备(重模型体积)及RAG检索(重查询延迟)。本文聚焦真实部署中‘不知从哪下手’‘改了A参数B指标崩了’等高频痛点,基于三层漏斗法——应用层 阅读详情

问题

用 pt-table-checksum 时,会不会影响业务性能?

实验

实验开始前,给大家分享一个小经验:任何性能评估,不要相信别人的评测结果,要在自己的环境上测试,并**(大概)知晓原理**。

我们先建一对主从:

然后用 mysqlslap 跑一个持续的压力:

开另外一个会话,将 master 上的 general log 打开:

然后通过 pt-table-checksum 进行一次比较:

查看 master 的 general log,由于 mysqlslap 的影响,general log 中有很多内容,我们找到与 pt-table-checksum 相关的线程:

将该线程的操作单独列出来:

操作比较多,我们一点一点来说明:

这里工具调小了 innodb 锁等待时间。使得之后的操作,只要在 innodb 上稍微有锁等待,就会马上放弃操作,对业务影响很小。

另外工具调小了 wait_timeout 时间,倒是没有特别的作用。

工具将隔离级别调整为了 RR 级别,事务的维护代价会比 RC 要高,不过后面我们会看到工具使用的每个事务都很小,加上之前提到 innodb 锁等待时间调到很小,对线上业务产生的成本比较小。

RR 级别是数据对比的基本要求。

工具通过一系列操作,了解表的概况。工具是一个数据块一个数据块进行校验,这里获取了第一个数据块的下边界。

接下来工具获取了下一个数据块的下边界,每个 SQL 前都会 EXPLAIN 一下,看一下执行成本,非常小心翼翼。

之后工具获取了一个数据块的 checksum,这个数据块不大,如果跟业务流量有冲突,会马上出发 innodb 的锁超时,立刻退让。

以上是 pt-table-checksum 的一些设计,可以看到这几处都是精心维护了业务流量不受影响。

工具还设计了其他的一些机制保障业务流量,比如参数 --max-load 和 --pause-file 等,还有精心设计的数据块划分方法,索引选择方法等。大家根据自己的情况配合使用即可达到很好的效果。

总结

本期我们介绍了简单分析 pt-table-checksum 是否会影响业务流量,坊间会流传工具的各种参数建议或者不建议使用,算命的情况比较多,大家都可以用简单的实验来分析其中机制。

还是那个观点,性能测试不能相信道听途说,得通过实验去分析。


关于 MySQL 的技术内容,你们还有什么想知道的吗?赶紧留言告诉小编吧!

mysql面试题 面试官想听:理解隐藏字段、undo log版本链、Read View,能说清楚RR和RC的区别。回答MVCC 是多版本并发控制的缩写,主要用在 InnoDB 等存储引擎中,目的是实现读不阻塞写、写不阻塞读,提升并发性能。它的核心思想是:每次修改数据时不覆盖旧数据,而是生成一个新版本,读操作根据事务的启动时间或 Read View 选择可见的版本。面试官想听:主键索引就是聚簇索引,二级索引是非聚簇索引,回表的概念和代价。回答聚簇索引(主键索引):叶子节点存储整行数据。 阅读详情

相关推荐

技术文档工程化规范:角色标注、动作三要素与决策快照

技术文档是软件协作的隐性契约,其质量直接决定信息转译效率与执行可靠性。从基础概念看,规范本质是降低认知负荷的结构化表达系统;原理上需锚定读者角色、动作条件与验收标尺三大维度;技术价值在于将模糊指令转化为可验证、可逆、可审计的工程资产;典型应用场景覆盖API文档、故障排查指南、部署Checklist及功能接入说明等所有需被他人执行的技术内容。本文聚焦【角色标注】与【动作三要素】两大核心热词,提供可嵌入CI流程、适配多角色认知层级、支持环境变量注入的轻量级落地框架。

weixin_34211761的博客 391

checksum什么作用_第13问:pt-table-checksum 到底会不会影响业务性能?

问题用 pt-table-checksum 时,会不会影响业务性能?实验实验开始前,给大家分享一个小经验:任何性能评估,不要相信别人的评测结果,要在自己的环境上测试,并(大概)知晓原理。我们先建一对主从:然后用 mysqlslap 跑一个持续的压力:开另外一个会话,将 master 上的 general log 打开:然后通过 pt-table-checksum 进行一次比较:查看 master ...

weixin_35888209的博客 287

如何利用东南大学齿轮箱数据集进行故障诊断?从数据采集到模型训练全流程解析

本文详细解析如何利用东南大学齿轮箱数据集进行故障诊断,涵盖从数据采集到模型训练的全流程。通过信号预处理、特征工程构建及多种机器学习模型对比,帮助开发者高效实现工业设备健康管理。特别适合希望将AI技术应用于工业场景的Python开发者。

m2n3b4v5c6的博客 378

pt-table-checksum使用总结

1、pt-table-checksum概述 pt-table-checksum是Percona-Toolkit工具集中的一个组件,是一个检查主从复制一致性的工具,通过在主库上执行检查语句可以在线检查MySQL主从数据的一致性。它通过指定选项连接指定服务器实例,可以通过指定条件过滤库级别或表级别,每次检查一张表,所以不需要大量的内存和多余操作。即使是非常大的表也可以运行良好,这主要是因为pt-table-checksum可以将表划分为多个chunk,根据checksum query运行的时间来调整c..

qq_40770026的博客 2245

STM32实战篇:使用USART发送/接收数据

在发送字符时也可以直接使用其对应的ASCLL码,例如: USART_SendData(USART1, 0x61);

qq_74114817的博客 596

有限差分法地震数据正演模拟(二)

正演模拟,是在地球物理勘探研究中,根据地质体的形状、产状和物性数据,通过构造数学模型计算得到其理论值(数学模拟),或通过构造实体模型来观测模型所产生的地球物理效应的数值(物理模拟)。p(t+1,x,z)即为下一时刻的波长信息,该波动方程的意义就是通过前一时刻(p(t-1,x,z))和现在时刻(p(t,x,z))预测下一时刻波的传播情况。声波波动方程:反应声波的传播规律,描述最简单的波现象的方程,p代表波场信息,v表示速度场信息因为速度只与速度场有关,所以只与x,z有关。其结果也可以作为反演的验证。

weixin_46285501的博客 3939

Pt-table-checksum原理浅析

本文永久地址: http://fuxkdb.com/2017/11/24/Pt-table-checksum%E5%8E%9F%E7%90%86%E6%B5%85%E6%9E%90/Pt-table-checksum原理浅析主库建一个表node1> create table fan(id int) engine=innodb; Query OK, 0 rows affected (0.12 sec

FaN() 1594

企业级Windows 10镜像封装实战:从规划到部署的完整指南

系统部署与镜像封装是企业IT运维中的核心基础技术,其原理在于通过创建预配置的系统模板,实现大规模计算机环境的快速、标准化部署。这项技术的核心价值在于将重复性手动操作转化为自动化流程,显著提升运维效率,保障环境一致性,并强化安全基线管理。在实际应用场景中,它尤其适用于新设备批量初始化、系统恢复和标准化环境构建。本文聚焦于Windows 10镜像的封装实践,深入探讨了使用Sysprep进行系统通用化处理以及通过DISM工具捕获WIM格式镜像的具体方法,为企业IT人员提供从零构建标准化系统镜像的完整路径。

weixin_33843947的博客 357

pt-table-checksum校验mysql主从数据一致性

主从数据的一致性校验是个头疼的问题,偶尔被业务投诉主从数据不一致,或者几个从库之间的数据不一致,这会令人沮丧。通常我们仅有一种办法,热备主库,然后替换掉所有的从库。这不仅代价非常大,而且类似治标不治本的方案,让人十分不安。因此我们需要合适的工具,至少帮我们回答下面三个问题: 是从库延迟导致了用户看到的数据不一致,还是真的主从数据就不一致? 如果不一致,这个比例究竟多大? 下次还...

weixin_30586257的博客 245

基于STM32L4XX、HAL库的GC9307 TFT 液晶驱动IC驱动程序设计

GC9307是一款常用的TFT液晶驱动IC,支持240x320分辨率的RGB接口显示屏。(Master Out Slave In): 连接到STM32L4的SPI数据输出引脚(如PA7)(Serial Clock): 连接到STM32L4的SPI时钟引脚(如PA5)(Data/Command): 连接到STM32L4的GPIO引脚(如PA3)(Chip Select): 连接到STM32L4的GPIO引脚(如PA4)(Reset): 连接到STM32L4的GPIO引脚(如PA2): 分别连接到电源和地。

zhusl6688的博客 1037

出现Command ‘vim‘ is available in the following places,vim: command not found等解决方法

内置命令无法识别,说明系统变量有误,导致无法识别,既然系统变量有误,将其注释或者更改为正确的即可,但是现在打不开,又怎么注释掉。替换vim来打开编辑,打开之前错误的全局变量文件,发现变量有误,要么注释要么改为。系统变量有全局变量(通过命令行printenv或者echo)和局部变量。对应通过vim修改错误的变量文件,不然source也无法让配置文件生效。本身vim是系统内置的命令,连vim都出现问题。修改为正确的即可,之后还需要重启服务器,使用。之后即可成功,通过即可查看命令是否有写入。...

码农研究僧的博客 5884

关于Tcp包出现CheckSum incorrect的问题

        今天同事在做NEC测试的时候发现两个设备不能正常工作,通过抓包发现包的Tcp层中出现下面的错误:        CheckSum: 0xe719 [Incorrect, should be 0xc2f8 (maybe caused by "TCP checksum offload"?)]        在网上搜寻了很久,各种说法都有。但比较普遍的看法是因为网卡帮助Tcp协议

家辉自留地 2万+

在Windows10上安装WSL2

WSL2是微软提供的Windows子系统,允许在Windows 10和11上运行Linux环境,提供更好的性能和兼容性。安装WSL2需要启用WSL功能、更新系统、安装WSL2内核,并设置为默认版本。之后,可以通过Microsoft Store安装Linux发行版,并使用WSL命令启动和管理它们。

howard2005的专栏 5943

pt-online-schema-change工具锁机制分析及降低用户影响的优化参数

pt-osc 通过触发器和分批次拷贝机制,显著降低了锁表时间,仅在表切换时产生极短的阻塞。通过合理配置参数(如chunk-sizemax-load)和遵循最佳实践(如低峰期操作、主键检查),可进一步减少对用户操作的影响。对于超大规模表或高并发场景,建议结合主从架构和灰度发布策略,分阶段完成分区操作。

学亮编程手记 966

【软件测试】人工智能(AI)在软件测试领域的应用

AI在软件测试领域的应用使测试过程更加自动化、高效和智能。它可以帮助测试团队减轻负担,更快地识别和修复问题,最终提高软件的质量和可靠性。随着AI技术的不断进步,未来AI在软件测试领域的应用将更加广泛和深入。

weixin_46453070的博客 4387

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

使用pt工具校验修复主从

使用pt工具校验主从一致性并修复 【原理说明】 pt-table-checksum是 Percona-Toolkit 的组件之...

cuanjian2673的博客 865

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

python写数据库校验_mysql主从数据一致性校验及纠错工具

目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员,假如你生产环境上部署了mysql系统,再假如你线上的mysql是基于主从复制的架构,那恭喜你,它将可能会带给你主从数据不一致的"恶运"。由于mysql复制架构原生特性,主从服务器上的数据不可能做”同步“复制,所以延...

weixin_39556811的博客 479

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

mysql 一致性校验_mysql主从数据一致性校验及纠错工具

目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员,假如你生产环境上目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员,假如你生产环...

weixin_33291720的博客 297

mysql主从数据一致性怎么校验_mysql主从数据一致性校验及纠错工具

目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员,假如你生产环境上目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员,假如你生产环...

weixin_36057013的博客 829

mysql主从数据一致性校验及纠错工具

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34253539的博客 151

MLOps生产落地:构建可信、可观测、可回滚的模型服务

机器学习模型部署不是终点,而是进入生产环境持续交付的新起点。其核心在于将模型视为具备健康状态、行为契约与业务语义的系统组件,而非静态代码包。这要求突破传统CI/CD局限,建立覆盖数据契约、模型行为、服务接口的三阶门禁机制;依托Kubernetes实现资源隔离与确定性调度;并构建包含输入质量、预测稳定性、业务影响与系统性能的四维监控体系。通过可验证的数据分布校验(如KL散度)、数值稳定性测试(Golden Dataset比对)和语义化错误码契约,确保模型在真实业务流中输出确定性价值。本文聚焦金融反欺诈等高敏场

weixin_30896825的博客 310

MySQL Binlog深度解析:从数据恢复到主从复制与实时数据流处理

在数据库管理与数据架构领域,日志系统是保障数据一致性与可靠性的核心技术基础。其核心原理在于记录数据库的所有变更操作,形成可追溯的事件序列,为数据恢复和同步提供底层支持。这一机制的技术价值不仅体现在灾难恢复时的数据回滚能力,更是构建高可用架构、实现实时数据分发的基石。在应用场景上,它支撑着数据库主从复制、跨系统数据同步、实时分析管道等关键业务。本文聚焦MySQL的二进制日志(Binlog),深入探讨其作为**数据恢复**与**主从复制**核心引擎的实现细节,涵盖ROW/STATEMENT/MIXED三种格式的

weixin_30387799的博客 359

多维聚合实战:补齐填充对齐压缩四步法

多维聚合是BI与数据分析的核心能力,本质是构建完整、一致、可计算的业务空间坐标系,而非简单分组求和。其技术难点在于保障维度组合完整性、处理时间序列对齐、应对稀疏性爆炸,并支撑同比环比等跨窗口计算。关键原理包括:用权威维度表+GENERATE_SERIES实现全集补齐,按业务语义分级填充(如LAG IGNORE NULLS前向填充),在最细粒度完成时间对齐以避免聚合失真,以及通过哈希分桶+键值存储实现稀疏矩阵压缩。这些方法直接解决销售漏斗分析、用户行为路径建模、实时大屏等高频场景中的NULL缺失、性能雪崩与口

weixin_30924087的博客 441

MySQL面试核心知识点与实战技巧解析

SQL作为关系型数据库的标准查询语言,其核心原理基于集合论与关系代数。在MySQL等数据库系统中,查询优化器通过索引(B+树结构)和缓存机制提升性能,事务特性(ACID)确保数据一致性。实际开发中,GROUP BY与HAVING的时序差异、JOIN类型的选择策略直接影响查询效率,而EXPLAIN执行计划分析是定位性能瓶颈的关键工具。本文结合高频面试考点,详解索引优化、事务隔离级别等核心技术,并分享慢查询日志分析等工程实践方法,帮助开发者掌握MySQL在电商、金融等场景下的高性能应用方案。

weixin_33802505的博客 574
上一篇: 技术分享 | 回顾 MySQL 的 MTS
下一篇: 技术分享 | 用好 MySQL 的 MRR 优化器
爱可生开源社区
博客等级 码龄8年 1937粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值