一个 MySQL 在线 DDL 工具 — pt-online-schema-change

Mysql在线DDL工具 一 背景 在实际生产应用中,经常会有mysql表结构修改的场景,涉及到的表数据量大,如果直接修改,锁表时间过长,影响正常业务。因此,寻求通过在线DDL工具进行表结构修改。 这里选择了常用的2个在线DDL工具gh-ost 和pt-online-schema-change进行测试。 二 gh-ost 是github贡献的一款online DDL工具。大致原理如下 1 根据原表新建一个临时... 阅读详情

在运维线上MySQL数据库时,我们总会对数据表进行 DDL 变更,修改添加字段或者索引。在对表进行 DDL 时,会锁表,当表比较小比如小于1w上时,对前端影响较小,当时遇到千万级别的表就会影响前端应用对表的写操作。

pt-online-schema-change 是 percona 公司开发的一个工具,在percona-toolkit包里面可以找到这个功能,它是一个在线DDL工具,可以实现在线数据表 DDL 操作。

使用方法

比如需要运行 SQL 的 DDL 语句

ADD COLUMN mode tinyint(4) DEFAULT NULL AFTER status

可以通过如下命令进行

nohup pt-online-schema-change \
	--charset=utf8 \
	--no-version-check \
	--user="数据库用户" \
	--password="数据库密码" \
	--host="数据库地址" \
	P=3306,D="数据库",t="数据表" \
	--alter "ADD COLUMN mode tinyint(4) DEFAULT NULL AFTER status" \
	--execute &

参数说明

--user=        连接mysql的用户名
--password=    连接mysql的密码
--host=        连接mysql的地址
P=3306         连接mysql的端口号
D=             连接mysql的库名
t=             连接mysql的表名
--alter        修改表结构的语句
--execute      执行修改表结构
--charset=utf8 使用utf8编码,避免中文乱码
--no-version-check  不检查版本,在阿里云服务器中一般加入此参数,否则会报错

工作过程

  1. 创建一个和要执行 alter 操作的表一样的新的空表结构(是 alter 之前的结构)

  2. 在新表执行 alter table 语句(速度应该很快)

  3. 在原表中创建触发器 3 个触发器分别对应 insert, update, delete 操作

  4. 以一定块大小从原表拷贝数据到临时表,拷贝过程中通过原表上的触发器在原表进行的写操作都会更新到新建的临时表

  5. Rename 原表到 old 表中,在把临时表 Rename 为原表

  6. 如果有参考该表的外键,根据 alter-foreign-keys-method 参数的值,检测外键相关的表,做相应设置的处理

  7. 默认最后将旧原表删除

安装方法

仅供参考(CentOS 7 验证)

sudo yum install -y perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-Digest-MD5 perl-TermReadKey.x86_64
sudo rpm -ivh percona-toolkit-3.1.0-2.el7.x86_64.rpm

参考资料

pt-online-schema-change

MySQL 在线 DDL 工具之 pt-online-schema-change 为了解决这个问题,Percona Toolkit 提供了一个强大的工具,称为 pt-online-schema-change,它可以在不锁定表的情况下修改表结构,从而避免对数据库的影响。总结来说,pt-online-schema-change 是一个强大的 MySQL 在线 DDL 工具,可以在不锁定表的情况下对表结构进行修改。需要注意的是,pt-online-schema-change 不支持所有的 ALTER TABLE 语句,某些复杂的操作可能无法通过该工具来执行。如果不想使用默认的表名,可以使用。 阅读详情

相关推荐

Linux云服务器上搭建《僵尸毁灭工程》私服全流程指南(避坑版)

本文详细介绍了在Linux云服务器上搭建《僵尸毁灭工程》私服的全流程指南,包括环境准备、SteamCMD安装、游戏服务器部署、内存优化配置及高级调优技巧。特别针对常见问题提供解决方案,帮助玩家快速搭建稳定的私服环境。

solidity8miner的博客 606

mysql 数据库-----免费在线使用(个人开发)

个人学习 python 的django 刚好找到免费的mysql 数据库,其他的会比较慢且提供的容量少。

weixin_44854422的博客 2711

3D医学影像分割新突破:手把手教你用MedSAM2快速标注CT/MRI数据(附3D Slicer插件配置)

本文详细介绍了如何利用MedSAM2模型进行3D医学影像分割,包括从环境准备到3D Slicer插件配置的全流程。通过实战案例和技巧分享,帮助医疗从业者快速掌握CT/MRI数据的高效标注方法,提升医学影像分析的准确性和效率。

ujm5678901的博客 304

Mysql 数据库免费使用

由于工作需要现在打算学习WPF开发,因为需要访问mysql数据,但是又不想在自己电脑上安装。于是就上网试着查了下,发现果然有提供免费数据库服务的网站。nice!所以就打算写一篇文章详细记录一下,供大家参考。这个网站实在太良心了,完美解决私有mysql服务器部署麻烦、客户端安装麻烦等问题!

m0_46043168的博客 6182

网络抓包实战:如何捕获与解析802.1Q VLAN标签报文

在网络通信中,数据包是信息传输的基本单元,而VLAN(虚拟局域网)技术通过在数据链路层插入802.1Q标签,实现了网络流量的逻辑隔离与高效管理。其核心原理是在标准以太网帧头中嵌入4字节的VLAN标识,使交换机能够根据VID(VLAN ID)进行精准转发。掌握VLAN报文的捕获与解析技术,对于网络故障排查、安全审计和性能优化具有重要价值,尤其在需要验证网络隔离策略或诊断Trunk链路异常时。本文聚焦于使用Wireshark工具,结合端口镜像等实操方法,详细演示如何抓取并解读携带802.1Q标签的原始报文,帮助

weixin_33417488的博客 385

FPGA实战:从零构建eMMC控制器(Verilog篇)

本文详细介绍了如何使用Verilog从零构建FPGA上的eMMC控制器,涵盖eMMC接口基础、命令系统解析、关键模块设计及性能优化技巧。通过实战案例,帮助开发者掌握高速数据存储解决方案,提升嵌入式系统开发能力。

weixin_26802933的博客 298

免费在线SQL运行环境(工具)

目录 Netstat 简述 常见参数 netstat -ano netstat -ano | findstr "端口号" Netstat 简述 Netstat 命令用于显示各种网络相关信息,如网络连接,路由表,接口状态 (Interface Statistics),masquerade 连接,多播成员 (Multicast Memberships) 等等。 Netstat是控制台...

蚩尤后裔-汪茂雄 1万+

传输线的特征阻抗

信号源内阻与所接传输线的特性阻抗大小相等且相位相同,或传输线的特性阻抗与所接负载阻抗的大小相等且相位相同,分别称为传输线的输入端或输出端处于阻抗匹配状态,简称为阻抗匹配。否则,便称为阻抗失配。有时也直接叫做匹配或失配。指一个电路输入端的等效阻抗。在输入端上加上一个电压源U,测量输入端的电流I,则输入阻抗Rin就是U/I。可以把输入端想象成一个电阻的两端,这个电阻的阻值,就是输入阻抗。- 对于电压驱动的电路,输入阻抗越大,则对电压源的负载就越轻,因而就越容易驱动,也不会对信号源有影响;

学海无涯的专栏 4469

实用!5个在线 SQL 数据库环境

文章目录SQL FiddleDB Fiddledb<>fiddleSQL OnlineOracle Live SQL总结大今天给大家分享几个在线的免费 SQL 运行环境,也就...

SeizeeveryDay的博客 1526

【人工智能论文发表】基于医学病例文本和多模态大模型的医疗影像分割方法研究

摘要:本研究提出MMS-Former,一种基于级联多模态Transformer的文本引导医学图像分割框架。该模型创新性地将临床文本信息深度融入图像分割全过程,通过SwinUNETR提取视觉特征,ClinicalBERT编码病历文本,并在解码器的每个上采样阶段通过交叉注意力模块实现多级文本特征融合。实验表明,相比纯视觉模型,MMS-Former在Dice系数和IoU指标上分别提升3%以上,在处理边界模糊目标时表现尤为突出。模型还设计了结合Dice损失和图文对比损失的复合目标函数,确保分割精度与语义对齐。代码实

u012133341的博客 143

【WRF理论第十九期】内陆湖泊、水体的处理方式

【WRF理论第十九期】内陆湖泊、水体的处理方式

WW、forever的博客 359

MySQL 在线 DDL 工具:pt-online-schema-change

在数据库管理中,数据定义语言(DDL)操作,如 `CREATE`、`ALTER` 和 `DROP`,是进行数据库结构修改的关键。然而,传统的 DDL 操作在执行时可能会对数据库性能产生显著影响,尤其是对于在线服务的系统来说,可能会导致长时间的锁表或性能下降。因此,如何在不中断服务的情况下完成这些操作,成为了数据库管理员(DBA)亟待解决的难题。幸运的是,Percona 提供了一个强大的在线 DDL 工具 —— **`pt-online-schema-change`**。

1694

Cadence OrCAD Capture 保持元器件编号情况复制元件,复制后元器件编号与复制前不同的问题解决

如下图所示复制时,已经勾选了“Preserve reference on copy”但是复制后的编号却与复制前不一样。本文简单介绍其原因及解决方法。

fydar的博客 3166

Mysql5.6 借助工具pt-online-schema-change在线DDL(还有加索引)

MySQL在线ddl会阻塞所有insert,可以使用percona-toolkit中的pt-online-schema-change工具来对表进行online。 D=tpcctest 数据库名 t=customer 表名 [root@localhost bin]# ./pt-online-schema-change -u root -h127.0.0.1 -proot  --alter=

关注系统性能调优 2043

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

[资料收集]MySQL在线DDL工具pt-online-schema-change

MySQL在线DDL工具pt-online-schema-change pt-online-schema-change使用说明(未完待续) 官网

weixin_34005042的博客 102

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

mysql ddl工具_【转】MySQL在线DDL工具pt-online-schema-change

原理pt-online-schema-change模拟了MySQL内部alter table的方式,但是其操作所更新的是复制表,所以原表不会被锁住。其原理我们通过示例进行解读:shell> pt-online-schema-change –nocheck-replication-filters –recursion-method=none –alter “add newcol int” h=...

weixin_39955825的博客 271

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

MySQL在线DDL实战:pt-online-schema-change工具详解与不停机表结构修改指南

pt-online-schema-change(简称PT-OSC)是Percona Toolkit工具包中的一个重要组件,专门用于MySQL数据库的在线表结构变更操作。Percona Toolkit是一套由Percona公司开发和维护的高级命令行工具集,旨在帮助数据库管理员(DBA)和开发者更高效地管理MySQL和MariaDB数据库。PT-OSC的核心功能是在不锁定原始表或导致业务停机的情况下,安全地执行ALTER TABLE操作,例如添加、修改或删除列,调整索引,或更改表引擎类型。

zuiyuelong的博客 1447

MySQL在线DDL工具pt-online-schema-change

mysql5.6中虽然引进了online DDL的功能,但是因为支持不够全面而且部分操作还是会阻塞DML语句,所以OSC还是相当有必要的 mysql online DDL原理:http://blog.youkuaiyun.com/hubo890224/article/details/50465818 原理 pt-online-schema-change模拟了MySQL内部alter ta

hubo890224的专栏 958

MySQL 在线DDL工具 pt-online-schema-change

1、下载解压 wget percona.com/get/percona-toolkit.tar.gz tar -zxvf percona-toolkit.tar.gz 2、安装 yum install perl-DBD-MySQL perl Makefile.PL  如遇如下错误 则先执行一下这句      yum install perl-Ex

李轮清的博客 677

db2 删除schema中所有表_详解一款mysql在线DDL操作不锁表工具--pt-online-schema-change...

概述作为DBA,我们也常常会碰到这样的需求:需要在不影响线上业务的情况下给表添加一个字段或索引。如果是一张只有几百或几千条记录的小表,这样的需求是非常容易解决的。但如果所管理的表数据量已经上亿、而且应用与数据库交互非常频繁,不允许停机窗口的出现,这样的需求又该如何满足?大多数的alter table操作都会涉及lock-->copy to new table-->rename--&gt...

weixin_39585691的博客 382

Online DDL 和PT-OSC怎么选择

pt-osc无论是什么DDL SQL,都会新建新表来替换,不分DDL类型,但是执行期间允许DDL操作,而ONLINE DDL则分为了好几类DDL,有的DDL仅需修改元数据,有的DDL仅需在本身ibd文件上新建索引页,有的需要rebuild table,这三种类型执行期间支持DML操作,但是COPY TABLE 类型不支持DML操作。 如果MySQL版本是5.6之前,不支持online ddl操作的,pt-online-schema-change是一个非常好的选择; 如...

AF 398

mysql 外键(foreign key)的详解和实例_mysql在线DDL操作--pt-online-schema-change使用、限制与比较...

概述在 mysql 5.5 版本以前,修改表结构如添加索引、修改列,需要锁表,期间不能写入,对于大表这简直是灾难。从5.5特别是5.6里,情况有了好转,支持Online DDL,pt-online-schema-change是Percona-toolkit一员,通过改进原生ddl的方式,达到不锁表在线修改表结构。1、pt-osc工作过程1)创建一个和要执行 alter 操作的表一样的新的空表结构(...

weixin_39915171的博客 328
上一篇: 使用中间件记录Laravel慢请求
下一篇: ModStart:拥抱新技术,率先支持 Laravel 9.0
ModStartCMS
博客等级 码龄5年 28粉丝 209原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值