一个 MySQL 在线 DDL 工具 — pt-online-schema-change

pt-online-schema-change是一个强大的工具,允许在MySQL数据库中进行在线DDL操作,避免锁定大表导致前端应用受影响。通过创建新表、添加触发器、数据迁移等步骤,它可以安全地修改表结构。使用方法包括指定数据库连接信息、表名、ALTER语句等参数,并能处理外键约束。在阿里云服务器上,可能需要添加--no-version-check参数。安装该工具需要先安装依赖库,然后安装percona-toolkit。

在运维线上MySQL数据库时,我们总会对数据表进行 DDL 变更,修改添加字段或者索引。在对表进行 DDL 时,会锁表,当表比较小比如小于1w上时,对前端影响较小,当时遇到千万级别的表就会影响前端应用对表的写操作。

pt-online-schema-change 是 percona 公司开发的一个工具,在percona-toolkit包里面可以找到这个功能,它是一个在线DDL工具,可以实现在线数据表 DDL 操作。

使用方法

比如需要运行 SQL 的 DDL 语句

ADD COLUMN mode tinyint(4) DEFAULT NULL AFTER status

可以通过如下命令进行

nohup pt-online-schema-change \
	--charset=utf8 \
	--no-version-check \
	--user="数据库用户" \
	--password="数据库密码" \
	--host="数据库地址" \
	P=3306,D="数据库",t="数据表" \
	--alter "ADD COLUMN mode tinyint(4) DEFAULT NULL AFTER status" \
	--execute &

参数说明

--user=        连接mysql的用户名
--password=    连接mysql的密码
--host=        连接mysql的地址
P=3306         连接mysql的端口号
D=             连接mysql的库名
t=             连接mysql的表名
--alter        修改表结构的语句
--execute      执行修改表结构
--charset=utf8 使用utf8编码,避免中文乱码
--no-version-check  不检查版本,在阿里云服务器中一般加入此参数,否则会报错

工作过程

  1. 创建一个和要执行 alter 操作的表一样的新的空表结构(是 alter 之前的结构)

  2. 在新表执行 alter table 语句(速度应该很快)

  3. 在原表中创建触发器 3 个触发器分别对应 insert, update, delete 操作

  4. 以一定块大小从原表拷贝数据到临时表,拷贝过程中通过原表上的触发器在原表进行的写操作都会更新到新建的临时表

  5. Rename 原表到 old 表中,在把临时表 Rename 为原表

  6. 如果有参考该表的外键,根据 alter-foreign-keys-method 参数的值,检测外键相关的表,做相应设置的处理

  7. 默认最后将旧原表删除

安装方法

仅供参考(CentOS 7 验证)

sudo yum install -y perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-Digest-MD5 perl-TermReadKey.x86_64
sudo rpm -ivh percona-toolkit-3.1.0-2.el7.x86_64.rpm

参考资料

pt-online-schema-change

### 使用 `pt-online-schema-change` 进行数据库表结构变更 `pt-online-schema-change` 是一个由 Percona 提供的在线 DDL 工具,专门用于在不影响 MySQL 数据库正常运行的情况下进行表结构变更。它通过创建临时表并逐步迁移数据的方式,实现无锁操作,从而避免了传统 `ALTER TABLE` 命令可能带来的性能问题和锁表现象。以下是如何使用 `pt-online-schema-change` 工具进行数据库表结构变更的详细方法。 #### 1. 安装 `pt-online-schema-change` 工具 `pt-online-schema-change` 是 Percona Toolkit 的一部分,可以通过安装 Percona Toolkit 来获取该工具。在 Linux 系统中,可以通过以下命令安装: ```bash # 对于基于 Debian 的系统 sudo apt-get install percona-toolkit # 对于基于 Red Hat 的系统 sudo yum install percona-toolkit ``` 安装完成后,确保 `pt-online-schema-change` 命令可用。 #### 2. 基本使用方法 `pt-online-schema-change` 的基本命令格式如下: ```bash pt-online-schema-change [OPTIONS] D=database,t=table ``` 其中,`D=database` 指定数据库名称,`t=table` 指定表名,`[OPTIONS]` 是可选参数。 #### 3. 常用参数 - `--alter`: 指定要执行的表结构变更操作,例如添加列、修改列类型、删除列等。 - `--execute`: 表示立即执行变更操作。 - `--no-drop-old-table`: 在执行完成后不删除旧表,通常用于调试或备份。 - `--dry-run`: 模拟执行变更操作,不实际修改数据表。 - `--user` 和 `--password`: 指定数据库连接的用户名和密码。 - `--host`: 指定数据库服务器的地址。 #### 4. 示例:添加字段并修改存储引擎 假设需要将数据库 `test` 中的表 `user` 的存储引擎从 InnoDB 改为 MyISAM,并新增字段 `signup_time`,可以按照以下步骤进行操作。 ##### 步骤1:添加新字段 ```bash pt-online-schema-change \ --alter "ADD COLUMN signup_time DATETIME" \ --execute \ D=test,t=user ``` ##### 步骤2:修改存储引擎 ```bash pt-online-schema-change \ --alter "ENGINE=MyISAM" \ --no-drop-old-table \ --execute \ D=test,t=user ``` #### 5. 注意事项 - **锁表问题**: `pt-online-schema-change` 通过创建临时表并逐步迁移数据的方式,避免了传统 `ALTER TABLE` 命令可能带来的锁表现象。然而,在某些情况下,例如表结构变更涉及大量数据时,仍然可能会对数据库性能产生一定影响。 - **数据一致性**: 在使用 `pt-online-schema-change` 进行表结构变更时,确保数据库的主从复制配置正确,以避免数据不一致的问题。 - **测试环境**: 在生产环境中使用 `pt-online-schema-change` 之前,建议在测试环境中进行充分的验证,以确保变更操作的正确性和安全性。 #### 6. 替代方案 除了 `pt-online-schema-change`,还有一些其他工具可以用于在线表结构变更,例如: - **Online DDL in MySQL 5.6+**: MySQL 5.6 及以上版本引入了在线 DDL 功能,允许在不锁定表的情况下进行某些表结构变更操作。 - **gh-ost**: GitHub 开发的在线表结构变更工具,支持更复杂的变更场景,并提供了更高的灵活性和安全性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值