xtrabackup备份流程

Xtrabackup介绍

MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具，xtrabakackup有2个工具，分别是xtrabakup、innobakupe。

Percona-xtrabackup是 Percona公司开发的一个用于MySQL数据库物理热备的备份工具，支持MySQL、Percona server和MariaDB，开源免费，是目前较为受欢迎的主流备份工具。xtrabackup只能备份innoDB和xtraDB两种数据引擎的表，而不能备份MyISAM数据表。
优点：
（1）备份速度快，物理备份可靠
（2）备份过程不会打断正在执行的事务（无需锁表）
（3）能够基于压缩等功能节约磁盘空间和流量
（4）自动备份校验
（5）还原速度快
（6）可以流传将备份传输到另外一台机器上
（7）在不增加服务器负载的情况备份数据

（1）innobackupex启动后，会先fork一个进程，用于启动xtrabackup，然后等待xtrabackup备份ibd数据文件；
（2）xtrabackup在备份innoDB数据是，有2种线程：redo拷贝线程和ibd数据拷贝线程。xtrabackup进程开始执行后，会启动一个redo拷贝的线程，用于从最新的checkpoint点开始顺序拷贝redo.log；再启动ibd数据拷贝线程，进行拷贝ibd数据。这里是先启动redo拷贝线程的。在此阶段，innobackupex进行处于等待状态（等待文件被创建）
（4）xtrabackup拷贝完成ibd数据文件后，会通知innobackupex（通过创建文件），同时xtrabackup进入等待状态（redo线程依旧在拷贝redo.log）
（5）innobackupex收到xtrabackup通知后哦，执行FLUSH TABLES WITH READ LOCK（FTWRL），取得一致性位点，然后开始备份非InnoDB文件（如frm、MYD、MYI、CSV、opt、par等格式的文件），在拷贝非InnoDB文件的过程当中，数据库处于全局只读状态。
（6）当innobackup拷贝完所有的非InnoDB文件后，会通知xtrabackup，通知完成后，进入等待状态；
（7）xtrabackup收到innobackupex备份完成的通知后，会停止redo拷贝线程，然后通知innobackupex，redo.log文件拷贝完成；
（8）innobackupex收到redo.log备份完成后，就进行解锁操作，执行：UNLOCK TABLES；
（9）最后innbackupex和xtrabackup进程各自释放资源，写备份元数据信息等，innobackupex等xtrabackup子进程结束后退出。

xtrabackup版本号对应问题

这里有一些值得注意的地方，Percona XtraBackup 8.0不支持备份8.0之前的MySQL版本。由于MySQL 8.0在数据字典、重做日志和撤销日志中引入的更改与之前的版本不兼容。MySQL 8.0.20 redolog文件头发生的变化，Percona XtraBackup 8.0（最高版本8.0.11）与MySQL版本8.0.20或更高版本不兼容。
此外，XtraBackup 版本号与MySQL版本号不是一一对应的，最标准的对应方法要看源码，最顶层目录中有XB_VERSION、MYSQL_VERSION（或VERSION）文件中指定了当前XtraBackup以及支持MySQL版本号。
下面给一组对照关系：

XtraBackup 8.0.11 => MYSQL  8.0.18 => CoralDB-M
XtraBackup 8.0.12 => MYSQL  8.0.20
XtraBackup 2.4.26 => MYSQL  5.7.35 => CoralDB-M57

Xtrabackup安装

可以选择rpm包方式安装，也可以下载源码包编译安装，这里直接采用rpm包的方式进行安装
安装之前要先确保libgcrypt-devel libev-devel perl-DBD-MySQL已经安装

下载地址：https://www.percona.com/downloads

[root@master tools]# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.9/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm
[root@master tools]# yum install -y percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm 
[root@master ~]# rpm -qa |grep xtrabackup
percona-xtrabackup-24-2.4.9-1.el7.x86_64

Xtrabackup工具介绍

运行之前还要安装perl-DBD-MySQL，否则无法使用xtrabackup，Xtrabackup使用会调用perl脚本执行一些与主库同步交互数据的工作，比如版本校验：调用 version_check.pl连接mysqld获取版本号，所使用的依赖就是perl-DBD-MySQL，要yum install perl-DBD-MySQL。

Xtrabackup中主要包含两个工具：
1、xtrabackup：是用于热备innodb，xtradb表中数据的工具，不能备份其他类型的表，也不能备份数据表结构；
2、innobackupex：是将xtrabackup进行封装的perl脚本，提供了备份myisam表的能力。
这里要注意一个问题：
XtraBackup8.0 与 mysql5.7对应的XtraBackup版本的实现机制完全不同，mysql5.7对应的XtraBackup使用的可执行程序是innobackupex，innobackupex是使用perl语言编写的工具，XtraBackup是内嵌在innobackupex的子进程，专门用于innodb存储引擎文件的备份，而innobackupex主体完成其它文件的备份。XtraBackup8.0 直接把innobackupex的功能集成进来，不再使用多进程的方式进行备份，使用多线程方式，好处就是避免了进程间通信。

xtrabackup全量备份与恢复

注意：备份时需启动MySQL,恢复时需关闭MySQL,清空mysql数据目录且不能重新初始化,恢复数据后应该立即进行一次完全备份
备份

innobackupex --user=DBUSER --password=DBUSERPASS --defaults-file=/etc/my.cnf /path/to/BACKUP-DIR/

恢复

innobackupex --apply-log /backups/2018-07-30_11-04-55/
innobackupex --copy-back --defaults-file=/etc/my.cnf  /backups/2018-07-30_11-04-55/

常用选项:
–host 指定主机
–user 指定用户名
–password 指定密码
–port 指定端口
–databases 指定数据库
–incremental 创建增量备份
–incremental-basedir 指定包含完全备份的目录
–incremental-dir 指定包含增量备份的目录
–apply-log 对备份进行预处理操作
一般情况下，在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处理不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。
–redo-only 不回滚未提交事务
–copy-back 恢复备份目录

xtrabackup增量备份与恢复

基于全量备份的增量备份与恢复
做一次增量备份（基于当前最新的全量备份）
innobackupex --user=root --password=root --defaults-file=/etc/my.cnf --incremental /backups/ --incremental-basedir=/backups/2018-07-30_11-01-37
1. 准备基于全量
innobackupex --user=root --password=root --defaults-file=/etc/my.cnf --apply-log --redo-only /backups/2018-07-30_11-01-37
2. 准备基于增量
innobackupex --user=root --password=root --defaults-file=/etc/my.cnf --apply-log --redo-only /backups/2018-07-30_11-01-37 --incremental-dir=/backups/2018-07-30_13-51-47/
3. 恢复
innobackupex --copy-back --defaults-file=/etc/my.cnf /opt/2017-01-05_11-04-55/
解释：
1. 2018-07-30_11-01-37指的是完全备份所在的目录。
2. 2018-07-30_13-51-47指定是第一次基于2018-07-30_11-01-37增量备份的目录，其他类似以此类推，即如果有多次增量备份。每一次都要执行如上操作。

参考：
https://docs.percona.com/percona-xtrabackup/8.0/index.html
https://docs.percona.com/percona-xtrabackup/2.4/index.html
https://www.cnblogs.com/linuxk/p/9372990.html
https://help.aliyun.com/zh/rds/apsaradb-rds-for-mysql/restore-from-backup-files/?spm=a2c4g.11186623.help-menu-26090.d_3_11_1_6.2282b36e67LSDZ
由FTWRL导致的MySQL从库死锁分析及参数深究：https://dbaplus.cn/news-11-1874-1.html