Percona Xtrabackup实现数据库备份和灾难恢复
1、工具介绍
2、工具安装
3、备份策略及准备测试数据
4、全备份数据
5、增量备份数据
6、灾难恢复
7、总结
1、工具介绍
percona-xtrabackup软件包中中包含了两个工具，一个是xtrabackup，另一个是 innobackupex，innobackupex由perl进行封装，在对innodb表进行备份时会自动调用xtraback工具，所以对 InnoDB表做备份的实际是xtrabackup这个工具，xtrabackup也只能对innodb表做备份，这是一个专门对innodb开发的热备 工具，而对myisam这样的其他引擎的表则由innobackupex来负责备份，若是全备份加增量的方案，那每次增量innobackupex工具对 非innodb表都是全备份且会请求读锁。
xtrabackup对innodb表进行备份时不再只是简单复制文件，而是利用在innodb存储引擎层中的LSN（日志序列号）的新旧来识别这一数据页是否需要备份。
xtraback 工具对innodb引擎完美支持真正的热备份，备份好的数据中数据文件与事务日志的文件因innodb cache等因素的存在，所以备份好的数据和事务日志中的数据往往是不一致的，所以，在做数据恢复时需要把事务日志中已提交的事务做redo，没有提交的 事务做undo操作，这就是在做数据恢复时要做的准备工作，即prepare。
2、工具安装
系统环境：
[root@mariadb ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m
[root@mariadb software]# uname -r
2.6.32-358.el6.x86_64
安装依赖包及percona-xtrabackup：
12 [root@mariadb ~]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
[root@mariadb ~]# rpm -ivh percona-xtrabackup-2.1.9-744.rhel6.x86_64.rpm #安装的2.1.9版本
顺便把percona的工具集装上：
12 [root@mariadb ~]# yum -y install perl-IO-Socket-SSL #percona-toolkit依赖包
[root@mariadb ~]# rpm -ivh percona-toolkit-2.2.13-1.noarch.rpm
3、备份策略及准备测试数据
采用先全备份加增量备份的方案。在利用xtrabackup对innodb表做备份工作时，建议mysql启用 “innodb_file_per_table=1”变量，这样使每表都有一个自己的表空间，不然很难进行单表备份和还原。还有一点建议，二进制日志文件 就不要与数据文件放在同一个目录了，你不想当数据丢失时，二进制日志也一同丢了。
测试数据：
mysql> SELECT VERSION();
+------------+
| VERSION() |
+------------+
| 5.5.36-log |
+------------+
1 row in set (0.00 sec)
mysql> SHOW DATABASES; #创建了一个mydb1数据库
+--------------------+
| Database |
+--------------------+
| information_schema |
| mydb1 |
| mysql |
| performance_schema |
| test |
+--------------------+
mysql> SELECT * FROM mydb1.tb1; #表中只有一条数据
+----+------+------+
| id | name | age |
+----+------+------+
| 1 | tom | 10 |
+----+------+------+
创建备份数据存放目录：
[root@mariadb ~]# mkdir -pv /backup/{fullbackup,incremental}
#fullbackup 存放全备份数据
#incremental 存放增量备份数据
创建复制用户：
mysql> GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO 'bkuser'@'localhost' IDENTIFIED BY '123456';
mysql> FLUSH PRIVILEGES;
4、全备份数据
[root@mariadb ~]# innobackupex --user=bkuser --password=123456 /backup/fullbackup/
#最后出现“150415 16:30:23 innobackupex: completed OK!”这样的信息表示备份完成
[root@mariadb ~]# ls /backup/fullbackup/2015-04-15_16-30-19/
backup-my.cnf mysql xtrabackup_binary xtrabackup_logfile
ibdata1 performance_schema xtrabackup_binlog_info
mydb1 test xtrabackup_checkpoints
[root@mariadb ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 1644877
last_lsn = 1644877
compact = 0
5、增量备份数据
先做一些数据修改：
mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('jack',20);
mysql> SELECT * FROM tb1; #增加一条数据
+----+------+------+
| id | name | age |
+----+------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
+----+------+------+
做第一次增量备份：
[root@mariadb ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/fullbackup/2015-04-15_16-30-19/
[root@mariadb ~]# ls /backup/incremental/2015-04-15_16-42-00/
backup-my.cnf mydb1 test xtrabackup_checkpoints
ibdata1.delta mysql xtrabackup_binary xtrabackup_logfile
ibdata1.meta performance_schema xtrabackup_binlog_info
[root@mariadb ~]# cat /backup/incremental/2015-04-15_16-42-00/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1644877 #这是全备时的"to_lsn"值
to_lsn = 1645178
last_lsn = 1645178
compact = 0
再做数据修改：
mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('jason',30);
mysql> SELECT * FROM tb1;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
+----+-------+------+
做第二次增量备份：
[root@mariadb ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/incremental/2015-04-15_16-42-00/
#这里的"--incremental-basedir"是指向第一次增量备份的目录
[root@mariadb ~]# ls /backup/incremental/2015-04-15_16-49-07/
backup-my.cnf mydb1 test xtrabackup_checkpoints
ibdata1.delta mysql xtrabackup_binary xtrabackup_logfile
ibdata1.meta performance_schema xtrabackup_binlog_info
[root@mariadb ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1645178 #这是第一次增量的"to_lsn"值
to_lsn = 1645463
last_lsn = 1645463
compact = 0
再来做一次数据修改，以便演示根据二进制日志做时间点的恢复：
mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('lucky',40);
mysql> SELECT * FROM tb1;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
| 4 | lucky | 40 |
+----+-------+------+
6、灾难恢复
6.1、数据破坏
[root@mariadb ~]# service mysqld stop
Shutting down MySQL.. SUCCESS!
[root@mariadb ~]# rm -rf /mnt/mydata/data/* #把数据目录数据全部删除
我对于xtrabackup做数据恢复的理解：
xtrabackup做数据恢复与mysqldump这样的逻辑备份工作的恢复有很大的区 别，xtrabackup进行数据恢复时需要把各个增量的数据备份与全备份的数据进行合并，对每次增量备份的合并只能将已提交的事务进行重放 (redo)，对合备份的数据恢复也只能做redo操作，把各个增量都合并完成后再把没有提交的事务进行回滚(undo)操作，合并完增量备份后，全备份 的“xtrabackup_checkpoints”文件中的“last_lsn”应该是最后一次增量备份时的值，这些合并做redo的过程就是恢复数据 前的准备工作（prepare）。
而真正在做数据恢复，建议先把全备和增量备份的文件都copy一份为副本，避免操作失误导致备份文件的损坏。
6.2、数据恢复的准备(prepare)工作
[root@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/
#准备全备份的数据
[root@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-42-00/
#准备第一次增量数据
[root@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-49-07/
#准备第二次增量数据
[root@mariadb ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1645463 #这是最后一次增量备份的位置，到此数据已全部合并
last_lsn = 1645463
compact = 0
159899.png
6.3、真正数据恢复
[root@mariadb ~]# innobackupex --copy-back /backup/fullbackup/2015-04-15_16-30-19/ #仅一个“--copy-back”选项
如果报 main::get_option('datadir') called at /usr/bin/innobackupex line 2442
main::copy_back(0) called at /usr/bin/innobackupex line 1570
innobackupex: Error: no 'datadir' option in group 'mysqld' in server configuration file '' at /usr/bin/innobackupex line 4518.
需要加--defaults-file=my.cnf参数
[root@guoqing mysql]# cat /usr/my.cnf
[mysqld]
server-id=11
relay-log=/var/lib/mysql/slave-relay-bin
datadir=/var/lib/mysql/
replicate-do-db=abc
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
log-bin
innodb_data_home_dir = /var/lib/mysql/
innodb_log_group_home_dir = /var/lib/mysql/
[root@guoqing mysql]#
[root@guoqing ~]# innobackupex -defaults-file=/usr/my.cnf --copy-back /backup/fullbackup/2015-08-27_19-42-55/
468619.png
458615.png
[root@mariadb ~]# ls /mnt/mydata/data/
ibdata1 mydb1 mysql performance_schema test
[root@mariadb ~]# chown -R mysql.mysql /mnt/mydata/data/ #修改恢复数据的属主与属组
356588.png
[root@mariadb ~]# service mysqld start
Starting MySQL.. SUCCESS!
mysql> SELECT * FROM mydb1.tb1; #检查数据
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
+----+-------+------+
#lucky信息还没有恢复
6.4、利用二进制日志文件基于时间点恢复
查看最后一次增量备份时的二进制日志文件及信息：
[root@mariadb ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_binlog_info
mysql-bin.000031 1665
[root@mariadb ~]# mysqlbinlog --start-position=1665 /var/log/mysql_log/mysql-bin.000031 > /tmp/position.sql
#用mysqlbinlog工具导出最后一次增量备份后的sql操作
导入数据：
mysql> source /tmp/position.sql
mysql> SELECT * FROM mydb1.tb1;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
| 4 | lucky | 40 |
+----+-------+------+
#数据全部恢复
7、总结
利用innobackupex工具可对在有混合存储引擎的场景下对数据库进行全备份，当是备份innodb表时innobackupex脚本内部会
自动调用xtrabackup工具来进行备份操作，在数据还原时应停止mysql实例，清空数据目录，然后先做prepare准备工作，第二步才是真正的数据还原（--copy-back），数据还原到数据目录后不要忘记修改数据目录的权限。
当然innobackupex工具也能实现对单库单表的导出、导出，如果是对Innodb表，那建议直接用xtrabackup工具，这样更直观的使用各个选项进行备份。
有一个疑问：
在 做全备份时，innobackupex会去备份非innodb表，在从innobackupex备份时输出结果观察它会“150412 23:17:22 innobackupex: Starting to lock all tables... ”锁定所有的表，不知道这里“锁定所有表”是否包括innodb表？如果会，那xtrabackup就不是真正的热备份工具。
MySQL
1、工具介绍
2、工具安装
3、备份策略及准备测试数据
4、全备份数据
5、增量备份数据
6、灾难恢复
7、总结
1、工具介绍
percona-xtrabackup软件包中中包含了两个工具，一个是xtrabackup，另一个是 innobackupex，innobackupex由perl进行封装，在对innodb表进行备份时会自动调用xtraback工具，所以对 InnoDB表做备份的实际是xtrabackup这个工具，xtrabackup也只能对innodb表做备份，这是一个专门对innodb开发的热备 工具，而对myisam这样的其他引擎的表则由innobackupex来负责备份，若是全备份加增量的方案，那每次增量innobackupex工具对 非innodb表都是全备份且会请求读锁。
xtrabackup对innodb表进行备份时不再只是简单复制文件，而是利用在innodb存储引擎层中的LSN（日志序列号）的新旧来识别这一数据页是否需要备份。
xtraback 工具对innodb引擎完美支持真正的热备份，备份好的数据中数据文件与事务日志的文件因innodb cache等因素的存在，所以备份好的数据和事务日志中的数据往往是不一致的，所以，在做数据恢复时需要把事务日志中已提交的事务做redo，没有提交的 事务做undo操作，这就是在做数据恢复时要做的准备工作，即prepare。
2、工具安装
系统环境：
[root@mariadb ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m
[root@mariadb software]# uname -r
2.6.32-358.el6.x86_64
安装依赖包及percona-xtrabackup：
12 [root@mariadb ~]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
[root@mariadb ~]# rpm -ivh percona-xtrabackup-2.1.9-744.rhel6.x86_64.rpm #安装的2.1.9版本
顺便把percona的工具集装上：
12 [root@mariadb ~]# yum -y install perl-IO-Socket-SSL #percona-toolkit依赖包
[root@mariadb ~]# rpm -ivh percona-toolkit-2.2.13-1.noarch.rpm
3、备份策略及准备测试数据
采用先全备份加增量备份的方案。在利用xtrabackup对innodb表做备份工作时，建议mysql启用 “innodb_file_per_table=1”变量，这样使每表都有一个自己的表空间，不然很难进行单表备份和还原。还有一点建议，二进制日志文件 就不要与数据文件放在同一个目录了，你不想当数据丢失时，二进制日志也一同丢了。
测试数据：
mysql> SELECT VERSION();
+------------+
| VERSION() |
+------------+
| 5.5.36-log |
+------------+
1 row in set (0.00 sec)
mysql> SHOW DATABASES; #创建了一个mydb1数据库
+--------------------+
| Database |
+--------------------+
| information_schema |
| mydb1 |
| mysql |
| performance_schema |
| test |
+--------------------+
mysql> SELECT * FROM mydb1.tb1; #表中只有一条数据
+----+------+------+
| id | name | age |
+----+------+------+
| 1 | tom | 10 |
+----+------+------+
创建备份数据存放目录：
[root@mariadb ~]# mkdir -pv /backup/{fullbackup,incremental}
#fullbackup 存放全备份数据
#incremental 存放增量备份数据
创建复制用户：
mysql> GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO 'bkuser'@'localhost' IDENTIFIED BY '123456';
mysql> FLUSH PRIVILEGES;
4、全备份数据
[root@mariadb ~]# innobackupex --user=bkuser --password=123456 /backup/fullbackup/
#最后出现“150415 16:30:23 innobackupex: completed OK!”这样的信息表示备份完成
[root@mariadb ~]# ls /backup/fullbackup/2015-04-15_16-30-19/
backup-my.cnf mysql xtrabackup_binary xtrabackup_logfile
ibdata1 performance_schema xtrabackup_binlog_info
mydb1 test xtrabackup_checkpoints
[root@mariadb ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 1644877
last_lsn = 1644877
compact = 0
5、增量备份数据
先做一些数据修改：
mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('jack',20);
mysql> SELECT * FROM tb1; #增加一条数据
+----+------+------+
| id | name | age |
+----+------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
+----+------+------+
做第一次增量备份：
[root@mariadb ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/fullbackup/2015-04-15_16-30-19/
[root@mariadb ~]# ls /backup/incremental/2015-04-15_16-42-00/
backup-my.cnf mydb1 test xtrabackup_checkpoints
ibdata1.delta mysql xtrabackup_binary xtrabackup_logfile
ibdata1.meta performance_schema xtrabackup_binlog_info
[root@mariadb ~]# cat /backup/incremental/2015-04-15_16-42-00/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1644877 #这是全备时的"to_lsn"值
to_lsn = 1645178
last_lsn = 1645178
compact = 0
再做数据修改：
mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('jason',30);
mysql> SELECT * FROM tb1;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
+----+-------+------+
做第二次增量备份：
[root@mariadb ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/incremental/2015-04-15_16-42-00/
#这里的"--incremental-basedir"是指向第一次增量备份的目录
[root@mariadb ~]# ls /backup/incremental/2015-04-15_16-49-07/
backup-my.cnf mydb1 test xtrabackup_checkpoints
ibdata1.delta mysql xtrabackup_binary xtrabackup_logfile
ibdata1.meta performance_schema xtrabackup_binlog_info
[root@mariadb ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1645178 #这是第一次增量的"to_lsn"值
to_lsn = 1645463
last_lsn = 1645463
compact = 0
再来做一次数据修改，以便演示根据二进制日志做时间点的恢复：
mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('lucky',40);
mysql> SELECT * FROM tb1;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
| 4 | lucky | 40 |
+----+-------+------+
6、灾难恢复
6.1、数据破坏
[root@mariadb ~]# service mysqld stop
Shutting down MySQL.. SUCCESS!
[root@mariadb ~]# rm -rf /mnt/mydata/data/* #把数据目录数据全部删除
我对于xtrabackup做数据恢复的理解：
xtrabackup做数据恢复与mysqldump这样的逻辑备份工作的恢复有很大的区 别，xtrabackup进行数据恢复时需要把各个增量的数据备份与全备份的数据进行合并，对每次增量备份的合并只能将已提交的事务进行重放 (redo)，对合备份的数据恢复也只能做redo操作，把各个增量都合并完成后再把没有提交的事务进行回滚(undo)操作，合并完增量备份后，全备份 的“xtrabackup_checkpoints”文件中的“last_lsn”应该是最后一次增量备份时的值，这些合并做redo的过程就是恢复数据 前的准备工作（prepare）。
而真正在做数据恢复，建议先把全备和增量备份的文件都copy一份为副本，避免操作失误导致备份文件的损坏。
6.2、数据恢复的准备(prepare)工作
[root@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/
#准备全备份的数据
[root@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-42-00/
#准备第一次增量数据
[root@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-49-07/
#准备第二次增量数据
[root@mariadb ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1645463 #这是最后一次增量备份的位置，到此数据已全部合并
last_lsn = 1645463
compact = 0
159899.png
6.3、真正数据恢复
[root@mariadb ~]# innobackupex --copy-back /backup/fullbackup/2015-04-15_16-30-19/ #仅一个“--copy-back”选项
如果报 main::get_option('datadir') called at /usr/bin/innobackupex line 2442
main::copy_back(0) called at /usr/bin/innobackupex line 1570
innobackupex: Error: no 'datadir' option in group 'mysqld' in server configuration file '' at /usr/bin/innobackupex line 4518.
需要加--defaults-file=my.cnf参数
[root@guoqing mysql]# cat /usr/my.cnf
[mysqld]
server-id=11
relay-log=/var/lib/mysql/slave-relay-bin
datadir=/var/lib/mysql/
replicate-do-db=abc
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
log-bin
innodb_data_home_dir = /var/lib/mysql/
innodb_log_group_home_dir = /var/lib/mysql/
[root@guoqing mysql]#
[root@guoqing ~]# innobackupex -defaults-file=/usr/my.cnf --copy-back /backup/fullbackup/2015-08-27_19-42-55/
468619.png
458615.png
[root@mariadb ~]# ls /mnt/mydata/data/
ibdata1 mydb1 mysql performance_schema test
[root@mariadb ~]# chown -R mysql.mysql /mnt/mydata/data/ #修改恢复数据的属主与属组
356588.png
[root@mariadb ~]# service mysqld start
Starting MySQL.. SUCCESS!
mysql> SELECT * FROM mydb1.tb1; #检查数据
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
+----+-------+------+
#lucky信息还没有恢复
6.4、利用二进制日志文件基于时间点恢复
查看最后一次增量备份时的二进制日志文件及信息：
[root@mariadb ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_binlog_info
mysql-bin.000031 1665
[root@mariadb ~]# mysqlbinlog --start-position=1665 /var/log/mysql_log/mysql-bin.000031 > /tmp/position.sql
#用mysqlbinlog工具导出最后一次增量备份后的sql操作
导入数据：
mysql> source /tmp/position.sql
mysql> SELECT * FROM mydb1.tb1;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | tom | 10 |
| 2 | jack | 20 |
| 3 | jason | 30 |
| 4 | lucky | 40 |
+----+-------+------+
#数据全部恢复
7、总结
利用innobackupex工具可对在有混合存储引擎的场景下对数据库进行全备份，当是备份innodb表时innobackupex脚本内部会
自动调用xtrabackup工具来进行备份操作，在数据还原时应停止mysql实例，清空数据目录，然后先做prepare准备工作，第二步才是真正的数据还原（--copy-back），数据还原到数据目录后不要忘记修改数据目录的权限。
当然innobackupex工具也能实现对单库单表的导出、导出，如果是对Innodb表，那建议直接用xtrabackup工具，这样更直观的使用各个选项进行备份。
有一个疑问：
在 做全备份时，innobackupex会去备份非innodb表，在从innobackupex备份时输出结果观察它会“150412 23:17:22 innobackupex: Starting to lock all tables... ”锁定所有的表，不知道这里“锁定所有表”是否包括innodb表？如果会，那xtrabackup就不是真正的热备份工具。
MySQL
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/24742969/viewspace-1798895/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/24742969/viewspace-1798895/
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
