目录
3.7.3、xtrabackup的命令innobackupex使用
3.7.4、xtrabackup之备份、增量、恢复演示(重点)
1、备份设计
1)全备、增量、自动备份时间
2)备份巡检、备份是否存在与否、备份空间足够与否
3)定期演练备份恢复、季度或半年(要在测试库演练)
4)故障恢复(通过现有备份恢复数据)
5)迁移
2、备份类型
1)热备
在数据库正常业务时备份数据(只能是innodb)
2)温备
锁表备份,只能查询不能修改表(myisam)
3)冷备
停止数据库业务情况下备份数据
3、备份方式及工具介绍
3.1、备份工具
1)逻辑备份工具
基于SQL语句进行备份
mysqldump *****
mysqlbinlog *****
2)物理备份工具
基于磁盘数据文件备份
xtrabackup(XBK) :percona 第三方 *****
MySQL Enterprise Backup(MEB)
3.2、逻辑备份有物理备份比较
1)mysqldump逻辑备份
优点:
1.不需要下载安装
2.备份出来的是SQL,文本格式,可读性高,便于备份处理
3.压缩比较高,节省备份的磁盘空间
缺点:
4.依赖于数据库引擎,需要从磁盘把数据读出
然后转换成SQL进行转储,比较耗费资源,数据量大的话效率较低
建议:
100G以内的数据量级,可以使用mysqldump
超过TB以上,我们也可能选择的是mysqldump,配合分布式的系统
1EB =1024 PB =1000000 TB
2)xtrabackup(XBK)
优点:
1.类似于直接cp数据文件,不需要管逻辑结构,相对来说性能较高
缺点:
2.可读性差
3.压缩比低,需要更多磁盘空间
建议:
>100G<TB
3.3、备份策略
备份方式:
全备:全库备份,备份所有数据
增量:备份变化的数据
逻辑备份=mysqldump+mysqlbinlog
物理备份=xtrabackup_full+xtrabackup_incr+binlog或者xtrabackup_full+binlog
备份周期:
根据数据量设计备份周期
比如:周日全备,周1-周6增量
3.4、mysqldump(逻辑备份使用)
1)通用参数:
-u -p -S -h -P
本地备份:
mysqldump -uroot -p -S /tmp/mysql.sock
远程备份:
mysqldump -uroot -p -h 10.0.0.51 -P3306
2)常用参数:
1)导出全部数据库(--all-databases , -A)
mysqldump -uroot -p -S /tmp/mysql.sock -A >./full.sql
补充:(--set-gtid-purged=OFF和--set-gtid-purged=ON)
如果一个数据库开启了GTID,使用mysqldump备份的时候或者说是转储的时候,即使不是MySQL全库(所有库)备份,也会备份整个数据库所有的GTID号。
GTID是为了加强数据库的主备一致性、故障恢复和容错能力,mysqldump备份整个数据库用来做从库的话,那么GTID是必须的(一个MySQL主从复制是开启了GTID的场景下)。
但是如果仅仅是备份单个库或者是导入单个库到其它的数据库(也是开启了GTID),那么GTID号有重复概率(GTID由UUID+顺序事务ID组成),所以如果想在数据导入的时候不想导入另外一个数据库全部的GTID,那么可以使用`--set-gtid-purged=OFF`来禁止。
2)导出几个数据库、参数后面加数据库名(--databases, -B)
mysqldump -uroot -p -B world sk --set-gtid-purged=OFF >./test.sql
3)world数据库下的city,country表
mysqldump -uroot -p world city country >./bak1.sql
以上备份恢复时:必须库事先存在,并且ues才能source恢复
4)进入mysql命令模式后用source恢复数据表的使用
mysql>use world;
mysql>source
mysql> source /home/sk/mysqldump/student.sql
3)特殊参数:
1) -R 备份存储过程及函数
--triggers 备份触发器
-E 备份事件
mysqldump -uroot -p -A -R -E --triggers >./full.sql
2)--flush-logs、-F 在备份开始时,刷新一个新binlog日志
mysqldump -uroot -p -A -R --triggers -F >./full.sql
3)--master-data=2
以注释的形式,保存备份开始时间点的binlog的状态信息
mysqldump -uroot -p -A -R --triggers --master-data=2 >/back/world.sql
[root@db01 ~]# grep 'CHANGE' /backup/world.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000035', MASTER_LOG_POS=194;
功能:
(1)在备份时,会自动记录,二进制日志文件名和位置号
0 默认值
1 以change master to命令形式,可以用作主从复制
2 以注释的形式记录,备份时刻的文件名+postion号
(2) 自动锁表
(3)如果配合--single-transaction,只对非InnoDB表进行锁表备份,InnoDB表进行“热“”备,实际上是 实现快照备份。
4)--single-transaction
innodb 存储引擎开启热备(快照备份)功能
master-data可以自动加锁
在不加--single-transaction ,启动所有表的温备份,所有表都锁定
加上--single-transaction ,对innodb进行快照备份,对非innodb表可以实现自动锁表功能
备份必加参数
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set- gtid-purged=OFF >/data/backup/full.sql
5)--set-gtid-purged=auto(不了解的就尽量不要用)
auto , on
off
使用场景:
1. --set-gtid-purged=OFF,可以使用在日常备份参数中.
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql
2. auto , on:在构建主从复制环境时需要的参数配置
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=ON >/data/backup/full.sql
6)--max-allowed-packet=#(客户端备份大表需要这个参数)
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M >/data/backup/full.sql
--max-allowed-packet=#
The maximum packet length to send to or receive from server.
3.5、实现所有表的单独备份
提示:
information_schema.tables
mysqldump -uroot -p123 world city >/backup/world_city.sql
select concat("mysqldump -uroot -p123 ",table_schema," ",table_name," --master-data=2 --single-transaction --set-gtid-purged=0 -R -E --triggers>/backup/",table_schema,"_",table_name,".sql") from information_schema.tables where table_schema not in ('sys','information_schema','performance_schema') into outfile '/tmp/test.sh';
导出的目录需要在my.cnf配置secure-file-priv=对应的目录
3.6、模拟故障案例并恢复--mysqldump(重点)
3.6.1、数据目录全被删除恢复操作
(1)每天全备
(2)binlog日志是完整
(3)模拟白天的数据变化
(4)模拟下午两点误删除数据库
需求: 利用全备+binlog回复数据库误删除之前。
故障模拟及恢复:
1、模拟周一23:00的全备
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql
2、模拟白天的数据变化
mysql>create database day1 charset utf8;
mysql>use day1
mysql>create table t1(id int);
mysql>insert into t1 values(1),(2),(3);
mysql>commit;
mysql> use world;
mysql>update city set countrycode='CHN';
mysql>commit;
3、模拟故障mysql数据目录误删
cd /data/mysqldb/
rm -rf *
4、模拟数据恢复
1)查看数据库是否启动(启动杀掉systemctl stop mysql)
2)初始化数据库(如果初始话报错查看/data/mysqldb下是否有ib_buffer_pool文件删掉)
mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysqldb
systemctl start mysql.service (启动)
mysqladmin -uroot -pe4kvDX-*c/,L password 123456 (修改密码)
3)查看备份是否存在、查看bin-log是否存在
在备份中找到这条数据(根据这条恢复bin-log的数据)
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=311;
mysqlbinlog --start-position=311 --skip-gtids /var/log/mysql/mysql-bin.000001 >./bin.sql
4)备份恢复(进入数据库)
mysql> source /home/sk/mysqldump/full.sql;
source /home/sk/mysqldump/bin.sql;
5、总结
mysqldump备份的恢复方式(在生产中恢复要谨慎,恢复会删除重复的表)
mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F-%T).sql.gz
注意:
1)mysqldump在备份和恢复时都需要mysql实例启动为前提。
2)一般数据量级100G以内,大约15-45分钟可以恢复,数据量级很大很大的时候(PB、EB)
3)mysqldump是覆盖形式恢复的方法。
一般我们认为,在同数据量级,物理备份要比逻辑备份速度快.
逻辑备份的优势:
1)可读性强
2)压缩比很高
3.6.2、单表被删除恢复操作
1、背景环境
正在运行的网站系统,mysql-5.7.20 数据库,数据量50G,日业务增量1-5M。
每天23:00点,计划任务调用mysqldump执行全备脚本
年底故障演练:模拟周三上午10点误删除数据库,并进行恢复.
2、恢复思路
停业务,避免数据的二次伤害
找一个临时库,恢复周三23:00全备
截取周二23:00 --- 周三10点误删除之间的binlog,恢复到临时库
测试恢复后测试可用性和完整性
恢复业务库两个方法:
方法一:直接使用临时库顶替原生产库,前端应用割接到新库
方法二:将误删除的表导出,导入到原生产库
3、演示流程
1)每天23点备库
mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz
2)模拟23:00之后的数据变化
use backup
insert into t1 values(11),(22),(33);
commit;
create table t2 (id int);
insert into t2 values(11),(22),(33);
3)误删库(在模拟环境中演练)
drop database backup;
4)恢复过程:
进入备用临时库
找到全备文件(full_2018-10-17.sql.gz)
截取二进制日志(-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=1045301;)
分析二进制日志删数据的命令
mysql -uroot -p123456 -e "show binlog events in 'mysql-bin.000003'" |tail -100 |grep -i drop
结果(找到):mysql-bin.000003 1045317 Query 1 1045449 DROP database backup
恢复二进制中的sql数据(mysqlbinlog --start-position=1045301--stop-position=1045317
--skip-gtids /data/binlog/mysql-bin.000036 >./bin.sql)
恢复临时库:
进入备用数据库:
set sql_log_bin=0;
source /backup/full_2018-10-17.sql
source /backup/bin.sql
恢复业务两个方法:
方法一:前端应用割接到备用新库
方法二:将误删除的表导出,导入到原生产库
mysqldump -S /data/3307/mysql.sock backup t1 >/backup/t1.sql
登入原数据库:mysql -uroot -p123456
set sql_log_bin=0;
use backup
source /backup/t1.sql;
3.7、模拟故障案例并恢复--xtrabackup(重点)
3.7.1、xtrabackup安装
yum 安装(centos7的yum安装的只支持mysql-5.6的版本)
1、安装依赖组件libev
yum install -y http://rpmfind.net/linux/epel/6/x86_64/Packages/l/libev-4.03-3.el6.x86_64.rpm
2、安装Percona yum存储库
yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm -y
3、如果打算将Percona XtraBackup与MySQL 结合使用,还需要开启tools存储库
percona-release enable-only tools release
4、安装Percona XtraBackup
yum install -y percona-xtrabackup
rpm安装
1、下载安装依赖组件libev
wget http://rpmfind.net/linux/epel/6/x86_64/Packages/l/libev-4.03-3.el6.x86_64.rpm
rpm -ivh libev-4.03-3.el6.x86_64.rpm
2、安装Percona 存储库,并且开启tools 存储库
wget https://repo.percona.com/yum/percona-release-latest.noarch.rpm
rpm -ivh percona-release-latest.noarch.rpm
percona-release enable-only tools release
3、下载安装xtrabackup
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
yum localinstall -y percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
安装结果查看:
xtrabackup --version
3.7.2、xtrabackup 介绍
(1)对于非Innodb表(比如 myisam)是,锁表cp数据文件,属于一种温备份。
(2)对于Innodb的表(支持事务的),不锁表,拷贝数据页,最终以数据文件的方式保存下来,把一部分redo和undo一并备走,属于热备方式。
3.7.3、xtrabackup的命令innobackupex使用
1、全备
innobackupex --user=root --password=123456 ./
2、去掉时间戳自主命名
innobackupex --user=root --password=123456 --no-timestamp ./full
1、备份文件分析
-rw-r-----. 1 root root 21 Jul 6 21:19 xtrabackup_binlog_info
-rw-r-----. 1 root root 113 Jul 6 21:19 xtrabackup_checkpoints
-rw-r-----. 1 root root 477 Jul 6 21:19 xtrabackup_info
-rw-r-----. 1 root root 2560 Jul 6 21:19 xtrabackup_logfile
1)xtrabackup_binlog_info(备份时刻的binlog位置)
[root@localhost full]# cat xtrabackup_binlog_info
mysql-bin.000005 154
记录的是备份时刻,binlog的文件名字和当时的结束的position,可以用来作为截取binlog时的起点。
2)xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0 上次所到达的LSN号(对于全备就是从0开始,对于增量有别的显示方法)
to_lsn = 160683027 备份开始时间(ckpt)点数据页的LSN
last_lsn = 160683036 备份结束后,redo日志最终的LSN
compact = 0
recover_binlog_info = 0
(1)备份时刻,立即将已经commit过的,内存中的数据页刷新到磁盘(CKPT).开始备份数据,数据文件的LSN会停留在to_lsn位置。
(2)备份时刻有可能会有其他的数据写入,已备走的数据文件就不会再发生变化了。
(3)在备份过程中,备份软件会一直监控着redo的undo,如果一旦有变化会将日志也一并备走,并记录LSN到last_lsn。
从to_lsn ----》last_lsn 就是,备份过程中产生的数据变化.
3) cat xtrabackup_info #包含信息比较多
uuid = 85662dd9-f2fb-11e8-a47c-fa336351fc00 #当前数据库的UUID
name =
tool_name = innobackupex #包含备份的工具,备份的 命令,备份工具的版本,MySQL的版本
tool_command = --user=root --password=... /data/backup/
tool_version = 2.4.4
ibbackup_version = 2.4.4
server_version = 5.7.22-log
start_time = 2018-11-28 18:50:47 #备份的开始时间
end_time = 2018-11-28 18:51:12 #备份的结束时间
lock_time = 0
binlog_pos = filename 'test3-bin.000001', position '21818' #二进制日志的位置
innodb_from_lsn = 0
innodb_to_lsn = 13741543749 #刷新到lsn的位置
partial = N
incremental = N #增量备份
format = file
compact = N
compressed = N
encrypted = N
备份恢复:
1、将redo进行重做,已提交的写到数据文件,未提交的使用undo回滚掉。模拟了CSR的过程
innobackupex --apply-log /backup/full
2、全备恢复需要停数据库清空目录
systemctl stop mysqld
rm -rf *
3、恢复备份
innobackupex --copy-back ./full/
4、目录权限修改
chown -R mysql.mysql mysqldb
5、启动数据库
systemctl start msyql
3.7.4、xtrabackup之备份、增量、恢复演示(重点)
(1)增量备份的方式,是基于上一次备份进行增量。
(2)增量备份无法单独恢复。必须基于全备进行恢复。
(3)所有增量必须要按顺序合并到全备中。
下面操作日常备份恢复流程:
1、全备
innobackupex --user=root --password=123456 --no-timestamp ./full >&/tmp/xbk_full.log
2、模拟第一次数据变化
create database cs charset utf8;
use cs;
create table t1 (id int);
insert into t1 values(1),(2),(3);
commit;
3、第一次增量备份
innobackupex --user=root --password=123456 --no-timestamp --incremental --incremental-basedir=./full ./inc1 &>/tmp/inc1.log
4、模拟第二次数据变化
use cs;
create table t2 (id int);
insert into t2 values(1),(2),(3);
commit;
5、第二次增量备份
innobackupex --user=root --password=123456 --no-timestamp --incremental --incremental-basedir=./inc1 ./inc2 &>/tmp/inc1.log
6、模拟第三次数据变化
use cs;
create table t3 (id int);
insert into t3 values(1),(2),(3);
commit;
7、数据库误删
drop database cs;
8、恢复思路:
1)挂出维护页,停止当天的自动备份脚本
2)检查备份:周日full+周一inc1+周二inc2,周三的完整二进制日志
3)进行备份整理(细节),截取关键的二进制日志(从备份——误删除之前)
4)测试库进行备份恢复及日志恢复
5)应用进行测试无误,开启业务
6)此次工作的总结
9、恢复操作
1)检查备份找到最后一次增量备份的节点
mysql-bin.000015 2055
2)全备整理+合并增量备份
全备整理
innobackupex --apply-log --redo-only /home/sk/xbk/full
合并inc1到full中
innobackupex --apply-log --redo-only --incremental-dir=/home/sk/xbk/inc1 /home/sk/xbk/full
合并inc2到full中
innobackupex --apply-log --incremental-dir=/home/sk/xbk/inc2 /home/sk/xbk/full
最后一次整理全备
innobackupex --apply-log /home/sk/xbk/full
截取到drop 之前的 binlog
mysql -uroot -p123456 -e "show binlog events in 'mysql-bin.000015'" |tail -100 |grep -i drop
结果:(mysql-bin.000015 2538 Query 1 2624 drop database cs)
根据最后的增量备份binlog节点(2055)和binlog的drop节点(2538)恢复最后操作
mysqlbinlog --start-position=2055 --stop-position=2538 --skip-gtids /var/log/mysql/mysql-bin.000015 > ./bin.sql
找到一个测试数据库清空数据库目录文件关闭mysql
systemctl stop mysql
恢复操作
innobackupex --copy-back ./full/
启动mysql
chown -R mysql.mysql /data/mysqldb
systemctl start msyql
进入数据写入bin.sql数据
set sql_log_bin=0;
source /home/sk/xbk/bin.sql