XtraBackup流程【DBA面试系列】

最新推荐文章于 2023-11-14 13:36:04 发布
最新推荐文章于 2023-11-14 13:36:04 发布
阅读量374 收藏 2
点赞数
分类专栏： MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shen2308/article/details/104330003
版权

文章目录

XtraBackup

全备
Innobackupex全备流程
1. 连接mysql
2. 读取配置文件,找到相应的数据和日志位置
3. start xtrabackup_log:创建xtrabackup_logfile文件.模拟mysql instance方式,以读写模式打开并读取redolog,检查到当前checkpoint点,从当前checkpoint点位置开始复制redolog,同时持续扫描redolog,有新的redolog数据就复制到xtrabackup_logfile文件中
4. 复制innodb引擎表的:.ibd/.ibdata1/undo logs等文件
5. 执行Flush NO_WRITE_TO_BINLOG TABLE/flush tables with read lock
6. 复制非Innodb引擎的表.MYD/.MYI/.frm/.opt/misc等文件和innodb引擎表的.frm/.opt/misc等文件
7. 获取二进制日志文件位置或GTID,并写到xtrabackup_binlog_info文件
8. 执行FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS语句
9. 停止日志复制线程 <复制redolog的线程>
10. 执行UNLOCK TABLES语句
11. 最后,生成backup-my.cnf/xtrabackup_info等文件

说明

  • 步骤5. FTWRL加的只读S锁，原因，方式读取数据时发生DDL操作，并获取binlog位置，redo日志暂时也会卡在这里
  • 步骤8. 执行FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS语句将innodb层的redolog持久化到磁盘后进行复制（因为xtrabackup并不备份二进制日志，如果这个过程出现问题，就导致恢复之后丢失redolog中的数据，做主从复制可能会同步出错），然后停止读redolog复制线程，innobackupex备份数据的时间点是停止redolog复制时的数据对应的时间点

全量备份流程总结

  1. 复制已有的redo log，然后监听redo log变化并持续复制
  2. 复制事务引擎数据文件
  3. 等到数据文件复制完成
  4. 加锁：全局读锁
  5. 备份非事务引擎数据文件及其他文件
  6. 获取binlog点位信息等元数据
  7. 停止复制redo log
  8. 解锁：全局读锁
  9. 复制buffer pool dump
  10. 备份完成

FAQ

  1. 为什么要先复制redo log，而不是直接开始复制数据文件？

因为XtraBackup是基于InnoDB的crash recovery机制进行工作的。如上图2中的页2，由于是热备操作，在备份过程中可能有持续的数据写入，直接复制出来的数据文件可能有缺失或被修改的页，而redo log记录了InnoDB引擎的所有事务日志，可以在还原时应用redo log来补全数据文件中缺失或修改的页。所以为了确保redo log一定包含备份过程中涉及的数据页，需要首先开始复制redo log。

  1. 加全局读锁的作用？

因为要保证”非事务资源 自身的一致性“ 和 ”非事务资源与 事务资源的一致性“。在加锁期间，没有新数据写入，XtraBackup会复制此时的binlog位置信息，frm表结构，MyISAM等非事务表。

  1. 为什么要先停止复制redo log，再解锁全局读锁？

也是因为要保证“非事务资源与事务资源的一致性”，保证通过redo log回放后的InnoDB数据与非InnoDB数据都是处于读锁期间取得的位点。

全备恢复
全备恢复流程
1. 进入指定的备份目录,查看备份文件是否已经执行过apply-log .这在xtrabackup_checkpoint文件中的backup_type=full-backuped字段有记录,如果已经apply-log过的,该字段为:backup_type=full-prepared
2. 在备份目录下读取xrabackup_logfile文件,识别出文件大小和其实LSN号
3. 读取备份目录下的backup-my.cnf中的参数,为下一步的恢复过程启动一个mini innodb instance
4. 通过redolog的其实LSN号,往后扫描需要恢复的所有redolog
5. 备份文件执行apply-log的过程,被视同为非正常关闭的数据库之后的重启数据库,这个时候会对备份数据文件执行CrashRecivery
6. 应用redolog完成后,会执行一次正常关闭mini innodb instance操作
7. 重新启动mini innodb instance,使用backup-my.cnf配置文件中的redo log file配置生成新的redo log file重新启动mini innodb instance时又会重新执行一次crash recovery
8. 重新启动mini innodb instance正常之后,就执行正常的shutdown操作,完成apply-log过程

全备还原流程

  1. 模拟MySQL进行recover，将redo log回放到数据文件中
  2. 等到recover完成
  3. 重建redo log，为启动数据库做准备
  4. 将数据文件复制回MySQL数据目录
  5. 还原完成

FAQ

在recover完成后，InnoDB数据与非InnoDB数据是达成一致的吗？

InnoDB数据会被恢复至备份结束时(全局读锁时)的状态，而非InnoDB数据本身即是在全局读锁时被复制出来，它们的数据一致

增量备份

大部分流程跟全部相同，只有在步骤2 有所区别
步骤2. 读取配置文件，找到相应的数据和日志文件的位置，读取上一次备份的to_lsn号作为增备的起始位置

FAQ

  1. 开始做一个增量备份, 那么 如何识别InnoDB的哪些数据是增量的?

数据文件中的数据页都有LSN号, LSN可以看做是数据页的变更时间戳。 通过这个时间戳, 就可以识别 数据页 在 全量备份后 是否修改过, 即通过LSN可以识别数据是否是增量的。

  1. 如果一个数据页原本不是增量范围内的, 在增量备份的过程中, 数据页更新了, 那么增量备份是否会涵盖这个数据页?

本质, 与全量备份中的数据页新旧不一致的问题 相同, 解决方案也相同: 通过恢复时回放redo log, 解决数据新旧不一致的问题.
也就是说: 增量备份过程中, 如果数据页被更新了, 那数据文件中的这个数据页** 有可能 被拷贝到备份中, 也可能 没有被拷贝到备份中, 但这个更新信息一定会被redo log记录**, 并被记录在备份中. 在恢复过程中, redo log会被"安全地"回放成功, 达成数据的新旧一致.

增备恢复
增备恢复流程
1. 对全备执行appl-log+redo-only
1.1. 进入指定的备份目录,查看备份文件是否已经执行过apply-log .这在xtrabackup_checkpoint文件中的backup_type=full-backuped字段有记录,如果已经apply-log过的,该字段为:backup_type=full-prepared
1.2. 在备份目录下读取xrabackup_logfile文件,识别出文件大小和其实LSN号
1.3. 读取备份目录下的backup-my.cnf中的参数,为下一步的恢复过程启动一个mini innodb instance
1.4. 通过redolog的其实LSN号,往后扫描需要恢复的所有redolog
1.5. 备份文件执行apply-log的过程,被视同为非正常关闭的数据库之后的重启数据库,这个时候会对备份数据文件执行CrashRecivery
1.6. 应用redolog完成后,会执行一次正常关闭mini innodb instance操作 注:全备应用redolog时对未提交的事物不会执行回滚
2. 对增备执行apply-log+redo-only合并到全备中
2.1 进入指定备份目录,读取增备目录中的 xtabackup_checkpoint 文件的from_lsn字段的LSN值
2.2 查看xtabackup_checkpoint文件中backup_type字段是否为log-appled,如果是则表示全备目录已经执行过apply-log+redo-only
2.3 在备份目录下读取xtrabackup_logfile文件,识别出文件大小和其实LSN号
2.4 读取备份目录下的backup-my.cnf中的参数,获取增备目录下的backup-my.cnf中的innodb_log_group_home_dir参数值
2.5 从增备目录下扫描所有innodb表增备的表空间文件:ibdata1/ibd,独立undolog并吧这些增量的表空间数据页应用到全备的对应表空间数据文件中
2.6 通过redolog的其实LSN号,往后扫描需要恢复的所有redolog
2.7 应用redolog完成之后,会执行一次正式关闭mini innodb instance操作 注:全备应用redolog时对未提交的事务不会执行回滚
2.8 从增备目录中复制.opt/.frm/.MYI/.MYD等非innodb引擎相关数据和表定义等文件,覆盖增备目录下,完成apply-log+redo-only操作
对全备执行apply-log
与全备流程图过程一样

增量备份流程总结

  1. 先还原一个全量备份 到 临时目录
  2. 开始还原增量备份, 将增量备份中的增量的数据文件, 覆盖到临时目录中
  3. 将增量备份中的redo log, 回放到临时目录中
  4. 将其他文件覆盖到临时目录中
  5. 增备还原完成
  6. 重建redo log, 为启动数据库做准备
  7. 将临时目录中的文件, 拷贝到MySQL的数据目录中

FAQ

非事务类的信息, 能否产生增量备份？

非事务类的信息 没有提供识别增量的机制, 只能采用全局读锁+全部拷贝+全部回放的机制进行备份

参考链接
[原理解析] XtraBackup全量备份还原
[原理解析] XtraBackup增量备份还原
[原理解析] XtraBackup 备份恢复时为什么要加apply-log-only参数？

在这里插入图片描述

xtrabackup使用方法简介
奋进的K
10-19 1073
关于xtrabackup的简介就不再赘述，百度一堆，使用方法也说明也很多。感觉还是只有自己试过之后才能有更深刻的认识，以下的使用说明基于官方文档及自己试验过程，记录下备查。安装：去percona-xtrabackup官网上下载，有rpm包、tar包，也有解压直接可用的二进制包。我试验采用的二进制包。由于里面的innobackupx命令实际上是用perl语言封装了xtrabackupx而成，所以使用i
mysql有关运维的面试题_分享12道mysql 运维dba经典面试题，听说能答对一半月薪10k+...
weixin_36194075的博客
12-24 951
概述想知道mysql dba运维面试时都会被问到哪些问题吗？特整理出20个运维经典面试题供大家参考学习，据说知道一半答案的人，月薪能过万~1、MySQL的复制原理以及流程基本原理流程，3个线程以及之间的关联；(1)主：binlog线程——记录下所有改变了数据库数据的语句，放进master上的binlog中；(2)从：io线程——在使用start slave 之后，负责从master上拉取 binl...
xtrabackup 详解
weixin_34405354的博客
04-08 253
xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备工具，具有开源，免费，支持在线热备，备份恢复速度快，占用磁盘空间小等特点，并且支持不同情况下的多种备份形式。xtrabackup的官方下载地址为http://www.percona.com/software/percona-xtrabackup。 xtrabackup包含两个主要的工具，即xtrab...
xtrabackup备份流程
耿进
09-01 529
**xtrabackup工作流程** 首先，来描述一下XtraBackup的工作流程。在工作过程中，innobackupex会和xtrabackup协同工作，共同完成备份任务。 流程： 1.innobackupex启动后，首先通过start_ibbackup()函数中的fork方式创建xtrabackup进程并且启动。然后等待xtrabackup完成InnoDB相关文件的备份。 2.innobackupex通过wait_for_ibbackup_suspend(susp...
Xtrabackup介绍与原理
yu891203的博客
06-15 995
一、Xtrabackup介绍 　　MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具，xtrabakackup有2个工具，分别是xtrabakup、innobakupe。 　　Percona
MySQL 社区开源备份工具 Xtrabackup 详解
分享既学习
11-14 1万+
数据库备份恢复是 DBA 的 “保命” 技能，生产业务不仅要保证有合适的备份策略，也要定期验证备份的有效性和恢复演练流程，因为数据恢复和验证可能会涉及多方合作，演练可以让灾难真正发生时，多方配合有条不紊的将数据恢复，从而尽可能的减少 RTO 让业务快速恢复。Xtrabackup 是 MySQL 社区唯一一款开源物理热备工具，本篇文章将详细介绍 DBA 如何使用它，以及备份恢复的详细步骤。
互联网大厂的MySQL面试题
08-05
在第一部分的面试题中，考查了对MySQL复制原理和流程的理解，包括三个主要线程的作用及其间的交互关系，以及复制过程中数据一致性和延时性的处理，同时要求应试者能够解决实际遇到的复制错误。 第二部分问题关注...
Tomcat面试题+http面试题+Nginx面试题+常见面试题
看清所以看轻
12-12 1万+
Tomcat面试题 1、Tomcat的缺省端口是多少？怎么修改？ 答：缺省端口是8080，若要修改，可以进入Tomcat的安装目录下找到conf目录下的server.xml文件，找到该文件中的Connector字段中的port。 2、Tomcat有哪几种connector运行模式（服务的请求方式）？ 答：三种。修改它的运行模式需要在主配置文件中找到connector字段中的protocol进行修改...
数据库精选 60 道面试题
herongwei 的 BLOG
03-02 9745
大家好，我是贺同学。金三银四到了，给大家整理一些数据库必知必会的面试题。基础相关1、关系型和非关系型数据库的区别？关系型数据库的优点容易理解，因为它采用了关系模型来组织数据。可以保持数据的...
运维攻城狮面试题汇总
热门推荐
tian1345的博客
05-22 2万+
面试题汇总 什么是运维?什么是游戏运维? 1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常，在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术，运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等 2）游戏运维又有分工，分为开发运维、应用运维（业务运维）和系统运维 开发运维：是给应用运维开发运维工具和运维平台的 应用运维：是给业务上线、维护和做故障排除的，用开发运维开发出来的工具给业务上线、维护、做故障排查 系
MySQL备份工具之xtrabackup
阿干tkl的博客
05-14 4684
xtrabackup官网Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份（备份时不影响数据读写），是商业备份工具InnoDB Hotbackup的一个很好的替代品。简介说明：Xtrabackup2.4有两个主要的工具：xtrabackup（1）xtrabackup只能备份InnoDB和XtraDB两种数据表，而不能备份MyISAM数据表（2）innobackupex则封装了xtrabackup，是一个脚本封装，所以能同时备份处理innodb和myisam，
mysql rr实现原理_MySQL教程学习之面试题06_讲解MySQL备份策略及mysqldump和xtranbackup原理...
weixin_39796868的博客
02-01 136
加入--single-transaction 选项可以进行一致性备份。后台进程会先设置 session 的事务隔离级别为 RR(SET SESSION TRANSACTION ISOLATION LEVELREPEATABLE READ)，之后显式开启一个事务(START TRANSACTION /*!40100 WITH CONSISTENTSNAPSHOT */)，这样就保证了该事务里读到的数...
MySQL之 XtraBackup 备份
qq_40907977的博客
10-16 1万+
MySQL 系列连载之 XtraBackup 备份原理（1） 导读 在日常的linux运维工作中，大数据量备份与还原，始终是个难点。关于mysql的备份和恢复，比较传统的是用mysqldump工具，今天本文推荐另一个备份工具innobackupex。 Xtrabackup简介 innobackupex和mysqldump都可以对mysql进行热备份的，mysqldump对mysql的innodb的备份可以使用single-transaction参数来开启一个事务，利用innodb的mvcc来不进行锁表进行热
Xtrabackup 简介及备份原理
cuiyan1982的专栏
04-10 2580
一．Xtrabackup 简介及备份原理说明： Xtrabackup是由percona开发的一个开源软件，能够非常快速地备份与恢复mysql数据库，且支持在线热备份（备份时不影响数据读写），此软件可以说是innodb热备工具ibbackup的一个开源替代品 Xtrabackup中包含两个工具： l  xtrabackup -用于热备份innodb,xtradb引擎表的工具，不能备
xtrabackup热备和恢复mysql
weixin_34144450的博客
06-10 126
热备份与恢复3.1xtrabackup介绍：热备份的方式也是直接复制数据物理文件，和冷备份一样，但是热备份可以不停机直接复制，一般用于7*24小时不间断的重要核心业务。Mysql的社区版本热备份工具InnoDB Hot Backup是付费的，只能试用30天，商业版才可以永久的使用，Percona公司发布一个xtrabackup热备工具，和付费的工具一样，支持在线热备（备份时不...
xtrabackup备份原理及注意事项
lijingkuan的博客
05-29 4303
物理备份(Xtrabackup)相对于逻辑备份利用查询提取数据中的所有记录，物理备份更直接，拷贝数据库文件和日志来完成备份，因此速度会更快。当然，无论是开源的Mydumper还是官方最新的备份工具(5.7.11的mysqlpump)都支持了多线程备份，所以速度差异可能会进一步缩小，至少从目前生产环境来看，物理备份使用还是比较多的。由于Xtrabackup支持备份innodb表，实际生产环境中我们使用
Xtrabackup备份
喝醉酒的小白
06-02 6194
mysql备份
xtrabackup 备份恢复过程详解
jolly10的专栏
04-24 4523
xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备工具，具有开源，免费，支持在线热备，备份恢复速度快，占用磁盘空间小等特点，并且支持不同情况下的多种备份形式。xtrabackup的官方下载地址为http://www.percona.com/software/percona-xtrabackup。xtrabackup包含两个主要的工具，即xtrabac...
MySQL dba面试
最新发布
03-25
好的，我现在需要帮助用户准备MySQL DBA相关的面试问题和答案。首先，我需要回忆一下常见的MySQL DBA面试问题，并确保答案准确且符合用户提供的引用内容。用户提到了几个引用，我需要从中提取有用的信息来支持答案。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值