eagle89的专栏

MySQL innobackupex

MySQLdump常用命令

innobackupex

Xtrabackup的备份与恢复

innobackupex备份mysql产生returned OS error 124

备份时出现下面的提示Unknown redo log format (4). Please follow the instructions at http://dev.mysql.com/doc/refman/8.0/en/ upgrading-downgrading.html.MySQL8.0.20的Release Note中有下面的提示：InnoDB: Redo log records for modifications to undo tablespaces increased ..

误删除innodb ibdata数据文件 今天在群里看到有人说不熟悉innodb把ibdata（数据文件）和ib_logfile（事务日志）文件误删除了。不知道怎么解决。当时我也不知道怎么办。后来查阅相关资料。终找到解决方法。其实恢复也挺简单的。我们不知道的时候就觉得难了。谁说不是这样呢？下面我们就来模拟生产环境下，人为删除数据文件和重做日志文件。然后详细说明恢复步骤。1.用sysbench模拟数据的写入，如下所示：[root@yayun-mysql-server ~]# sysbench

MySQL Flashback 工具介绍 DML Flashback 独立工具，通过伪装成slave拉取binlog来进行处理 MyFlash 「大众点点评」 binlog2sql 「大众点评(上海)」 mysqlbinlog_flashback (更倾向于阿里RDS) 「58到家」 patch形式集成到官方工具mysqlbinlog 简单脚本。先用mysqlbinlog解析出文本格式的binlog，再根据回滚原理用正则进行匹配并替换 DDL Flashba

不管你什么架构，一切都是为数据服务的，数据是一个企业最核心的价值。不过出现问题的话，数据一旦被删除，每过一秒，都将对企业造成巨大的损失。最近，还真的发生了一起删库跑路事件，微盟7*24小时紧急恢复数据，商家赔付1.5亿。一、binlog2sql用途数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来的衍生功能项目状态正常维护。应用于部分公司线上环境。已测试环境 Python 2.7, 3.4+ ...

前几天做的实验，基于时间点的恢复以及基于position的恢复有同样的问题，就是需要手动一个一个的应用所有binlog（除非 自己开发一个程序自动应用binlog） ，并且恢复到全备状态需要比较长的时间，并且有可能要停止服务一段时间。如果有一个延时复制的备库，在备库执行有害语句之前就发现问题的话，那么基于时间点恢复就更快更容易了，而且是不需要停止主库的服务，只需要要slave库恢复完后主从切换就可以了。下面做一个实验：1.开启slave复制延时Mysql （需5.6以上版本）延迟复制配置，.

一 为什么需要延时备份在上一篇文章中，我们讲到MySQL备份与恢复之percona-xtrabackup实现增量备份及恢复，percona-xtrabackup是一个优秀的用于增量备份的工具。今天我们讲到的延时备份也是使用他们的产品。以前在MySQL AB复制一文中提到了AB复制。我们首先回顾下MySQL复制的相关要点。AB复制又称主从复制，实现的是数据同步。经过以下步骤：1)主服务器把数据更改记录到二进制日志中，这个操作叫做二进制日志事件；2)从服务器把主服务器的二进制日志事件拷贝到自己的

MySQL延迟复制--percona-toolkit和MASTER TO MASTER_DELAY一、MASTER TO MASTER_DELAY延迟复制便于数据恢复，设置从库延迟主库1个小时方案优点：没有万一，都能快速恢复数据潜在不足：资源利用率有点低，为了保证数据的安全性，多了2台延时从，降低了从库利用率【提高从库效率】1小时延时从也不是完全没有用，对于一些“允许延时”的业务，可以使用1小时延时从，例如：（1）运营后台，产品后台（2）BI进行数据同步（3）研发进行数

关于阿里云RDS物理备份数据使用xtrabackup工具恢复到本地mysql当中，请参考阿里云文档：https://help.aliyun.com/knowledge_detail/41817.html?spm=5176.11065259.1996646101.searchclickresult.53d420cclqekK3开源软件Percona Xtrabackup可以用于对数据库进行备份恢复，您可以使用该软件将云数据库MySQL的备份文件恢复到自建数据库中，本文将介绍详细的操作步骤。说明通过

一、Xtrabackup介绍 　　MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具，xtrabakackup有2个工具，分别是xtrabakup、innobakupe。　　Pe..

本文目录一、什么不一致 1.1、不一致 1.2、一致 二、为什么不一致 2.1、show master status 2.2、mysql.gtid_executed 2.3、不一致会有什么影响 基本环境：官方社区版MySQL 5.7.19，innobackupex version 2.4.8返回顶部一、什么不一致1.1、不一致首先使用下面脚本来构建Executed_Gtid_Set与xtrabackup_binlog_info不一致，到底指的是什么不一致

备份要作为备库，所以用了–slave-info参数，备份完成后会生成一个对应主库的binlog日志的文件，用于配置同步。为了保证数据一致性，使用了–slave-info参数后会在某一段时间内加一个全局只读锁，导致库不可写，但是这个要比停止库的同步的影响要小。数据库总共1.4T，前面备份的1.3T都很顺利，没有锁和延时。在备份最后100G数据文件的时候产生了一个全局只读锁，造成了大约3个小时的延迟，备份完成后大概半小时后延时追上了 。下面介绍用xtrabackup 搭建备库的主要步骤：1.xtraback

一、软件：MySql8.0.20percona-xtrabackup-80-8.0.13-1.el7.x86_64安装：1、安装percona依赖库：yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm2、测试依赖库是否安装成功：yum list | grep percona3、安装perconayum inst..

MySQL闪回工具之：binlog2sqlhttps://github.com/danfengcao/binlog2sqlMYSQL Binglog分析利器:binlog2sql使用详解 ：http://blog.itpub.net/27067062/viewspace-2135398/binlog2sql参数# python binlog2sql/binlog2sql.py --help选项mysql连接配置-h host; -P port; -u user; -p ...

【1小时延时从】使用1小时延时从库，可大大加速“删全库”恢复时间。什么是1小时延时从？如图所示，增加一个从库，这个从库不是实时与主库保持同步的，而是每隔1个小时同步一次主库，同步完之后立马断开1小时，这个从库会与主库保持1个小时的数据差距。当“删全库”事故发生时，只需要：（1）应用1小时延时从（2）将1小时延时从最近一次同步时间到，将执行“删全库”之前的binlog找到，重放快速恢复完毕。方案优点：能够快速找回数据潜在不足：万一，万一，万一，1小时延时从正在连上主.

mysqldump 的 --extended-insert 表示长INSERT，多row在一起批量INSERT，提高导入效率，和没有开启 -e 的备份导入耗时至少相差3、4倍，默认开启；用--extended-insert=false关闭。强烈建议开启，使用--extended-insert=false导出的表如下图这种，每行一个insert语句。使用--extended-insert=true导出的表如下图这种，一个很长的insert语句。下图是两种方式的导出数据库，可以看..

MySQL InnoDB引擎的表通过拷贝物理文件来进行单表或指定表的复制，可以想到多种方式，今天测试其中2种：将innodb引擎的表修改为Myisam引擎，然后拷贝物理文件 直接拷贝innodb的表空间文件（前提是独立表空间（默认，通过show variables like 'innodb_file_per_table' 查看））进行复制一、修改引擎1.创建一张innodb引擎的表，并插入测试数据；create table test_tb(id int primary key,c1 v..

在日常运维工作中，对mysql数据库的备份是万分重要的，以防在数据库表丢失或损坏情况出现，可以及时恢复数据。线上数据库备份场景：每周日执行一次全量备份，然后每天下午1点执行MySQLdump增量备份.下面对这种备份方案详细说明下：1.MySQLdump增量备份配置执行增量备份的前提条件是MySQL打开binlog日志功能，在my.cnf中加入log-bin=/opt/Data/MySQL-bin“log-bin=”后的字符串为日志记载目录，一般建议放在不同于MySQL数据目录的磁盘上。

　生产环境中，有时需要做MySQL的备份和恢复工作。因MySQL是在运行过程中的，做全量备份需要时间，全量备份完成后又有数据变动，此时需要增量备份辅助。如果想恢复数据到一个空库(例如数据迁移或者上云等更换MySQL数据库的场景)，基于全量备份+增量备份的数据进行恢复，可以更接近于原本的数据。　　工作中曾经使用过的2种方法：1.基于dump全量备份.sql+binlog生成增量备份sql，进行全量+增量的备份/恢复操作。备份过程：　　(1)dump命令，生成全量备份sql文件。　　(2)

从MySQL全库备份中恢复某个库和某张表一、全库备份-A[root@mha2 backup]#mysqldump -uroot -p123456 --default-character-set=utf8 --single-transaction --extended-insert=false --hex-blob --master-data=2 --log-error=/tmp/test.err --routines --triggers --events --quick --flush-logs

Percona XtraBackup的工作原理：1.XtraBackup复制InnoDB数据文件，这会导致内部不一致的数据，但是它会对文件执行崩溃恢复，以使其再次成为一个一致的可用数据库2.这样做的可行性是因为InnoDB维护一个REDO日志，也称为事务日志。REDO日志包含了InnoDB数据每次更改的记录。当InnoDB启动时，REDO日志会检查数据文件和事务日志，并执行两个步骤。它将已...

两台服务器，一台正式服务器A，一台测试服务器B，现需要将正式服务器A中的数据库每天备份到测试服务器B。1.从正式服务器A中导出需要备份的数据库使用mysqldump指令导出数据库文件/usr/sbin/mysqldump -u root -ppassword database | gzip > bakdatabaseName.sql.gzpassword为数据库密码，data...

说明：本文实现利用shell实现远程mysql数据库备份。通过在数据服务器mysqldump导出需要备份的数据库，scp拷贝到指定的备份服务器。为了不需要输入密码就能直接scp，这里，会先生成ssh key。数据库服务器为A，用来远程存放备份的服务器为B实现：1.生成ssh key认证，避免SSH输入密码openssh在A服务器用openssh生成一堆密钥# ssh-keygen -d...