mydumper备份数据库

关注

转载最新推荐文章于 2026-05-15 07:42:28 发布 2k 阅读 AI 写同款· GEO 优化 ›

mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具，备份方式为逻辑备份。它支持多线程，备份速度远高于原生态的mysqldump以及众多优异特性。因此该工具是DBA们的不二选择。本文主要描述该工具的使用方法并给出示例。

1、mydumper的特点
a、多线程逻辑备份,生产的多个备份文件
b、与mysqldump相同，备份时对 MyISAM 表施加FTWRL (FLUSH TABLES WITH READ LOCK), 会阻塞DML 语句
c、保证备份数据的一致性
d、支持文件压缩，支持导出binlog，支持多线程恢复，支持将备份文件切块
e、支持以守护进程模式工作，定时快照和连续二进制日志

主要步骤概括：

主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，以阻止DML语句写入，保证数据的一致性读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用 N个（线程数可以指定，默认是4）dump线程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致的事物 dump non-InnoDB tables, 首先导出非事物引擎的表主线程 UNLOCK TABLES 非事物引擎备份完后，释放全局只读锁 dump InnoDB tables, 基于事物导出InnoDB表事物结束

备份所生成的文件
所有的备份文件在一个目录中，目录可以自己指定目录中包含一个metadata文件记录了备份数据库在备份时间点的二进制日志文件名，日志的写入位置，如果是在从库进行备份，还会记录备份时同步至主库的二进制日志文件及写入位置
每个表有两个备份文件：

　　　　database.table-schema.sql 表结构文件

　　　　database.table.sql 表数据文件

　　　　如果对表文件分片，将生成多个备份数据文件，可以指定行数或指定大小分片

2、mydumper语法
mydumper -u [USER] -p [PASSWORD] -h [HOST] -P [PORT] -t [THREADS] -b -c -B [DB] -o [directory]

注意：命令行之间要有空格 -u 用户名 -p 密码之间必须有空格
参数说明
-B, --database 需要备份的库
-T, --tables-list 需要备份的表，多表，用逗号分隔
-o, --outputdir 输出文件的目录
-s, --statement-size 生成插入语句的字节数, 默认 1000000
-r, --rows 分裂成很多行块表
-c, --compress 压缩输出文件
-e, --build-empty-files 即使表没有数据，还是产生一个空文件
-x, --regex 正则表达式: ‘db.table’
-i, --ignore-engines 忽略的存储引擎，用逗号分隔
-m, --no-schemas 不导出表结构
-k, --no-locks 不执行共享读锁警告：这将导致不一致的备份
-l, --long-query-guard 设置长查询时间,默认60秒
–kill-long-queries kill掉长时间执行的查询
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式
-I, --snapshot-interval dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile 日志文件
-h, --host The host to connect to
-u, --user Username with privileges to run the dump
-p, --password User password
-P, --port TCP/IP port to connect to
-S, --socket UNIX domain socket file to use for connection
-t, --threads 使用的线程数，默认4
-C, --compress-protocol 在mysql连接上使用压缩协议
-V, --version Show the program version and exit
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

3、mydumper的工作过程
a、连接目标数据库；
b、通过show processlist来判断是否有长查询，根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;
c、锁定myisam表，flush tables with read lock；针对innodb table开启事务，start transaction；
d、创建worker子线程，缺省为4个；
e、确定候选表，根据类别分别插入innodb_table，non_innodb_table以及table_schemas链表(表结构)；
f、将候选表通过g_async_queue_push加入任务队列(队列最后元素是thread shutdown)，由worker子线程从队列中读取表信息并执行数据导出
g、执行unlock tables，处理完myisam表后立即解锁，以减少锁定时间；
h、等待worker退出；

4、备份文件相关信息
a、所有的备份文件在一个目录中，未指定时为当前目录，且自动生成备份日期时间文件夹，如export-20150703-145806
b、目录中包含一个 metadata 文件，该文件记录了备份时间点的二进制日志文件名，日志的写入位置
c、如果是在从库进行备份，还会记录备份时同步至主库的二进制日志文件及写入位置
d、每个表有两个备份文件：database.table-schema.sql 表结构文件，database.table.sql 表数据文件
e、如果对表文件分片，将生成多个备份数据文件，可以指定行数或指定大小分片

5、常用备份示例：
1 备份单个库

mydumper -u 用户名 -p 密码 -B 需要备份的库名 -o /tmp/bak

-B,需要备份的库 -o 输出文件的目录（备份输出指定的目录）

2 备份所有数据库：全库备份期间除了information_schema与performance_schema之外的库都会被备份

mydumper -u 用户名 -p 密码 -o /tmp/bak

-o 输出文件的目录（备份输出指定的目录）

3 备份单表

mydumper -u 用户名 -p 密码 -B 库名 -T 表名 -o /tmp/bak

-T 需要备份的表，多表用逗号分隔 -o指定输出备份文件路径

4 备份多表

mydumper -u 用户名 -p 密码 -B 库名 -T 表1,表2 -o /tmp/bak

5、当前目录自动生成备份日期时间文件夹,不指定-o参数及值时默认为：export-20150703-145806
mydumper -u 用户名 -p 密码 -B 数据库名字 -T 表名

6、不带表结构备份表

mydumper -u 用户名 -p 密码 -B 数据名字 -T 表名 -m

-m 不导出表结构

7、压缩备份及连接使用压缩协议(非本地备份时)

mydumper -u 用户名 -p 密码 -B 数据库名字 -o /tmp/bak -c -C

-c, 压缩输出文件 -C 在mysql连接上使用压缩协议 -o 输出文件的目录（备份输出指定的目录）

8、备份特定表

mydumper -u 用户名 -p 密码 -B 数据库名字 --regex=actor* -o /tmp/bak

只备份以actor*开头的表

-x 正则表达式: ‘db.table’ --regex

9、过滤特定库，如本来不备份mysql及test库

mydumper -u 用户名 -p 密码 -B 数据库名字 --regex ‘^(?!(mysql|test))’ -o /tmp/bak

10、基于空表产生表结构文件

mydumper -u 用户名 -p 密码 -B 数据库名字 -T 空表 -e -o /tmp/bak

-e 即使表没有数据，还是产生一个空文件

12、备份时输出详细更多日志

mydumper -u 用户名 -p 密码 -B 数据库名字 -T 空表 -v 3 -o /tmp/bak

-v 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info,详细输出 default 2

11、设置长查询的上限，如果存在比这个还长的查询则退出mydumper，也可以设置杀掉这个长查询
#mydumper -u leshami -p pwd -B sakila --long-query-guard 200 --kill-long-queries

13、导出binlog，使用-b参数，会自动在导出目录生成binlog_snapshot文件夹及binlog

mydumper -u leshami -p pwd -P 3306 -b -o /tmp/bak

总结：
mysql备份，备份数据库、备份数据表。恢复也是恢复数据库，恢复数据表。

参考：
mysqldump备份恢复详解：

http://blog.youkuaiyun.com/u010098331/article/details/50896175

http://blog.youkuaiyun.com/u010098331/article/details/50896725

http://www.itopers.com/blog/posts/wp/826.html

http://www.cnblogs.com/linuxnote/p/3817698.html

赠送：

三、使用方法

备份出来的sql文件，文件以数据库开头.表名[-schema].sql,有schema的为表的表结构创建语句，没有的为表数据插入语句。

[root@mysql.dmc.com bin] $. / m y d u m p e r - - d a t a b a s e = t o o l s - - o u t p u t d i r = / r o o t / m y d u m p e r - 0.6.2 / t e s t / [r o o t @ m y s q l . d m c . c o m b i n]$ cd ot/mydumper-0.6.2/test/
[root@mysql.dmc.com test]$ll -rth
total 112K
-rw-r–r--. 1 root root 972 Jan 2 18:09 tools.django_session.sql
-rw-r–r--. 1 root root 1.1K Jan 2 18:09 tools.t_guid.sql
-rw-r–r--. 1 root root 423 Jan 2 18:09 tools.t_ftpserver-schema.sql
-rw-r–r--. 1 root root 325 Jan 2 18:09 tools.django_session-schema.sql
-rw-r–r--. 1 root root 1.6K Jan 2 18:09 tools.t_serverinfo-schema.sql-rw-r–r--. 1 root root 133 Jan 2 18:09 metadata
-rw-r–r--. 1 root root 133 Jan 2 18:09 metadata

metadata这个文件记录的是当里的binlog文件及pos，可以使用这个信息搭建slave.

[root@mysql.dmc.com test]$cat metadata
Started dump at: 2015-01-02 18:09:40
SHOW MASTER STATUS:
Log: mysql-bin.000006
Pos: 4196075Finished dump at: 2015-01-02 18:09:40

Finished dump at: 2015-01-02 18:09:40

只备份t_task和t_guid表

[root@mysql.dmc.com bin]$./mydumper --database=tools --outputdir=/root/mydumper-0.6.2/test/ --tables-list=t_task,t_guid

只备份以t_server开通的表

[root@mysql.dmc.com bin]$./mydumper --database=tools --outputdir=/root/mydumper-0.6.2/test/ --regex=“tools.t_server*”

-B,–database只能指定一个库备份，如果需要同时备份多个数据库，可能这样：

[root@mysql.dmc.com bin]$./mydumper --outputdir=/root/mydumper-0.6.2/test/ --regex=“beebol.|tools.”

–threads并发度

[root@mysql.dmc.com bin]$./mydumper --outputdir=/root/mydumper-0.6.2/test/ --regex=“beebol.|tools.” --threads=8

收录于