数据导出
数据导出主要有以下几种方法:
使用select into outfile "filename"语句
使用mysqldump实用程序
使用select into outfile "filename"语句
可以在mysql的命令行下或在php程序中执行它。我下面以在mysql命令行下为例。在php中使用时,将其改成相应的查询进行处理即可。不过在使用这个命令时,要求用户拥有file的权限。如我们有一个库为phptest,其中有一个表为driver。现在要把driver卸成文件。执行命令:
mysql> use phptest;
Database Changed
mysql> select * from driver into outfile "a.txt";
Query OK, 22 rows affected (0.05 sec)
上面就可以完成将表driver从数据库中卸到a.txt文件中。注意文件名要加单引号。那么这个文件在哪呢?在mysql目录下有一个data目录,它即是数据库文件所放的地方。每个库在单独占一个子目录,所以phptest的目录为c:\mysql\data\phptest(注意:我的mysql安装在c:\mysql下)。好,现在我们进去,a.txt就是它。打开这个文件,可能是:
1 Mika Hakinnen 1
2 David Coulthard 1
3 Michael Schumacher 2
4 Rubens Barrichello 2
...
可能还有很多记录。每个字段之间是用制表符分开的(\t)。那么我们可以修改输出文件名的目录,以便放在指定的位置。如"a.txt"可以改成"./a.txt"或"/a.txt"。其中"./a.txt"放在c:\mysql\data目录下了,
而"/a.txt"文件则放在c:\目录下了。所以select命令认为的当前目录是数据库的存放目录,这里是
c:\mysql\data。
使用select命令还可以指定卸出文件时,字段之间的分隔字符,转义字符,包括字符,及记录行分隔字符。列在下面:
FIELDS
TERMINATED BY "\t"
[OPTIONALLY] ENCLOSED BY ""
ESCAPED BY "\\"
LINES
TERMINATED BY "\n"
TERMINATED 表示字段分隔
[OPTIONALLY] ENCLOSED 表示字段用什么字符包括起来,如果使用了OPTIONALLY则只有CHAR和VERCHAR被包括ESCAPED 表示当需要转义时用什么作为转义字符LINES TERMINATED 表示每行记录之间用什么分隔
上面列的是缺省值,而且这些项都是可选的,不选则使用缺省值。可以根据需要进行修改。给出一个例子如下:
mysql> select * from driver into outfile "a.txt" fields terminated by "," enclosed by """;
Query OK, 22 rows affected (0.06 sec)
结果可能如下:
"1","Mika","Hakinnen","1"
"2","David","Coulthard","1"
"3","Michael","Schumacher","2"
"4","Rubens","Barrichello","2"
...
可以看到每个字段都用","进行了分隔,且每个字段都用"""包括了起来。注意,行记录分隔符可以是一个字符串,请大家自行测试。不过,如果输出文件在指定目录下如果存在的话就会报错,先删除再测试即可。
使用mysqldump实用程序
从上面的select方法可以看出,输出的文件只有数据,而没有表结构。而且,一次只能处理一个表,要处理多个表则不是很容易的。不过可以将select命令写入一个sql 文件(复制文本应该是很容易的吧),然后在命令行下执行即可:mysql 库名
先来个最简单的吧:
mysqldump phptest > a.sql
可能结果如下:
# MySQL dump 7.1
#
# Host: localhost Database: phptest
#--------------------------------------------------------
# Server version 3.22.32-shareware-debug
#
# Table structure for table "driver"
#
CREATE TABLE driver (
drv_id int(11) DEFAULT "0" NOT NULL auto_increment,
drv_forename varchar(15) DEFAULT "" NOT NULL,
drv_surname varchar(25) DEFAULT "" NOT NULL,
drv_team int(11) DEFAULT "0" NOT NULL,
PRIMARY KEY (drv_id)
);
#
# Dumping data for table "driver"
#
INSERT INTO driver VALUES (1,"Mika","Hakinnen",1);
INSERT INTO driver VALUES (2,"David","Coulthard",1);
INSERT INTO driver VALUES (3,"Michael","Schumacher",2);
INSERT INTO driver VALUES (4,"Rubens","Barrichello",2);
...
如果有多表,则分别列在下面。可以看到这个文件是一个完整的sql文件,如果要将其导入到其它的数据库中可以通过命令行方式,很方便:mysql phptest < a.sql。如果将数据从本地传到服务器上,则可以将这个文件上传,然后在服务器通过命令行方式装入数据。
如果只想卸出建表指令,则命令如下:
mysqldump -d phptest > a.sql
如果只想卸出插入数据的sql命令,而不需要建表命令,则命令如下:
mysqldump -t phptest > a.sql
那么如果我只想要数据,而不想要什么sql命令时,应该如何操作呢?
mysqldump -T./ phptest driver
其中,只有指定了-T参数才可以卸出纯文本文件,表示卸出数据的目录,./表示当前目录,即与
mysqldump同一目录。如果不指定driver表,则将卸出整个数据库的数据。每个表会生成两个文件,一个为.sql文件,包含建表执行。另一个为.txt文件,只包含数据,且没有sql指令。
对卸出的数据文件,也可以同select方法一样,指定字段分隔符,包括字符,转义字段,行记录分隔符。参数列在下面:
--fields-terminated-by= 字段分隔符
--fields-enclosed-by= 字段包括符
--fields-optionally-enclosed-by= 字段包括符,只用在CHAR和VERCHAR字段上
--fields-escaped-by= 转义字符
--lines-terminated-by= 行记录分隔符
我想大家应该明白这些参数的意思了吧。一个例子如下:
mysqldump -T./ --fields-terminated-by=, --fields-enclosed-by=\" phptest driver
输出结果为:
"1","Mika","Hakinnen","1"
"2","David","Coulthard","1"
"3","Michael","Schumacher","2"
"4","Rubens","Barrichello","2"
...
请注意字符的使用。
小结
以上为使用select和mysqldump实用程序来卸出文本的方法。select适合利用程序进行处理,而mysqldump则为手工操作,同时提供强大的导出功能,并且可以处理整个库,或库中指定的多表。大家可以根据需求自行决定使用。
同时还有一些方法,如直接数据库文件拷贝也可以,但是移动后的数据库系统与原系统应一致才行。这里就不再提了。
导入
同导出相类似,导入也有两种方法:
使用LOAD DATA INFILE "filename"命令
使用mysqlimport实用程序
使用sql文件
由于前两个处理与导出处理相似,只不过是它们的逆操作,故只给出几种命令使用的例子,不再解释了,大家可以自行查阅手册。
使用load命令:
load data infile "driver.txt" into table driver fields terminated by "," enclosed by """;
使用mysqlimport实用程序:
mysqlimport --fields-terminated-by=, --fields-enclosed-by=\" phptest driver.txt
对于第三种,则可以使用由mysqldump导出的sql文件,在命令行下执行mysql库名
转自:http://hi.baidu.com/breezedancer/blog/item/3020c21b4da2d8faae5133e0.html
MySQL 数据库的备份和恢复
本文讨论 MySQL 的备份和恢复机制,以及如何维护数据表,包括最主要的两种表类型:MyISAM
和Innodb
,文中设计的 MySQL 版本为 5.0.22。
目前 MySQL 支持的免费备份工具有:mysqldump、mysqlhotcopy
,还可以用 SQL 语法进行备份:BACKUP TABLE
或者 SELECT INTO OUTFILE
,又或者备份二进制日志(binlog)
,还可以是直接拷贝数据文件和相关的配置文件
。MyISAM 表是保存成文件的形式,因此相对比较容易备份,上面提到的几种方法都可以使用。Innodb
所有的表都保存在同一个数据文件 ibdata1
中(也可能是多个文件,或者是独立的表空间文件),相对来说比较不好备份,免费的方案可以是拷贝数据文件
、备份 binlog
,或者用 mysqldump
。
1、mysqldump
1.1 备份
mysqldump
是采用SQL级别的备份机制,它将数据表导成 SQL 脚本文件,在不同的 MySQL 版本之间升级时相对比较合适,这也是最常用的备份方法。现在来讲一下 mysqldump
的一些主要参数:
- --compatible=name
它告诉 mysqldump,导出的数据将和哪种数据库或哪个旧版本的 MySQL 服务器相兼容。值可以为
ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options
等,要使用几个值,用逗号将它们隔开。当然了,它并不保证能完全兼容,而是尽量兼容。 - --complete-insert,-c
导出的数据采用包含字段名的完整
INSERT
方式,也就是把所有的值都写在一行。这么做能提高插入效率,但是可能会受到max_allowed_packet
参数的影响而导致插入失败。因此,需要谨慎使用该参数,至少我不推荐。 - --default-character-set=charset
指定导出数据时采用何种字符集,如果数据表不是采用默认的
latin1
字符集的话,那么导出时必须指定该选项,否则再次导入数据后将产生乱码问题。 - --disable-keys
告诉
mysqldump
在INSERT
语句的开头和结尾增加/*!40000 ALTER TABLE table DISABLE KEYS */;
和/*!40000 ALTER TABLE table ENABLE KEYS */;
语句,这能大大提高插入语句的速度,因为它是在插入完所有数据后才重建索引的。该选项只适合MyISAM
表。 - --extended-insert = true|false
默认情况下,
mysqldump
开启--complete-insert
模式,因此不想用它的的话,就使用本选项,设定它的值为false
即可。 - --hex-blob
使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用本选项。影响到的字段类型有
BINARY、VARBINARY、BLOB
。 - --lock-all-tables,-x
在开始导出之前,提交请求锁定所有数据库中的所有表,以保证数据的一致性。这是一个全局读锁,并且自动关闭
--single-transaction
和--lock-tables
选项。 - --lock-tables
它和
--lock-all-tables
类似,不过是锁定当前导出的数据表,而不是一下子锁定全部库下的表。本选项只适用于MyISAM
表,如果是Innodb
表可以用--single-transaction
选项。 - --no-create-info,-t
只导出数据,而不添加
CREATE TABLE
语句。 - --no-data,-d
不导出任何数据,只导出数据库表结构。
- --opt
这只是一个快捷选项,等同于同时添加
--add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset
选项。本选项能让mysqldump
很快的导出数据,并且导出的数据能很快导回。该选项默认开启,但可以用--skip-opt
禁用。注意,如果运行mysqldump
没有指定--quick
或--opt
选项,则会将整个结果集放在内存中。如果导出大数据库的话可能会出现问题。 - --quick,-q
该选项在导出大表时很有用,它强制
mysqldump
从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。 - --routines,-R
导出存储过程以及自定义函数。
- --single-transaction
该选项在导出数据之前提交一个
BEGIN
SQL语句,BEGIN
不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于事务表,例如InnoDB
和BDB
。本选项和--lock-tables
选项是互斥的,因为LOCK TABLES
会使任何挂起的事务隐含提交。要想导出大表的话,应结合使用--quick
选项。 - --triggers
同时导出触发器。该选项默认启用,用
--skip-triggers
禁用它。
其他参数详情请参考手册,我通常使用以下 SQL 来备份 MyISAM
表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default-character-set=utf8 --opt --extended-insert=false \ --triggers -R --hex-blob -x db_name > db_name.sql
使用以下 SQL 来备份 Innodb
表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr --default-character-set=utf8 --opt --extended-insert=false \ --triggers -R --hex-blob --single-transaction db_name > db_name.sql
1.2 还原
用 mysqldump
备份出来的文件是一个可以直接倒入的 SQL 脚本,有两种方法可以将数据导入。
- 直接用
mysql
客户端例如:
/usr/local/mysql/bin/mysql -uyejr -pyejr db_name < db_name.sql
- 用 SOURCE 语法
其实这不是标准的 SQL 语法,而是
mysql
客户端提供的功能,例如:SOURCE /tmp/db_name.sql;
这里需要指定文件的绝对路径,并且必须是mysqld
运行用户(例如 nobody)有权限读取的文件。
2、 mysqlhotcopy
2.1 备份
mysqlhotcopy
是一个 PERL 程序,最初由Tim Bunce编写。它使用 LOCK TABLES、FLUSH TABLES
和 cp
或 scp
来快速备份数据库。它是备份数据库或单个表的最快的途径,但它只能运行在数据库文件(包括数据表定义文件、数据文件、索引文件)所在的机器上。mysqlhotcopy
只能用于备份 MyISAM
,并且只能运行在 类Unix
和 NetWare
系统上。
mysqlhotcopy
支持一次性拷贝多个数据库,同时还支持正则表达。以下是几个例子:
root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name /tmp (把数据库目录 db_name 拷贝到 /tmp 下) root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name_1 ... db_name_n /tmp root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=yejr -p=yejr db_name./regex/ /tmp
更详细的使用方法请查看手册,或者调用下面的命令来查看 mysqlhotcopy
的帮助:
perldoc /usr/local/mysql/bin/mysqlhotcopy
注意,想要使用 mysqlhotcopy
,必须要有 SELECT、RELOAD(要执行 FLUSH TABLES)
权限,并且还必须要能够有读取 datadir/db_name 目录的权限。
2.2 还原
mysqlhotcopy
备份出来的是整个数据库目录,使用时可以直接拷贝到 mysqld
指定的 datadir (在这里是 /usr/local/mysql/data/)目录下即可,同时要注意权限的问题,如下例:
root#cp -rf db_name /usr/local/mysql/data/
root#chown -R nobody:nobody /usr/local/mysql/data/ (将 db_name 目录的属主改成 mysqld
运行用户)
3、 SQL 语法备份
3.1 备份
BACKUP TABLE
语法其实和 mysqlhotcopy
的工作原理差不多,都是锁表,然后拷贝数据文件。它能实现在线备份,但是效果不理想,因此不推荐使用。它只拷贝表结构文件和数据文件,不同时拷贝索引文件,因此恢复时比较慢。例子:
BACK TABLE tbl_name TO '/tmp/db_name/';
注意,必须要有 FILE
权限才能执行本SQL,并且目录 /tmp/db_name/ 必须能被 mysqld
用户可写,导出的文件不能覆盖已经存在的文件,以避免安全问题。
SELECT INTO OUTFILE
则是把数据导出来成为普通的文本文件,可以自定义字段间隔的方式,方便处理这些数据。例子:
SELECT INTO OUTFILE '/tmp/db_name/tbl_name.txt' FROM tbl_name;
注意,必须要有 FILE
权限才能执行本SQL,并且文件 /tmp/db_name/tbl_name.txt 必须能被 mysqld
用户可写,导出的文件不能覆盖已经存在的文件,以避免安全问题。
3.2 恢复
用 BACKUP TABLE
方法备份出来的文件,可以运行 RESTORE TABLE
语句来恢复数据表。例子:
RESTORE TABLE FROM '/tmp/db_name/';
权限要求类似上面所述。
用 SELECT INTO OUTFILE
方法备份出来的文件,可以运行 LOAD DATA INFILE
语句来恢复数据表。例子:
LOAD DATA INFILE '/tmp/db_name/tbl_name.txt' INTO TABLE tbl_name;
权限要求类似上面所述。倒入数据之前,数据表要已经存在才行。如果担心数据会发生重复,可以增加 REPLACE
关键字来替换已有记录或者用 IGNORE
关键字来忽略他们。
补充:
shell> mysqldump --quick db_name | gzip > db_name.contents.gz
(该例子中创建的文件是压缩格式)。
恢复/转移到另一台的命令如下:
shell> gunzip < db_name.contents.gz | mysql db_name
以上命令,适用于*nix 操作系统的机器
4、 启用二进制日志(binlog)
采用 binlog
的方法相对来说更灵活,省心省力,而且还可以支持增量备份。
启用 binlog
时必须要重启 mysqld
。首先,关闭 mysqld
,打开 my.cnf
,加入以下几行:
server-id = 1 log-bin = binlog log-bin-index = binlog.index
然后启动 mysqld
就可以了。运行过程中会产生 binlog.000001
以及 binlog.index
,前面的文件是mysqld
记录所有对数据的更新操作,后面的文件则是所有 binlog
的索引,都不能轻易删除。关于binlog
的信息请查看手册。
需要备份时,可以先执行一下 SQL 语句,让 mysqld
终止对当前 binlog
的写入,就可以把文件直接备份,这样的话就能达到增量备份的目的了:
FLUSH LOGS;
如果是备份复制系统中的从服务器,还应该备份 master.info 和 relay-log.info 文件。
备份出来的 binlog
文件可以用 MySQL 提供的工具 mysqlbinlog
来查看,如:
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001
该工具允许你显示指定的数据库下的所有 SQL 语句,并且还可以限定时间范围,相当的方便,详细的请查看手册。
恢复时,可以采用类似以下语句来做到:
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001 | mysql -uyejr -pyejr db_name
把 mysqlbinlog
输出的 SQL 语句直接作为输入来执行它。
如果你有空闲的机器,不妨采用这种方式来备份。由于作为 slave
的机器性能要求相对不是那么高,因此成本低,用低成本就能实现增量备份而且还能分担一部分数据查询压力,何乐而不为呢?
5、 直接备份数据文件
相较前几种方法,备份数据文件最为直接、快速、方便,缺点是基本上不能实现增量备份。为了保证数据的一致性,需要在靠背文件前,执行以下 SQL 语句:
FLUSH TABLES WITH READ LOCK;
也就是把内存中的数据都刷新到磁盘中,同时锁定数据表,以保证拷贝过程中不会有新的数据写入。这种方法备份出来的数据恢复也很简单,直接拷贝回原来的数据库目录下即可。
注意,对于 Innodb
类型表来说,还需要备份其日志文件,即 ib_logfile*
文件。因为当 Innodb
表损坏时,就可以依靠这些日志文件来恢复。
6、 备份策略
对于中等级别业务量的系统来说,备份策略可以这么定:第一次全量备份,每天一次增量备份,每周再做一次全量备份,如此一直重复。而对于重要的且繁忙的系统来说,则可能需要每天一次全量备份,每小时一次增量备份,甚至更频繁。为了不影响线上业务,实现在线备份,并且能增量备份,最好的办法就是采用主从复制机制(replication
),在 slave
机器上做备份。
7、 数据维护和灾难恢复
作为一名DBA(我目前还不是,呵呵),最重要的工作内容之一是保证数据表能安全、稳定、高速使用。因此,需要定期维护你的数据表。以下 SQL 语句就很有用:
CHECK TABLE 或 REPAIR TABLE,检查或维护 MyISAM 表 OPTIMIZE TABLE,优化 MyISAM 表 ANALYZE TABLE,分析 MyISAM 表
当然了,上面这些命令起始都可以通过工具 myisamchk
来完成,在这里不作详述。
Innodb
表则可以通过执行以下语句来整理碎片,提高索引速度:
ALTER TABLE tbl_name ENGINE = Innodb;
这其实是一个 NULL
操作,表面上看什么也不做,实际上重新整理碎片了。
通常使用的 MyISAM
表可以用上面提到的恢复方法来完成。如果是索引坏了,可以用 myisamchk
工具来重建索引。而对于 Innodb
表来说,就没这么直接了,因为它把所有的表都保存在一个表空间了。不过Innodb
有一个检查机制叫 模糊检查点
,只要保存了日志文件,就能根据日志文件来修复错误。可以在my.cnf 文件中,增加以下参数,让 mysqld
在启动时自动检查日志文件:
innodb_force_recovery = 4
关于该参数的信息请查看手册。
8、 总结
做好数据备份,定只好合适的备份策略,这是一个DBA所做事情的一小部分,万事开头难,就从现在开始吧!