weibocatch mysql 和 mongodb 还原

我用的ubuntu linux14.04   

修改 /etc/crontab 文件：

#每6小时的第一分钟就执行一次备份程序
01 */6 * * * luis sh /usr/sbin/bakmysql

注意，这里的程序用户我换成了我自己luis 用户

备份mysql和mongodb

#!/bin/sh

name=`date +%Y%m%d-%H`
mysqldump weibocatch -uroot -p密码 > /mysqlbackup/$name.sql
mongodump -h 127.0.0.1:27017 -d weibocatch -o /mysqlbackup/mongobackup/$name

改进版：

#!/bin/sh
name=`date +%Y%m%d-%H`
mysqldump weibocatch -uroot -p852369 > /mysqlbackup/$name.sql 2>/mysqlerr.txt
/home/luis/mongodb-3.0.5/bin/mongodump -h 127.0.0.1:27017 -d weibocatch -o /mysqlbackup/mongobackup/$name 1>/mongodbco.txt 2>&1

1：表示标准输出  2表示标准错误输出  0表示标准输入

这里mongodb 会有一些奇怪的地方，我觉得无论正确与否，好像都是把结果放入到标准错误输出。。。所有结果都在标准错误输出。。。

我用了一个2到1 的重定向。。。所以。。。只有一个文件。。

为什么mongodb要写全路径呢？因为如果不写的话，crontab 加载函数的时候就 因为不会加载完全环境变量。。。这一点很坑。。。

所以 干脆写完整程序路径运行。。。这样就保证在 任何环境都可以用。。。

这也解释了为什么我敲击命令可以执行，但是去crontab里不能运行了。。。

因为虽然我配置好了mongodb环境变量，但是由于是解压即用版本不是安装包版，只放在了私人用户目录下，在crontab里不一定会加载。。。

这也就找不到可运行的备份函数了。。

mysql 不一样 。。。因为我的mysql 是apt-get 安装的，任何用户都可以用，我觉得ubuntu应该把对应的环境变量和配置都已经分散配置到各个系统文件里去了。

所以crontab 肯定可以加载mysql 的环境变量。。。就可以不用写程序函数的全部路径。。。

打开mysql的binlog

修改这个配置文件  /etc/mysql/my.conf
log-bin = 设置路径
一般放在= /var/log/mysql/mysql-bin.log
比如上面的设置重启数据库会生成mysqlbin.000001文件

一定要重启

还有其他 的配置，log_error=设置路径

mysql -u root -p weibocatch</mysqlbackup/20150924-09.sql

mongodb 的恢复比较奇怪，要先用一个终端脸上mongodb 然后用另一个新终端执行如下命令

mongorestore -h 127.0.0.1 -d weibocatch --drop /mysqlbackup/mongobackup/20150924-09/weibocatch/

--drop 表示要先删掉原来的文档。在进行恢复，否则就会有键值id的冲突。

差异还原：

先用上面的最近的备份还原数据库，

然后用binlog 进行差异还原

cd /var/log/mysql 然后 ls -al 找到最合适的binlog生成文件的时间

mysqlbinlog --no-defaults --database=weibocatch --start-datetime='2015-10-12 06:00:00' /var/log/mysql/mysql-bin.000059 > /log00.txt

mysqlbinlog --no-defaults --database=weibocatch --start-datetime='2015-10-12 06:00:00' /var/log/mysql/mysql-bin.000060 > /log01.txt

………………&……………………

然后打开这样的txt 文件就可以看到一些执行 的语句了（好像只能看到insert的内容）

然后你可以grep 选出你需要的语句行放到另一个文件（比如grep 表名，表示只操作了对应表的语句，导出到另一个文件）

最后进入mysql  ： mysql> source /log00.txt

mysql> source /log01.txt

………………&……………………

就可以差异还原了。

补充一些ubuntu里感叹号语法的用法：

Event Designators
事件指示器 (event designator) 是一个对历史列表中某个命令行条目的引用。

!      开始一个命令替换，在后面跟随的字母不是“空格、换行、回车、=和(”时。
!n     引用命令行 n.
!-n    引用当前命令行减去 n.
!!     引用上一条命令。这是 `!-1' 的同义词。
!string
引用最近的以 string 开始的命令。
!?string[?]
引用最近的包含 string 的命令。尾部的 ? 可以被忽略，如果 string 之后紧接着一个新行符。
^string1^string2^
快速替换。重复上一条命令，将 string1 替换为 string2.  与 ``!!:s/string1/string2/'' 等价 (参见下面的 修饰符 (Modifiers))。
!#     到此为止输入的整个命令行。