通过mysql binlog文件生成指定时间段的SQL语句

最新推荐文章于 2024-08-25 15:58:25 发布

转载最新推荐文章于 2024-08-25 15:58:25 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/michaelshu/blog/2961508

文章标签：

#数据库 #python

本文介绍了一种通过mysqlbinlog和binlog2sql工具恢复MySQL数据库数据的方法，即使在没有进行drop或delete操作的情况下，也能通过定时备份和指定时间段的SQL语句找回丢失的数据。

2019独角兽企业重金招聘Python工程师标准>>>

背景：当MySQL数据库无操作(drop，delete)，如何通过mysql binlog文件找回来？

我们可以通过定时备份，先还原到某个时间点，然后用binlog2sql工具将mysql binlog文件生成指定时间段的SQL语句：

1. 下载binlog2sql工具：

https://github.com/danfengcao/binlog2sql

2. binlog2sql解压后，将如mysql-bin.000102放到binlog2sql-master/binlog2sql 目录下

3. 执行命令，生成指定时间段的SQL文件：

python binlog2sql.py -h141.91.24.182 -P3306 -uroot -p'acbcs2!#' -dDBtest --start-file='mysql-bin.000102' --start-datetime='2018-11-26 17:10:00' --stop-datetime='2018-11-26 17:40:00' > ./sql_102.sql

4. 在生成的SQL文件中搜索含关键字的语句，如：

grep "5bfb30bfba46f.mp4" sql.sql_org > out.log

cat out.log

这样就可以找到相关的SQL语句。

转载于:https://my.oschina.net/michaelshu/blog/2961508

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

oldbalck

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

第78讲：截取MySQL Binlog二进制日志中特定部分内容的技巧

江晓龙的博客

12-15

1万+

使用标识位Position号来截取Binlog日志中部分的数据内容时，最关键的部分就在于如何确定要截取数据的标识位号范围，也就是确定标识位的起点和终点部分，我们可以查看Binlog的事件信息，找到要恢复的数据属于哪一个事件，然后获取事件的开始标识位和结束标识位，此时也就能确定要恢复的数据在Binlog日志中的位置。根据特定的情况以及需求去恢复Binlog日志中的数据时，需要通过截取的方式，截取特定时间段产生的Binlog日志，然后进行数据恢复，或者截取指定的开始标识位到结束标识位之间的Binlog日志。

binlog解析工具-my2sql

m0_71902491的博客

06-21

1846

1.my2sql简介my2sql是使用go语言开发的MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_rollback工具二次开发而来。my2sql的GitHub地址：https://github.com/liuhr/my2sql2.my2sql用途3.产品性能对比。

参与评论您还未登录，请先登录后发表或查看评论

编写指定日期导出mysqlbinlog为.sql文件的程序

weixin_33806914的博客

03-10

204

近期发表的文章《企业级数据备份，rsync加shell编程，实现增量备份》，链接：http://yaozb.blog.51cto.com/2762349/509266 有读者提出疑问，在恢复某一天的备份文件时非常方便，但是，想到精确恢复到某一个时间点，那就必须一个一个的利用mysqlbinlog工具，将产生的binlog文件依次导出为.sql文件，这样会不会非常麻...

mysqlbinlog 解析binlog文件为可读的sql语句

IChen.的博客

10-16

1038

【代码】mysqlbinlog 解析binlog文件为可读的sql语句。

每天进步一点点——mysql——mysqlbinlog

不再疯要傻

07-17

1712

一、简介 mysqlbinlog：用于查看服务器生成的二进制日志的工具。二、命令格式 mysqlbinlog 选项日志文件1 日志文件2 三、常用参数 -d--database=name：指定数据库名称，只列出指定数据库相关操作 -o--offset=#：忽略掉日志中前N行命令 -r--result-file=name：将输出的文

mysql bin.000040_通过BINLOG日志查找指定日期的SQL语句_MySQL

weixin_35793018的博客

01-27

586

bitsCN.com通过BINLOG日志查找指定日期的SQL语句在95数据库服务器查找posts.post_thread的postid=1652971，在 2013-02-24 日执行的对数据有修改的SQL语句www.bitsCN.com# grep datadir /etc/mysql/my.cnfdatadir =...

通过BINLOG日志查找指定日期的SQL语句

肆意的青春

02-26

1460

在95数据库服务器查找posts.post_thread的postid=1652971，在 2013-02-24 日执行的对数据有修改的SQL语句 # grep datadir /etc/mysql/my.cnf datadir = /ssd/mysql # cd /ssd/mysql # mysql ...

Linux环境通过my2sql误删MySQL数据binlog恢复

qq_41349627的博客

08-25

740

github地址go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_rollback工具二次开发而来。最后在说下这个和,上面这个例子相当于回滚到,后面的DML都失效了。

my2sql和binlog2sql解析工具

最新发布

07-02

my2sql工具的核心功能包括从binlog中导出指定时间段或事件的SQL语句，支持灵活的查询条件设置，使得用户可以精确地获取需要的数据变更记录。其应用场景广泛，不仅可以用于数据库的日常维护，还能在数据迁移过程中，...

万字长文MySQL Binlog 详细指南

一个8年大数据开发工程师的碎碎念

07-04

6639

Binlog(二进制日志)是MySQL服务器层维护的一种二进制格式的日志文件。它记录了所有的DDL(数据定义语言)语句和DML(数据操作语言)语句,但不包括数据查询语句(SELECT、SHOW等)。Binlog是MySQL中非常重要的一个功能，它在数据恢复、主从复制、审计等方面发挥着关键作用。深入理解和熟练使用binlog，对于管理大型MySQL数据库至关重要。

Mysql binlog数据恢复(使用mysqlbinlog_flashback逆向生成SQL语句)

NoBug Blog

02-23

2640

这里有个建议，由于mysql默认是不开启binlog的，如果是线上数据库，或者比较重要的数据库，建议还是将binlog开启，而且格式设为ROW类型的。防止出现问题时，也有恢复的退路，养成定期备份数据库的习惯。通过命令，查看是否开启了binlog。 show variables like 'log_%'; 数据恢复方法： 1.用最近的全量备份，然后在加上全量备份时间点后的binlog日志，然后先还原全量备份，在通过命令把binlog执行掉，这样数据就能还原了，这种方法，不限binlog的日志格式，RO

把mysql的bin日志解析成sql语句_mysql将bin-log日志文件转为sql文件的方法

weixin_42298068的博客

01-21

2671

查看mysqlbinlog版本mysqlbinlog -V [--version]查看binlog日志开启状态show variables like '%log_bin%';mysql打开bin-log日志后，mysql数据库的非查询操作会将记录保存到bin-log文件中。一般bin-log日志文件不能打开查看的，需要用到mysql的工具进行。假设/mysql/data/目录中存放着二进制文件my...

mysqlbinlog 命令筛选时间段某表操作记录

weixin_33850015的博客

08-27

3556

找出18号0点到19号9点，筛选出数据库jiuku_ywinename_sph表前后6条操作记录grep -B 1 B是前面(Before 1)grep -A 1 A是后面(After 1）mysqlbinlog --start-datetime='2014-08-18 00:00:00' --stop-datetime='2014-08-19 09:00:00' mysq...

mysqlbinlog恢复某段时间的数据

weixin_37578680的博客

01-21

1230

mysqlbinlog -d ods --skip-gtids=true --start-datetime=“2020-01-20 9:54:26” --stop-datetime=“2020-01-20 9:56:09” /home/mysql/log/mysql-bin.000004 |mysql -uroot -p

MySQL binlog日期解析

csswx0923的博客

01-12

554

由于业务环境中MySQL 二进制日志复制是基于行的，昨天开发跑过来让查询有没有人对库进行过插入操作用mysqlbinlog 工具查询出来的日志全是base-64编码的信息。这是因为从MySQL 5.1开始，binlog支...

通过binlog恢复误delete的数据(一)

chenliang

03-03

2335

文章目录1.1 故障说明1.2 数据库环境1.3 源数据模拟1.4 故障模拟1.5 解决思路1.6 故障处理步骤 1.1 故障说明 01：生产环境上,使用delete命令删除了一条记录(数据),条件指定错误了; 02：生产环境上是开启了binlog日志的,模式为row模式; 03：需要马上进行数据的恢复; 1.2 数据库环境 ## 数据库版本、binlog的配置 mysql> sele...

【面试题】MySQL的binlog有有几种录入格式？分别有什么区别？

猫巳的博客

11-10

1735

有三种格式，statement，row和mixed。 statement模式下，每一条会修改数据的sql都会记录在binlog中。不需要记录每一行的变化，减少了binlog日志量，节约了IO，提高性能。由于sql的执行是有上下文的，因此在保存的时候需要保存相关的信息，同时还有一些使用了函数之类的语句无法被记录复制。 row级别下，不记录sql语句上下文相关信息，仅保存哪条记录被修改。记录单元为每一行的改动，基本是可以全部记下来但是由于很多操作，会导致大量行的改动(比如alter table)，因此这种模式

mysqlbinlog根据时间点提取SQL

weixin_33892359的博客

08-17

731

将test库2017-08-14 16:30:29至2017-08-14 17:30:31的binlog日志导出为1.sql：mysqlbinlog--start-datetime="2017-08-1416:30:29"--stop-datetime="2017-08-1417:30:31"--database=testmysql-bin.000893>...

mysql binlog查看历史sql执行记录

hello_250的博客

04-04

4416

1、首先确认数据库是否开启了binlog该命令将显示MySQL是否启用了二进制日志，以及日志文件的名称。如果输出结果中的Value为ON，则表示MySQL已经启用了二进制日志。如果Value为OFF，则表示MySQL没有启用二进制日志。

mysql 通过binlog2sql回滚

03-23

### 使用 binlog2sql 工具生成回滚 SQL 文件为了通过 `binlog2sql` 从 MySQL 的二进制日志中提取并生成用于回滚操作的 SQL 文件，可以按照以下方法实现： #### 准备工作确保已安装 Python 和必要的依赖库。`binlog2sql` 是基于 Python 编写的工具，它利用了 `python-mysql-replication` 库来解析 MySQL 的 binlog 数据[^2]。可以通过 pip 安装该工具及其依赖项： ```bash pip install pymysql python-dateutil mysql-replication git clone https://github.com/danfengcui/binlog2sql.git cd binlog2sql ``` #### 基本命令结构运行 `binlog2sql` 的基本命令如下所示： ```bash binlog2sql --flashback --start-datetime="YYYY-MM-DD HH:MM:SS" \ --stop-datetime="YYYY-MM-DD HH:MM:SS" -h hostname -u username -p password \ -P port_number --databases=database_name --tables=table_name ``` 其中参数解释如下： - `--flashback`: 表示生成反向（即回滚）SQL。 - `--start-datetime` 和 `--stop-datetime`: 指定时间范围内的 binlog 记录被转换成 SQL[^3]。 - `-h`, `-u`, `-p`, `-P`: 连接数据库所需的信息。 - `--databases` 和 `--tables`: 可选过滤条件，指定特定数据库或表的操作记录。 #### 输出结果存储至文件默认情况下，上述命令会将生成的结果打印到标准输出流 (stdout)，可将其重定向保存为 `.sql` 文件以便后续使用： ```bash binlog2sql ...options... > rollback.sql ``` 这样就创建了一个名为 `rollback.sql` 的文件，里面包含了可用于撤销目标时间段内更改的所有逆向 SQL 语句[^1]。 #### 处理多线程环境下的潜在冲突当存在并发事务或者复杂场景下需要考虑单条或多条 SQL 执行顺序时，应特别注意避免因乱序或其他因素造成的数据不一致问题[^4]。一般建议按需调整脚本逻辑以适应具体业务需求；如果确实有必要，则可通过增加额外控制机制比如锁管理等方式解决此类同步难题。 ```python import threading def execute_sql(sql_statement, thread_id): # 实现具体的SQL执行流程... pass threads = [] for sql in parsed_statements: t = threading.Thread(target=execute_sql, args=(sql,)) threads.append(t) t.start() for t in threads: t.join() ``` 以上代码片段展示了如何在一个简单的例子中启动多个独立线程分别处理不同的 SQL 请求，并等待它们全部完成后再继续下一步动作。 ---