MySQL 自动的故障安全恢复详解(ACSR)

第五章:MySQL-存储引擎 1、简介 相当于Linux文件系统,只不过比文件系统强大 2、功能了解 数据读写 数据安全和一致性 提高性能 热备份 自动故障恢复 高可用方面支持 等. 3、存储引擎种类(笔试) 3.1 介绍(Oracle MySQL) InnoDB MyISAM MEMORY ARCHIVE FEDERATED EXAMPLE BLACKHOLE MERGE NDBCLUSTER CSV 3.2 引擎种类查看 show engines; 存储引擎是作用在表上的,也就意味着,不同的表可以有不同的存储引擎类型。 Per 阅读详情

更新操作

在一行数据被更新时:

1、在使用BEGIN开启事务时,会先给.ibd文件中分配一个TXID号和LSN号,假设为tx_01与lsn1001;

2、在UPDATE执行时,MySQL会找到需更新数据的数据页,并将其内容加载到data buffer pool中,由DBWR(double write)线程记录变更数据页的内容,并且记录好TXID和更新LSN号,此时将产生脏页与脏数据;

3、使用LOGBWR(log double write)线程,将更新前的数据页变化内容与TXID号以及LSN号记录到undo log buffer中;

4、使用LOGBWR(log double write)线程,将更新后的数据页变化内容与TXID号以及LSN号记录到redo log buffer中。

现在,基于WAL原则为了应对用户进行ROLLBACK操作,LOGBWR(log double write)线程会将undo log buffer中的内容全部写入到undo_log即ibdata1(MySQL5.7版本undo_log仍然存在于共享表空间中)文件中。

COMMIT操作

现在我们基于上面BEGIN后发生的情况执行COMMIT操作,内部会做以下的3件事:

1、执行COMMIT操作,基于WAL原则,LOGBWR线程会先将redo log buffer中记录的日志信息写入redo_log文件中,在日志信息完全写入redo_log即ib_logfile文件后,会对该日志打上COMMIT的标志;

2、触发CKPT,将内存数据页更新到磁盘中,并且更新磁盘数据页文件userInfo.ibd中原有的LSN号,让其与redo_log文件中的LSN号保持一致;

3、清空内存undo log buffer、data buffer pool、redo log buffer以及磁盘上undo_log中的数据。

可以看到整个事务提交的过程是先写日志,再落盘写数据。

其实redo log buffer将数据刷新到redo_log文件中的策略除开自己手动执行COMMIT外还有另一种情况。

在多任务时,其他线程COMMIT操作也可能会导致整个redo log buffer的刷新,刷新的redo_log文件中会对本线程提交的事务打上NOCOMMIT的标记。

其实这种现象取决于data buffer pool中存储的数据量占据data buffer pool总量,一般来说如果占据到70%左右就会触发该现象,我们可以对其进行手动设置,但一般来说保持默认值即可。

回滚

现在我们基于上面BEGIN后发生的情况执行ROLLBACK操作,内部会做以下2件事:

1、执行ROLLBACK操作,LOGBWR线程会将undo log buffer中的数据重写回到data buffer pool中,并且会把内存脏页数据恢复到最开始的值,然后对LSN号进行回滚更正;

2、清空内存undo log buffer、redo log buffer以及磁盘上undo_log中的数据。

前滚

MySQL : 在启动时,必须保证redo日志文件和数据文件LSN必须一致, 如果不一致就会触发CSR,最终保证一致。

情况一:

我们做了一个事务,begin;update;commit。

1、begin时,会立即分配一个TXID=tx_01.

2、update时,会将需要修改的数据页(dp_01,LSN=1001),加载到data buffer中;

3、DBWR线程,会进行dp_01数据页修改更新,并更新LSN=1002;

4、LOGBWR日志写线程,会将dp_01数据页的变化+LSN+TXID存储到redobuffer;

5、执行commit时,LGWR日志写线程会将redobuffer信息写入redolog日志文件中,基于WAL原则;

在日志完全写入磁盘后,commit命令才执行成功(会将此日志打上commit标记);

6、假如此时宕机,内存脏页没有来得及写入磁盘,内存数据全部丢失;

7、MySQL再次重启时,必须要redolog和磁盘数据页的LSN是一致的,但是此时dp_01、TXID=tx_01磁盘是LSN=101、dp_01、TXID=tx_01、redolog中LSN=102;

MySQL此时无法正常启动,MySQL触发CSR。在内存追平LSN号,触发ckpt,将内存数据页更新到磁盘,从而保证磁盘数据页和redolog LSN一致,这时MySQL正常启动。

以上的工作过程,我们把它称之为基于REDO的"前滚操作"。

Log sequence number: 当前系统最大的LSN号;

log flushed up to:当前已经写入redo日志文件的LSN;

pages flushed up to:已经将更改写入脏页的lsn号;

Last checkpoint at就是系统最后一次刷新buffer pool脏中页数据到磁盘的checkpoint。

以上4个LSN是递减的,即:LSN1>=LSN2>=LSN3>=LSN4。

比对redo的LSN和数据页的LSN,如果数据页的LSN比redo小,那么就需要通过redo对数据页进行重做。

前滚回滚

如果在COMMIT操作过程前发生了宕机,此时内存中的数据会全部丢失,但是恰好宕机前一秒由于其他线程的COMMIT操作导致了整个redo log buffer的自动刷新,此时redo_log文件中已经写入了刚刚本线程操作事务的TXID号以及LSN号,且标记此次操作是NOCOMMIT状态的情况下重启mysqld.service服务时,将会产生如下情况:

1、重启mysqld.service服务,发现redo_log中记录的LSN号和ibd文件中记录的LSN号不一致,将触发CSR自动故障恢复机制的第一个阶段,前滚操作开始;

2、通过redo_log文件中的变更记录日志,在内存数据页中恢复更改的数据;

3、发现redo_log文件中的事务标记是NOCOMMIT,将触发CSR自动故障恢复的第二个阶段,回滚操作开始;

4、通过undo log文件中的信息记录,在内存数据页中对前滚数据进行更改;

5、使用LOGBWR线程,将更新的数据页变化信息与TXID以及LSN号记录到redo log buffer中;

6、此时LOGBWR线程会先将redo log buffer中记录的信息写入到redo_log文件中,在日志信息完全写入log file即ib_logfile文件后,会对该日志打上COMMIT标记;

7、触发CKPT,将内存数据页更新到磁盘文件ibd中;

8、回滚工作完成,redo_log中记录的LSN号与ibd中记录的LSN号一致,mysqld.service服务正常启动。

以上文章来源于公众号-数据和云 ,作者陈家睿  

MySQL中恢复被误删除表数据的方法详解 在MySQL中,当发生误删除表数据的情况时,我们可以采取多种方法来恢复数据。当我们使用事务进行数据操作时,可以通过执行ROLLBACK语句来撤销之前的操作,包括误删除的数据。需要注意的是,使用回滚日志恢复数据可能会导致其他修改操作的回滚,因此在执行恢复操作之前,务必确认回滚的范围和影响。如果我们定期进行数据库备份,并且在误删除数据之前有可用的备份文件,那么可以通过恢复备份文件来恢复被误删除的表数据。需要注意的是,使用备份恢复数据将会覆盖当前数据库中的数据,并且可能会导致其他未被删除的数据丢失。 阅读详情

相关推荐

IFIX往Mysql数据库同步数据方法

通过IFix数据库向Mysql数据库同步数据

仙人掌 1598

Mysql中默认自动事务autocommit关闭和开启方式、rollback回滚恢复数据的使用方法

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档。

睡不醒的每天 8175

c语言【分糖果】2023蓝桥杯4124(枚举,递归,dfs)

但是这是不符合我们糖果刚好分完的条件的,我们应该往回退到上一层,也就是孩子6这层,然后j+1=3,孩子7分到3个第二种糖果,这也不符合我们糖果刚好分完的条件,然后就会再次回退到孩子6这里,然后j+1=4,让我们的孩子7获得5块第二种糖果,然后还是不符合糖果刚分完的条件,于是再一次退回到孩子6这里,然后就会有外循环i+1=1,j=1,孩子7分到1块第一种糖果1块第二块糖果......然后就是这样的不停地回溯,试探,直到把整棵树遍历一遍,并且记录所有的满足条件的组合。先放一下我的代码,我的代码超时啦救命!

weixin_74331419的博客 733

MySQL 进阶03

文章目录五、存储引擎1.种类2.innodb引擎的优点3.事务(ACID)4.事务的生命周期5.隔离级别6.mysql如何防止不可重复读(RR模式下)7.mysql如何防止幻读(RR模式下)六、日志和备份恢复1.日志2.备份恢复七、mysql主从1.搭建2.原理(简单版本)3.原理(复杂版本)八、数据库架构1.最开始的主从2.读写分离架构的主从3.高可用架构4.分布式架构 -----转自 【王者-...

OldBoy Python学习笔记 324

antv x6 沿边图标循环动画实现

2.使用transition给边设置动画,利用complte方法实现循环动画。实现效果,如下图,边上存在两个图标,要求图标延边一直循环动画。1.注册一个自定义边,边上定义两个图标,并设置其初始位置。

lingliu0824的博客 3366

Unreal 5 MetaHuman插件全流程:从安装到角色动画生成

本文详细介绍了Unreal 5中MetaHuman插件的全流程使用指南,从安装配置到角色动画生成。通过Quixel Bridge下载预设角色,利用面部捕捉技术赋予数字人模型生命力,并提供材质编辑、性能优化等进阶技巧,帮助用户快速创建照片级真实的虚拟角色。

weixin_29009081的博客 835

五、MySQL的备份及恢复

作用:当数据库存在故障时,恢复能尽最大可能进行即时点恢复,因为二进制日志内包含了备份后进行的所有更新,所以二进制日志还用于在主复制服务器上记录所有将发送给从服务器的语句。日志记录文件为slow_query_log_file[=file_name] 若没有给定file_name, 默认为主机名,后缀为-slow.log。在数据库保存数据时,有时候不可避免会出现数据丢失或者被破坏,这样情况下,我们必须保证数据的安全性和完整性,就需要使用日志来查看或者恢复数据了。语言语句以事件形式保存,描述了数据的更改。

搞运维的 1532

GEE聚类分析:基于sentinel-2 影像进行 K-Means 聚类分析

这篇博客介绍了如何使用 Google Earth Engine (GEE) 进行 K-Means 聚类分析,以识别感兴趣区域(ROI)内的不同地表覆盖类型。文章详细说明了从定义用户参数、准备参考区域、加载和预处理 Sentinel-2 图像,到训练 K-Means 聚类器并对图像进行聚类的完整流程。代码示例展示了如何设置参数、采样像素数据、训练聚类器,并将结果可视化。最后,还提供了将聚类结果导出到 Google Drive 的选项。通过该教程,用户可以掌握在 GEE 平台上进行地理数据聚类分析的基本方法。

此星光明博客 263

MySQL-备份+日志:介质故障与数据库恢复

模拟介质故障的发生,以及如何利用备份和备份之后的日志恢复数据库。本关任务: 备份数据库,然后再恢复它。

蒋劲豪的博客 1806

具身智能:原理、算法与系统 第18章 模仿学习与人类示范

与基于试错机制的强化学习不同,模仿学习假设存在能够提供高质量轨迹示范的专家策略,学习者的目标是在不直接访问专家内部决策机制的情况下,复现或泛化专家的行为模式。此外,选项 GAIL(Option-GAIL)将分层强化学习与对抗模仿结合,学习选项(Options)级别的策略,能够捕捉专家示范中的多模态行为与高层意图。X-Sim 框架提出从真实到模拟再到真实的迁移路径:首先从人类视频中重建物理仿真环境,在仿真中训练状态级策略,随后通过策略蒸馏获得基于视觉的策略,最后通过在线领域自适应对齐真实与仿真观测。

VectorShift的博客 127

I2C通信——时序图

本文用逻辑分析仪抓取主机I2C通信的时序图,抓取的过程是读某个寄存器的值。

weixin_43772611的博客 7359

MySQL-第五章(上)-存储引擎

1、简介 相当于Linux文件系统,只不过比文件系统强大 2、功能了解 数据读写 数据安全和一致性 提高性能 热备份 自动故障恢复 高可用方面支持等 3、存储引擎种类(笔试) 3.1 介绍(Oracle MySQL) InnoDB MyISAM MEMORY ARCHIVE FEDERATED EXAMPLE BLACKHOLE MERGE NDBCLUSTER CSV 3.2 引擎种类查看 show engines; 存储引擎是作用在表上的,也就

因上努力,果上随缘。但行好事,莫问前程。 441

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

maxvalue mysql自动分区_赞!7000 字学习笔记,MySQL 从入到放弃

MySQL数据库简介MySQL近两年一直稳居第二,随时有可能超过Oracle计晋升为第一名,因为MySQL的性能一直在被优化,同时安全机制也是逐渐成熟,更重要的是开源免费的。MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL ...

weixin_39695374的博客 96

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

赞!7000 字学习笔记,MySQL 从入到放弃

MySQL数据库简介MySQL近两年一直稳居第二,随时有可能超过Oracle计晋升为第一名,因为MySQL的性能一直在被优化,同时安全机制也是逐渐成熟,更重要的是开源免费的。MySQL是...

民工哥的博客 1295

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Mysql的储存引擎

1.MySQL数据文件类型ib_buffer_pool:热数据缓存数据,下次启动优先加载ibdata1:系统数据字典信息(整个数据库统计信息,表的元数据),UNDO(回滚)表空间等数据。又被称为共享表空间ib_logfile0 ~ ib_logfile1: REDO(重做日志)日志文件,事务日志文件ibtmp1: 临时表空间磁盘位置,存储临时表frm:存储表的列信息ibd:表的数据行和索引2.共享表空间需要将所有数据存储到同一个表空间中 ,耦合性大,管理比较混乱。

weixin_64252848的博客 727

mysql 不同分区 同时insert_赞!7000 字学习笔记,MySQL 从入到放弃

MySQL数据库简介MySQL近两年一直稳居第二,随时有可能超过Oracle计晋升为第一名,因为MySQL的性能一直在被优化,同时安全机制也是逐渐成熟,更重要的是开源免费的。MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL ...

weixin_39522170的博客 223

mysql罏在十三_十三、Mysql的存储引擎

一、什么是存储引擎存储引擎是MySQL数据库用来处理不同表类型的SQL操作的组件。是数据库底层软件组件,数据库管理系统使用数据引擎进行创建、查询、更新和删除数据操作。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能,使用不同的存储引擎还可以获得特定的功能。MySQL 的核心就是存储引擎。简单来说存储引擎相当于linux的文件系统,只不过比文件系统强大二、存储引擎的常见功能1、数据读写2、...

weixin_31111015的博客 208

MySQL-存储引擎

1、简介 类型Linux中的文件系统,比文件系统要高级 2、mysql中的存储引擎类型 InnoDB(5.5以后的默认存储引擎) MyISAM(5.5以前的默认存储引擎) CSV MEMORY BLACKHOLE FEDERATED(Oracle(dblink----->MySQL)) 2.1 第三方工具: (1)TokuDB 优势: 压缩比高 插入性能很...

wwj0407的博客 181

mysql的txid是什么_mysql-存储引擎

一:简介相当于Linux 文件系统,只不过比文件系统强大二:功能了解:数据读写, 数据安全(读写一致性), 提高性能, 热备份, 自动故障恢复, 高可用方面支持三:存储引擎种类(笔试)3.1:介绍InnoDBMylSAMMEMORYARCHIVECSV3.2 引擎种类查看SHOW ENGINES;SELECT table_name ENGINE FROM information_schema.ta...

weixin_39618121的博客 1091

十三、Mysql的存储引擎

Mysql的存储引擎

不古的博客 465

MySQL存储引擎笔记day07

存储引擎 1.简介 类似Linux的文件系统,比文件系统要高级。 2.MySQL存储引擎类型(笔试:3-4种) InnoDB 5.5以后默认的存储引擎。 select @@default_ +------------------------------+ | @@default_tmp_storage_engine | +------------------------------...

追梦娃的博客 462

mysql 之存储引擎

1. 简介 类似Linux的文件系统,比文件系统要高级. 2. MySQL 存储引擎类型(笔试:3-4种) show engines; ##查询系统支持的存储引擎 select @@default_storage_engine; ##查询 默认的存储引擎 show variables like '%engine%'; ##模糊查找存储引擎 InnoDB (5.5以后默认存...

weixin_44695383的博客 218

mysql 推荐关系 查找上级_赞!7000 字学习笔记,MySQL 从入到放弃

MySQL数据库简介MySQL近两年一直稳居第二,随时有可能超过Oracle计晋升为第一名,因为MySQL的性能一直在被优化,同时安全机制也是逐渐成熟,更重要的是开源免费的。MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了...

weixin_39940688的博客 109
上一篇: 7步做好云计算基础设施的监控
下一篇: 从零开始了解,群晖的这些备份工具你知道怎么用吗?
普通网友
博客等级 码龄5年 181粉丝 250原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

std86021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值