MySQL第三讲 MySQLundo日志 - undo页面链表和undo日志写入过程

已于 2023-04-10 17:03:51 修改
阅读量785 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： MySQL 文章标签： 链表 mysql java
于 2022-10-07 21:09:01 首次发布
鹿少年
本文链接：https://blog.youkuaiyun.com/huanglu0314/article/details/127197290
本文详细介绍了InnoDB存储引擎中的UNDO机制，包括单个及多个事务中UNDO页面链表的工作原理，以及UNDO日志的具体写入过程。深入探讨了不同类型的UNDO日志如何存储于特定的链表中，并解释了UNDO页面链表的状态转换。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Undo页面链表

单个事务中的undo页面链表

因为一个事务可能包含很多的语句，而且一个语句可能会对若干条记录进行改动，而每一条记录进行改动前（z这里指的是聚簇索引记录）都需要一条或者两条undo日志，所以在一个事务执行过程中可能产生很多undo日志，他们可能在一个页面，也可能在多个页面，这些页面就是通过TRX_UNDO_PAGE_NODE进行链接。如图：
在这里插入图片描述

一个事务执行过程中会混着执行insert delete update语句，这也就是意味着产生不同类型的undo日志。而同一个undo页面要么只存储TRX_UNDO_INSERT大类的undo日志，要么存放TRX_UNDO_UPDATE大类下的undo日志，不能混着存储。所以在一个事务执行中就可能需要两个undo页面的链表，一个称为insert undo链表，另外一个称为update undo链表。

而对普通表和临时表的记录改动产生的undo日志又需要分别记录，所以在一个事务中最多产生4个以undo页面为节点组成的。当然并不是在事务一开始就为他们分配这4个链表，而是根据具体事务执行过程中更新的表的类型以及执行的操作，在开启事务时，一个undo页面链表也不分配。

多个事务中undo页面链表

为了尽可能提高undo日志的写入效率，不同事务执行过程中产生的undo日志需要写入不同的undo页面链表中。

undo日志具体写入过程

这里稍微说一个段的概念，简单来说段就是一个逻辑上的概念，本质上是由若干个零散页面和若干个完整的区组成的。比如，一个B+树索引被划分为两个段，一个叶子节点段和一个非叶子节点段，这样叶子节点就可以被尽可能地存放在一起，非叶子节点被尽可能存储在一起，每一个段对应一个INDO ENTRY 结构，这个INDO ENTRY结构描述了这个段的各种信息，比如段的ID,段内的各种链表基节点，零散页面的页号有哪些等。

每页UNDO页面链表都对应着一个段，称为UNDO LOG SEGMENT , 也就是说，链表中的页面都是从这个段中申请的，所以他们在undo页面链表的第一个页面（也就是 first undo page）设计一个undo log segment header 的部分，这个部分包含该链表对应的段的segment header信息，以及其他的一些关于这个段的信息。
在这里插入图片描述
可以看到，这个undo页面链表的第一个页面比普通的页面多了一个 UNDO LOG Segment HEADER，我们看一下它的结构，如图：

在这里插入图片描述

其中各个属性的意思如下：
TRX_UNDO_STATE: 本undo页面链表处于什么状态，可能的状态有下面几种：

TRX_UNDO_ACTIVE: 活跃状态，也就是一个活跃的事务正在向undo页面链表中写入undo日志
TRX_UNDO_CACHED: 被缓存状态，处于该状态的Undo页面链表等待之后被其他事务重用
TRX_UNDO_TO_FREE: 等待被释放的状态，对于insert undo链表来说，如果在它对应的事务提交之后，该链表不能被重用，那么就会处于这种状态
TRX_UNDO_TO_PURGE: 等待被purge的状态，对于处于update undo链表来说，如果在它对应的事务提交之后，该链表不能被重用，那么就会处于这种状态
TRX_UNDO_PREPARED: 处于此状态的Undo页面链表用于存储处于PREPARE阶段的事务产生的日志，该阶段是在分布式事务中才会出现

对于没有被重用的Undo页面链表来说，链表的第一个页面在真正写入undo日志前，会填充undo page header, undo log segment header , undo log header 这三个部分，之后才开始正式写入undo日志。对于其他页面（也就是normal undo page）来说，在真正写入undo 日志前，只会填充undo page header ,链表基节点存放到first undo page的undo log segment header部分， 链表节点信息存放到每一个undo页面的undo page header部分。

在这里插入图片描述

innodb undo--undo page
帅的数说
03-29 953
normalundo page： undo log header page：
「MySQL高级篇」MySQL日志、事务原理 -- undolog、redolog、binlog、两阶段提交
Huangjiazhen711的博客
10-30 1513
实现事务的持久性将写操作从磁盘的「随机写」变成了「顺序写」只要binlog也好了，就不需要回滚，binlog没好，就需要回滚其实就是两个变成一个事务，redolog和binlog分别有 undolog、redolog、 binlog。undolog用于实现原子性，记录版本链用于回滚，并且属于逻辑日志，记录操作便于恢复redolog用于宕机后的数据恢复，记录实际的数据，属于物理日志。
mysql中的undo页_《mysql》之undolog
weixin_31907307的博客
01-19 620
undo log有两个作用：提供回滚和MVCC。undo log是逻辑日志。undo log存在于一个特殊的段中，存在于表空间中，和主键id组织的数据存在一个文件中，毕竟每行数据都有个指向undo log的指针。4)都说redo是物理日志(绝大部分是，不纠结)，undo是逻辑日志，并且你新增，undo log会记录删除，你更新他会记录相反的更新，这里有两个点，怎么理解物理日志和逻辑日志，怎么理解是...
mysql中的undo页_mysql_Innodb的undo_log和redo_log（）
weixin_42297746的博客
01-19 365
转载http://blog.youkuaiyun.com/chenlvzhou/article/details/40537839?reload众所周知，mysql支持多种存储引擎，现在常用的是MyISAM和InnoDB。MyISAM相对简单，但不支持事务，而InnoDB是事务安全型的。而InnoDB的事务处理离不开undo_log和redo_Log。mysql innodb存储引擎下面简单的介绍一下innod...
MySQL之深入InnoDB存储引擎——Undo页
qq_25046827的博客
08-09 616
TRX_UNDO_FSEG_HEADER：本UNDO页面链表对应的段的Segment Header信息（用于寻找INODE Entry）TRX_UNDO_PAGE_LIST：UNDO页面链表的基节点对于链表中的第一个页面，除了Undo Log Segment Header，在其下面还会有一个。
MySQL undo日志精讲2-undo日志写入
cpxsxn的博客
12-22 1043
设计InnoDB的大佬认为同一个事务向一个Undo页面链表中写入的undo日志算是一个组，比方说我们上面介绍的trx 1由于会分配3个Undo页面链表，也就会写入3个组的undo日志；但是我们前面又强调过，同一个Undo页面要么只存储TRX_UNDO_INSERT大类的undo日志，要么只存储TRX_UNDO_UPDATE大类的undo日志，反正不能混着存，所以在一个事务执行过程中就可能需要2个Undo页面的链表，一个称之为insert undo链表，另一个称之为update undo链表;
MySQL日志篇之undo-log、redo-log、bin-log
vbgesab的博客
07-14 996
叨叨絮絮下来，就大致将MySQL中的一些常见、较为重要的日志讲明白啦，其实重点搞清楚即可，其他的会在后续篇章中再次提到，最后稍微总结一下这三个比较核心的日志：•undo-log：主要用于实现事务ACID原则中的原子性和MVCC机制。•redo-log：主要用于实现事务原则中的持久性，确保事务提交后就不会丢失。•bin-log：主要结合redo-log实现事务原则中的一致性，确保事务提交前后，数据的一致。
(十一)MySQL日志篇之undo-log、redo-log、bin-log.....傻傻分不清！
BASK2311的博客
10-26 1605
叨叨絮絮下来，就大致将MySQL中的一些常见、较为重要的日志讲明白啦，其实重点搞清楚undo-log：主要用于实现事务ACID原则中的原子性和MVCC机制。redo-log：主要用于实现事务原则中的持久性，确保事务提交后就不会丢失。bin-log：主要结合redo-log实现事务原则中的一致性，确保事务提交前后，数据的一致。对于其他几类日志，在本篇中也仅讲明了大概，毕竟后面的章节中会再出现，而对于上述三大日志也就基本上不会提到了，因此剖析的较为全面，那么咱们下篇见~，下面准备讲：《MySQL。
MySQL-事务日志
我姓谭却弹不死你的博客
05-29 1008
MySQL-事务日志
Mysql原理篇之undo日志--下--12
m0_53157173的博客
11-02 376
在写入。
Undo页与redo页
jjqqyydwqscacsa的博客
02-26 428
Undo Log 是为了实现事务的原子性，在MySQL数据库InnoDB存储引擎中，还用Undo Log来实现多版本并发控制(简称：MVCC)。 事务的原子性(Atomicity) 事务中的所有操作，要么全部完成，要么不做任何操作，不能只做部分操作。如果在执行的过程中发生了错误，要回滚(Rollback)到事务开始前的状态，就像这个事务从来没有执行过。 原理 Undo Log的原理很简单，为了满足事务的原子性，在操作任何数据之前，首先将数据备份到一个地方（这个存储数据备份的地方称为Undo Log）。然后
MySQL - undo log 图文详解
一七令
07-17 2431
回滚和多版本控制(MVCC)。是事务特性的重要组成部分，在数据发生更新操作时候（INSERT、DELETE、UPDATE）时会产生undo记录。先于redolog被记录。事务回滚这里的回滚不仅代表程序进行的主动回滚，也包括比如事务进行中数据库宕机后恢复时对部分不满足继续提交事务条件的事务进行回滚。MVCC提供快照读条件，以实现非锁定一致性读。如一个事务读被其他事务占用的记录时候，可以通过undolog链拿到之前的数据。......
MySQL(七)：undo日志——保证事务的原子性
m0_60631323的博客
01-30 1234
undo日志——保证事务的原子性
mysql数据库学习总结六（架构）-redo log - undo log -binlog -数据更新过程
weixin_47402482的博客
10-05 810
mysql数据库学习六（架构）基本架构介绍mysql中三个日志文件redo log账本与记账板undo logbinlog数据更新流程 基本架构介绍 连接器：管理连接，权限验证 用户名密码的验证，查看权限信息，分配权限，可以使用show full processlist查看现在的连接 连接可以分为两种，长连接和短连接 查询缓存： 当执行查询语句时，会先去查询缓存中查看结果，之前执行过的sql语句，可能以key-value的形式存储缓存中，找到直接返回，找不到，继续执行后续操作 分析器：词法分析，语法分析
MySQL高级第十三篇：MySQL事物日志（redo日志-undo日志执行流程）
I wanna be myself, where I Belong.
04-12 1256
事务有4种特性：原子性、一致性、隔离性和持久性。事务的隔离性由锁机制实现，而事务的 原子性、一致性和持久性 由事务的 redo日志 和 undo日志 来保证。REDO LOG ： 重做日志，提供再写入操作，恢复提交事务修改的页操作，用来保证事务的持久性。UNDO LOG ： 回滚日志，回滚行记录到某个特定版本，用来保证事务的原子性、一致性。REDO 和 UNDO 都可以视为是一种恢复操作，区别如下：redo log：是存储引擎层（innodb）生成的日志，记录的是物理级别。
mysql事务-innodb中的undolog 详解
yxkong的专栏
06-12 749
5ycode 被管理耽误的架构师。工作、学习过程中的知识总结与分享，jvm,多线程,架构设计，经验分享等。 26篇原创内容 ...
MySQL日志 - Undo回滚日志的介绍
bisal的专栏
05-05 469
MySQL日志历史文章，《MySQL日志 - Relay Log中继日志的介绍》《MySQL日志 - Redo Log重做日志》《MySQL日志 - Error Log错误日志》《MySQL日志 - General Query Log》Undo日志，又称为"回滚日志"，在Oracle数据库中，它的作用可以说举足轻重，事务回滚、实例恢复、一致性读等场景，都需要它的支持，MySQL中的Undo日志，同...
Undo Log
MYLOVEis77的博客
08-02 269
分配事务ID的时机 对于只读事务 start tansaction read only 只有第一次对自己创建临时表 增删改会分配 对于读写事务 begin/start transaction 第一次对某个(包含自己创建临时表)表增删改会分配 外加一个 当前读也会分配事务ID，可以通过 SELECT * FROM information_schema.innodb_trx;查看 表空间第五号页 Max Trx ID 属性，当事务ID为256整数倍时会将其写入该属性，下次系统启动会在该值基础上
MySQL undo日志精讲3-从回滚段中申请 Undo 页面链表
cpxsxn的博客
12-24 1154
如果该属性的值为 TRXUNDO ACTIVE，则意味着有一个活跃的事务正在向这个 Undo 页面链表中写入 undo 日志，然后再在 Undo Segment Header 中找到 TRX UNDO LAST LOG 属性,通过该属性可以找到本Undo 页面链表最后一个 Undo Log Header 的位置。我们现在知道一个事务在执行过程中最多可以分配4个 Undo 页面链表，在同一时刻不同事务拥有的 Undo 页面链表是不一样的，所以在同一时刻系统里其实可以有许许多多个 Undo 页面链表存在。
链表存储日志
最新发布
07-23
<think>首先，用户的问题是：“我想使用链表结构存储日志数据的方法或实现 请问如何使用链表存储日志信息 链表实现日志存储”。这涉及到使用链表数据结构来存储日志信息。 从系统级指令中，我需要： - 所有行内数学表达式用 $...$ 格式。 - 独立公式用 $$...$$ 格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用： - [^1]: 关于MySQL undo日志的细节，包括undo页面链表和日志写入过程。 - [^2]: 关于从回滚段中申请Undo页面链表，以及MVCC相关处理。 - [^3]: 关于链表的深入解析，包括结构、实现和应用。 - [^4]: 关于环形队列的应用，如MySQL的Redo log和Disruptor消息队列。 - [^5]: 关于Java链表的实现和应用建议。 用户的问题是关于使用链表存储日志数据，所以我要聚焦于如何用链表来实现日志存储。引用[3]、[4]、[5]特别相关，因为它们讨论了链表的应用和实现。 关键点： - 链表适合动态数据，如日志，因为日志数据是不断增长的。 - 链表允许高效的插入操作（O(1) 如果维护尾指针）。 - 但链表在随机访问上效率低，不适合需要频繁查找的场景。 - 对于日志存储，链表可能不是最优选择，因为日志通常需要顺序写入和读取，环形缓冲区（如引用[4]提到的环形队列）可能更合适，因为它可以循环覆盖旧日志。 然而，用户指定了“链表结构”，所以我应该基于链表来设计。 步骤： 1. **理解需求**：用户想用链表存储日志信息。日志数据通常是时间序列的文本或记录。 2. **选择链表类型**： - 单向链表：简单，但只能从头部遍历。 - 双向链表：允许双向遍历，可能更适合日志查看。 - 循环链表：可以循环使用，类似于环形队列。 - 引用[3]提到链表适合频繁插入/删除和动态数据量。 3. **实现细节**： - 每个链表节点存储一个日志条目（如时间戳、消息）。 - 维护头指针和尾指针以高效添加新日志。 - 考虑内存管理：日志可能很大，需要处理内存溢出。 - 添加日志时，在尾部插入新节点。 - 读取日志时，从头到尾遍历。 4. **优化**： - 使用哨兵节点简化边界条件（引用[3]建议）。 - 如果日志量巨大，考虑限制链表大小或使用循环链表覆盖旧日志（类似引用[4]的环形队列）。 - 引用[5]提到对于高并发，可以使用线程安全的链表实现。 5. **代码示例**：提供一个简单的伪代码或实际代码实现。既然用户提到“链表实现日志存储”，我应该用编程语言展示。引用[3]有C语言代码，引用[5]有Java，但用户没有指定语言，我可以用伪代码或通用Python示例。 6. **引用应用**：自然地融入引用内容。例如： - 引用[3]讨论链表应用场景。 - 引用[4]提到环形队列用于日志，可以引申到链表版本。 - 引用[5]提供链表实现建议。 回答结构： - **引言**：解释为什么链表适合日志存储。 - **步骤**：逐步描述如何实现。 - **代码示例**：提供简单实现。 - **注意事项**：讨论优缺点和优化。 - **相关问题**：生成相关问题。 生成相关问题：基于指令“生成相关问题”，我需要创建2-3个相关问题，放在回答末尾，以“§§相关问题§§”开头。 引用标识：在回答中引用段落时，末尾添加[^n]。例如，提到引用[3]的内容时加[^3]。 中文回答：所有内容用中文。 数学表达式：用户问题中没有明显数学内容，但如果有涉及，如计算复杂度，使用$...$格式。例如，插入操作的时间复杂度是$O(1)$。 最终回答大纲： 1. 介绍链表存储日志的优势。 2. 详细实现方法： - 定义节点结构。 - 链表操作：添加日志、遍历日志。 - 示例代码（用Python或伪代码）。 3. 注意事项：内存管理、性能考虑。 4. 引用相关点：自然地引用[3]、[4]、[5]。 5. 相关问题。</think>### 如何使用链表结构存储日志数据 链表是一种动态数据结构，特别适合存储日志数据，因为日志通常涉及频繁的插入操作（新日志不断产生）和动态数据量（日志大小不可预知）。链表的优势在于插入效率高（$O(1)$ 时间复杂度，如果维护尾指针），且无需预先分配固定内存空间[^3]。下面，我将逐步解释如何使用链表实现日志存储，包括方法、实现细节和注意事项。实现基于通用编程逻辑，使用伪代码和Python示例（语言中立，易于理解）。 --- ### 步骤1: 设计链表结构和日志节点 日志数据通常包含时间戳和消息内容。每个链表节点存储一个日志条目，节点结构包括： - **数据部分**：日志内容（如时间戳和消息）。 - **指针部分**：指向下一个节点（单向链表）或前驱/后继节点（双向链表）。 **节点定义示例**： - 单向链表节点：简单高效，适合只追加日志的场景。 - 双向链表节点：允许反向遍历，便于查看历史日志（引用[3]建议使用双向链表处理边界条件）[^3]。 伪代码定义： ```plaintext struct LogNode: timestamp: string // 日志时间戳，例如 "2023-10-05 10:00:00" message: string // 日志消息，例如 "Error: file not found" next: pointer to LogNode // 指向下一个节点（单向链表） // 如果是双向链表，添加 prev: pointer to LogNode ``` 在Python中实现： ```python class LogNode: def __init__(self, timestamp, message): self.timestamp = timestamp # 时间戳 self.message = message # 日志消息 self.next = None # 指向下一个节点（单向链表） # 双向链表添加: self.prev = None class LogLinkedList: def __init__(self): self.head = None # 链表头指针 self.tail = None # 链表尾指针（用于高效追加） ``` **为什么选择链表？** - **优势**：链表支持动态增长，无需预分配内存；插入新日志速度快（$O(1)$）；适合频繁增删场景（如日志轮转）[^3]。 - **劣势**：随机访问效率低（$O(n)$），但日志通常顺序读写，影响不大。 --- ### 步骤2: 实现核心操作 日志存储的核心操作是追加新日志和遍历读取日志。以下是关键方法实现。 #### (a) 追加新日志（插入操作） 在链表尾部追加新日志，确保高效性。维护尾指针可使插入时间复杂度为 $O(1)$[^3]。 Python 实现（单向链表）： ```python def append_log(log_list, timestamp, message): new_node = LogNode(timestamp, message) # 创建新节点 if log_list.head is None: # 空链表时 log_list.head = new_node log_list.tail = new_node else: # 非空链表，在尾部插入 log_list.tail.next = new_node log_list.tail = new_node # 更新尾指针 return log_list ``` #### (b) 遍历读取日志 从头节点开始顺序遍历，打印或处理日志。时间复杂度为 $O(n)$，其中 $n$ 是日志数量。 Python 实现： ```python def traverse_logs(log_list): current = log_list.head while current is not None: print(f"{current.timestamp}: {current.message}") # 输出日志 current = current.next # 移动到下一个节点 ``` #### (c) 删除旧日志（可选） 如果日志量过大，可实现日志轮转：当链表大小超过阈值时，删除头部节点（最旧日志）。引用[4]提到环形队列可覆盖旧日志，链表可通过类似机制模拟[^4]。 Python 实现（限制大小）： ```python def add_log_with_rotation(log_list, timestamp, message, max_size=1000): if log_list.size >= max_size: # 假设维护size属性 # 删除头部节点（最旧日志） log_list.head = log_list.head.next log_list.size -= 1 append_log(log_list, timestamp, message) # 追加新日志 log_list.size += 1 ``` --- ### 步骤3: 完整示例和测试 以下是一个完整的Python示例，模拟日志存储系统： ```python class LogNode: def __init__(self, timestamp, message): self.timestamp = timestamp self.message = message self.next = None class LogLinkedList: def __init__(self): self.head = None self.tail = None self.size = 0 # 跟踪日志数量 def append(self, timestamp, message): new_node = LogNode(timestamp, message) if self.head is None: self.head = new_node self.tail = new_node else: self.tail.next = new_node self.tail = new_node self.size += 1 def traverse(self): current = self.head while current: print(f"[{current.timestamp}] {current.message}") current = current.next # 测试代码 if __name__ == "__main__": log_system = LogLinkedList() log_system.append("2023-10-05 10:00:00", "System started") log_system.append("2023-10-05 10:05:00", "User logged in") log_system.append("2023-10-05 10:10:00", "File uploaded") log_system.traverse() # 输出所有日志 ``` 输出示例： ``` [2023-10-05 10:00:00] System started [2023-10-05 10:05:00] User logged in [2023-10-05 10:10:00] File uploaded ``` --- ### 注意事项和优化建议 1. **内存管理**： - 链表节点动态分配内存，但日志量大时可能引起内存碎片。引用[3]建议销毁时彻底释放所有节点，避免内存泄漏[^3]。 - 如果日志量巨大（如百万条），考虑限制链表大小或使用文件存储（链表节点存储文件指针）。 2. **性能优化**： - **尾指针维护**：确保追加操作高效（$O(1)$）。 - **哨兵节点**：添加一个哑节点作为头节点，简化边界处理（引用[3]推荐）[^3]。 - **并发处理**：高并发日志系统（如多线程写入）可使用线程安全链表，如Java的 `ConcurrentLinkedDeque`（引用[5]建议）[^5]。 3. **链表 vs. 其他结构**： - **优势场景**：链表适合日志存储，因为插入频繁且数据动态增长[^3]。 - **劣势应对**：随机访问慢，但日志通常顺序读取。如需快速搜索，可结合哈希表（如存储节点地址）[^3]。 - **替代方案**：环形队列更高效覆盖旧日志（如MySQL Redo log使用循环写入）[^4]，但链表更灵活。 4. **实际应用**： - 在日志系统中，链表可用于内存缓存，定期将日志批量写入文件或数据库。 - 示例：实现一个简单日志框架，将 `append` 和 `traverse` 封装为API。 通过以上步骤，您可以用链表高效存储日志数据。核心是维护尾指针以优化插入，并根据需求添加日志轮转机制[^3][^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员路同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值