数据库笔记—存储引擎部分

原创已于 2022-07-18 21:01:50 修改 · 2.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #数据库 #java

于 2022-07-11 00:12:41 首次发布

本文详细介绍了MySQL InnoDB存储引擎的逻辑存储结构，包括表空间、段、区、页和行的概念，以及Buffer Pool的工作原理。还讨论了事务的ACID特性，重做日志(redo log)和回滚日志(undo log)的角色，以及MVCC如何实现并发控制。重点阐述了脏页处理、后台线程的作用，以及undo log的生命周期和在MVCC中的应用。

逻辑存储结构

表空间（ibd文件），一个mysql实例可以对应多个表空间，用于存储记录、索引等数据。

段，分为数据段（Leaf node segment）、索引段（Non-leaf node segment）、回滚段（Rollback segment），InnoDB是索引组织表，数据段就是B+树的叶子节点，索引段即为B+树的非叶子节点。段用来管理多个Extent（区）。

区，表空间的单元结构，每个区的大小为1M。默认情况下，InnoDB存储引擎页大小为16K，即一个区中一共有64个连续的页。

页，是InnoDB存储引擎磁盘管理的最小单元，每个页的大小默认为16KB。为了保证页的连续性，InnoDB存储引擎每从磁盘申请4-5个区。一页包含若干行。

行，InnoDB存储引擎数据是按进行存放的。

架构

innodb 存储引擎的架构（内存部分+磁盘部分）

内部部分的架构（Buffer pool 缓存池、change pool 交换池以及Log buffer 日志缓存），change pool 主要是进行相应的交换，目的是为了避免交换的随机IO导致mysql的性能降低，因此交换后，先放入到change pool 后再进行刷盘到buffer pool ，后再统一刷到硬盘

Buffer Pool：缓冲池是主内存中的一个区域，里面可以缓存磁盘上经常操作的真实数据，在执行增删改查操作时，先操作缓冲池中的数据（若缓冲池没有数据，则从磁盘加载并缓存），然后再以一定频率刷新到磁盘，从而减少磁盘I0，加快处理速度。

脏页：状态是指缓存中修改，但是磁盘中的数据没有修改（等同于操作系统的中cpu进行的cache的状态）

change buffer 中存储的是相应的主键，因此需要进行二次索引，才能找到相应的字段并且进行数据的修改

单独的服务器中，80%的内存主要分配给缓冲区

磁盘区域

在服务器中，ibd文件主要存储着相应的表字段、索引、以及相关的数据而这些主要都是有 fpt（file-per -table）进行管理和控制

通用表空间的相应的数据

undo tablespace :存储undo log （两个undo log 进行互相的存储）

temporary tablespace （存储相应的临时表：就是使用嵌套搜索使用到的表）

redo log 异常时候事务恢复，在事务提交后会将相应的日志删除

后台线程

作用：将Innodb 存储引擎中的buffer pool 在合适的时候异步的刷新到磁盘中

类型：Master Thread 线程

事务

ACID

redo log:

重做日志，记录的是事务提交时数据页的物理修改，是用来实现事务的持久性。该日志文件由两部分组成：重做日志缓冲（redo log buffer）以及重做日志文件（redo log file），前者是在内存中，后者在磁盘中。当事务提交之后会把所有修改信息都存到该日志文件中，用于在刷新脏页到磁盘，发生错误时，进行数据恢复使用。

个人理解：事物每次提交的时候都会将数据刷到redo log中而不是直接将buffer pool中的数据直接刷到磁盘中（ibd文件中），是因为redo log 是顺序写，性能处理的够快。

直接内存刷洗到磁盘中的ibd中，是随机写，性能慢。

所以脏页是在下一次读的时候，或者后台线程采用一定的机制进行刷盘到ibd中。

undo log:
回滚日志，用于记录数据被修改前的信息，

作用包含两个：提供回滚和MVCC（多版本并发控制）。

undo log和redo log记录物理日志不一样，它是逻辑日志。可以认为当delete一条记录，undo log中会记录一条对应的insert记录，反之亦然，当update一条记录时，它记录一条对应相反的update记录。当执行rollback时，就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。

Undo log销毁：undo log在事务执行时产生，事务提交时，并不会立即删除undo log，因为这些日志可能还用于MVCC。 Undo log存储：undo log采用段的方式进行管理和记录，存放在前面介绍的rollback segment回滚段中，内部包含1024个undo log segment。

Mvcc（多版本并发控制）

当前读:

读取的是记录的最新版本，读取时还要保证其他并发事务不能修改当前记录，会对读取的记录进行加锁。对于我们日常的操作，如：

select...lock in share mode（共享锁）。
select..…for update、update、insert、delete（排他锁）都是一种当前读。

快照读:

简单的select（不加锁）就是快照读，快照读，读取的是记录数据的可见版本，有可能是历史数据，不加锁，是非阻塞读。

Read Committed：每次select，都生成一个快照读。
Repeatable Read：开启事务后第一个select语句才是快照读的地方。
Serializable：快照读会退化为当前读。

MVCC:

全称Multi-Version Concurrency Control，多版本并发控制。指维护一个数据的多个版本，使得读写操作没有冲突，快照读为MySQL实现MVCC提供了一个非阻塞读功能。MVCC的具体实现，还需要依赖于数据库记录中的三个隐式字段、undo log日志、readView。

undo log回滚日志，在insert、update、delete的时候产生的便于数据回滚的日志。当insert的时候，产生的undo log日志只在回滚时需要，在事务提交后，可被立即删除。而update、delete的时候，产生的undo log日志不仅在回滚时需要，在快照读时也需要，不会立即被删除。

undo log 版本链：

undo log日志会记录原来的版本的数据，因为是通过undo log 日志进行回滚的。