InnoDB 存储结构

InnoDB 存储结构

从 MySQL 5.5 版本开始默认使用 InnoDB 作为引擎，它擅长处理事务，具有自动崩溃恢复的特性，在日常开发中使用非常广泛。下面是官方的 InnoDB 引擎架构图，主要分为内存结构和磁盘结构两大部分。

InnoDB 内存结构

内存结构主要包括 Buffer Pool、Change Buffer、Adaptive Hash Index 和 Log Buffer 四大组件。

Buffer Pool

缓冲池，简称BP。BP 以 Page 页为单位，默认大小为 16K，BP 的底层采用链表结构管理 Page 。在 InnoDB 访问表记录和索引时会在 Page 页中缓存，以后可以使用可以减少磁盘IO操作，提升效率。

Page 管理机制

Page 根据状态可以分为三种类型：

• free page ：空闲 page，未被使用
• clean page：被使用 page，数据没有被修改过
• dirty page：脏页，被使用 page，数据被修改过，页中数据和磁盘的数据产生了不一致

针对上述三种 page 类型，InnoDB 通过三种链表结构来维护和管理

• free list：表示空闲缓冲区，管理 free page

• flush list：表示需要刷新到磁盘的缓冲区，管理 dirty page，内部 page 按修改时间排序。

  脏页既存在于 flush 链表，也存在 LRU 链表中，但两种互不影响。LRU 链表负责管理 page 的可用性和释放，而 flush 链表负责管理脏页的刷盘操作。

• LRU list：表示正在使用的缓冲区，管理 clean page 和 dirty page，缓冲区以 midpoint 为基点，前面链表称为 new 列表区，存放经常访问的数据，占63%；后面的链表称为 old 列表区，存放使用较少的数据，占37%。

改进版的 LRU 算法维护

普通 LRU：末尾淘汰法，新数据从链表头部加入，释放空间时从末尾淘汰

改进版 LRU：链表分为 new 和 old 两个部分，加入元素时并不是从表头插入，而是从中间 midpoint 位置插入，如果数据很快被访问，那么 page 就会向 new 列表头移动，如果数据没有被访问，会逐步向 old 尾部移动，等待淘汰。

每当有新的 page 数据读取到 buffer pool 时，InnoDB 引擎会判断是否有空闲页，是否足够，如果有就将 free page 从 free list 列表删除，放入 LRU 列表中。没有空闲页，就会根据 LRU 算法淘汰 LRU 链表默认的页，将内存空间释放分配给新的页。

Buffer Pool 配置参数

show variables like '%innodb_page_size%'; //查看page页大小
show variables like '%innodb_old%'; //查看lru list中old列表参数
show variables like '%innodb_buffer%'; //查看buffer pool参数

建议：将innodb_buffer_pool_size设置为总内存大小的60%-80%， innodb_buffer_pool_instances可以设置为多个，这样可以避免缓存争夺。

Change Buffer

写缓冲区，简称 CP 。在进行 DML 操作时，该记录在BufferPool存在，直接在BufferPool修改，一次内存操作。如果 BufferPool 没有其相应的 Page 数据，并不会立刻将磁盘数据加载到缓冲池，而是在 ChangeBuffer 中缓存着，等下次查询这条数据时，再将磁盘中的数据与 ChangeBuffer 的数据合并后放到 BufferPool 中。

ChangeBuffer占用BufferPool空间，默认占25%，最大允许占50%，可以根据读写业务量来 进行调整。参数innodb_change_buffer_max_size;

写缓冲区，仅适用于非唯一普通索引页，为什么？

如果在索引设置唯一性，在进行修改时，InnoDB 必须要做唯一性校验，因此必须查询磁盘， 做一次IO操作。会直接将记录查询到 BufferPool 中，然后在缓冲池修改，不会在 ChangeBuffer 操作。

Adaptive Hash Index

自适应哈希索引，用于优化对 BufferPool 数据的查询。

InnoDB 存储引擎会监控对表索引的查找，如果观察到建立哈希索引可以带来速度的提升，则建立哈希索引，所以称之为自适应。InnoDB 存储引擎会自动根据访问的频率和模式来为某些页建立哈希索引。

Log Buffer

日志缓冲区，用来保存要写入磁盘上 log 文件（Redo/Undo）的数据，日志缓冲区的内容定期刷新到磁盘 log 文件中。日志缓冲区满时会自动将其刷新到磁盘，当遇到 BLOB 或者多行更新的事务操作时，增加日志缓冲区可以节省磁盘 IO。

innodb_flush_log_at_trx_commit参数控制日志刷新行为，默认为1

（写日志文件： LogBuffer => OS cache），（刷盘：OS cache =>磁盘文件）

• 0 ： 每隔1秒写日志文件和刷盘操作，最多丢失1秒数据
• 1：事务提交，立即写日志文件和刷盘，数据不丢失，但是会频繁 IO 操作
• 2：事务提交，立即写日志文件，每隔 1 秒进行刷盘

InnoDB 磁盘结构

InnoDB 磁盘主要包含 Tablespaces、InnoDB Data Dictionary、Doublewrite Buffer、Redo Log 和 Undo Logs.

表空间（Tablespaces）

用于存储表结构和数据。表空间又分为系统表空间、独立表空间、通用表空间、临时表空间、Undo 表空间等多种类型。

系统表空间（The System Tablespaces）

包含 InnoDB 数据字典，Doublewrite Buffer ，Change Buffer，Undo Logs 的存储区域。系统表空间也默认包含任何用户在系统表空间创建的表数据和索引数据。系统表是一个共享的表空间因为它是被多个表共享的。该空间的数据文件通过参数 innodb_data_file_path 控制，默认值是 ibdata1:12M:autoextend（文件名为 ibdata1、12M、自动扩展）

独立表空间（File-Per-Table Tablespaces）

默认开启，独立表空间是一个单表表空间，该表创建于自己的数据文件中，而非创建于系统表空间中。当 innodb_file_per_table 选项开启时，表将被创建于表空间中。否则，InnoDB 将被创建于系统表空间中。每个表文件表空间由一个 .ibd 数据文件代表，该文件默认被创建于数据库目录中。表空间的表文件支持动态（dynamic）和压缩（commpressed） 行格式。

通用表空间（General Tablespaces）

通用a哦空间为通过 create tablespace 语法创建的共享表空间。通用表空间可以创建于 MySQL 数据目录外的其他表空间，其可以容纳多张表，且其支持所有的行格式。

# 创建表空间ts1
CREATE TABLESPACE ts1 ADD DATAFILE ts1.ibd Engine=InnoDB; 
# 将表添加到ts1表空间
CREATE TABLE t1 (c1 INT PRIMARY KEY) TABLESPACE ts1; 

撤销表空间（Undo Tablespaces）

撤销表空间由一个或多个包含 Undo 日志文件组成。在 MySQL 5.7 版本之前 Undo 占用的是 System Tablespaces 共享区，从 5.7 开始将 Undo 从 System Tablespaces 分离了出来。InnoDB 使用的 undo 表空间由 innodb_undo_dataspaces 配置选项控制，默认为 0 。参数值为 0 表示使用表空间 ibdata1；大于 0 表示使用 undo 表空间 undo_001、undo_002 等。

临时表空间（Temporary Tablespaces）

分为session temporary tablespaces 和global temporary tablespace两种。session temporary tablespaces 存储的是用户创建的临时表和磁盘内部的临时表。global temporary tablespace储存用户临时表的回滚段（rollback segments ）。MySQL 服务器正常关闭或异常终止时，临时表空间将被移除，每次启动时会被重新创建。

数据字典（InnoDB Data Dictionary）

InnoDB 数据字典由内部系统表组成，这些表用于查找表、索引和表字段等对象的元数据。元数据物理上位于 InnoDB 系统表空间中。由于历史原因，数据字典元数据在一定程度上与 InnoDB 表元数据文件（.frm文件）中存储的信息重叠。

双写缓冲区（Doublewrite Buffer）

位于系统表空间，是一个存储区域。在 BufferPage 的 Page 页刷到磁盘真正的位置前，会先将数据存在 Doublewrite 缓冲区。如果在 page 页写入过程中出现操作系统、存储子系统或者 mysqld 进程崩溃，InnoDB 可以在崩溃恢复期间从 Doublewrite 缓冲区中找到页面的一个好备份。在大多数情况下，默认情况下启用双写缓冲区，要禁用 Doublewrite 缓冲区，可以将 innodb_doublewrite 设置为0。使用 Doublewrite 缓冲区时建议将innodb_flush_method 设置为 O_DIRECT

MySQL的innodb_flush_method这个参数控制着innodb数据文件及redo log的打开、 刷写模式。有三个值：fdatasync(默认)，O_DSYNC，O_DIRECT。

设置O_DIRECT表示数据文件写入操作会通知操作系统不要缓存数据，也不要用预读，直接从Innodb Buffer写到磁盘文件。

默认的fdatasync意思是先写入操作系统缓存，然后再调用 fsync() 函数去异步刷数据文件与redo log的缓存信息。

重做日志（Redo Log）

重做日志是一种基于磁盘的数据结构，用于在崩溃恢复期间更正不完整事务写入的数据。 MySQL以循环方式写入重做日志文件，记录 InnoDB 中所有对 Buffer Pool 修改的日志。当出现实例故障（像断电），导致数据未能更新到数据文件，则数据库重启时须 redo，重新把数 据更新到数据文件。读写事务在执行的过程中，都会不断的产生redo log。默认情况下，重做日志在磁盘上由两个名为 ib_logfile0 和 ib_logfile1 的文件物理表示

撤销日志（Undo Logs）

撤消日志是在事务开始之前保存的被修改数据的备份，用于例外情况时回滚事务。撤消日志属于逻辑日志，根据每行记录进行记录。撤消日志存在于系统表空间、撤消表空间和临时表空间中。