PG数据库内核分析学习笔记_MultiXact日志管理器

最新推荐文章于 2024-03-23 16:49:01 发布
原创 最新推荐文章于 2024-03-23 16:49:01 发布 · 1.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#multixact #组合事务

本文深入探讨了PostgreSQL数据库中的MultiXact日志管理机制，详细介绍了其核心数据结构MultiXactStateData及mXactCacheEnt的作用，阐述了MultiXactID的映射原理和存储方式，并解释了如何通过SLRU缓冲区实现MultiXact日志的高效管理。

PG数据库内核分析学习笔记_MultiXact日志管理器

MultiXact日志是PG系统用来记录组合事务ID的一种日志. 由于PG采用了多版本并发控制, 因此同一个元组相关的事务ID可能有多个, 为了在加锁(行共享锁)的时候统一操作, PG将与该元组相关联的多个事务ID组合起来用一个MultiXactID代替来管理.同CLOG, SubTrans日志一样, MultiXact日志也是利用SLRU缓冲区来实现.

typedef uint32 TransactionId;

/* MultiXactId must be equivalent to TransactionId, to fit in t_xmax */
typedef TransactionId MultiXactId;

1 MultiXact日志管理器相关数据结构

MultiXact是一个多对一的映射关系, 需要在事务ID数组中标记哪一段映射到一个MultiXactID(如图). 所以在映射的过程中需要存储两种信息, 即需要标识一段事务ID的偏移量(Offset), 还需要记录这段偏移量的大小(NMembers).

图 MultiXactID组合关系
在这里插入图片描述
由于需要对MultiXactID的分配进行维护, 于是定义了数据结构MultiXactStateData(数据结构如图所示).

数据结构 MultiXactStateData

// multixact.c
/*
 * MultiXact state shared across all backends.  All this state is protected
 * by MultiXactGenLock.  (We also use MultiXactOffsetControlLock and
 * MultiXactMemberControlLock to guard accesses to the two sets of SLRU
 * buffers.  For concurrency's sake, we avoid holding more than one of these
 * locks at a time.)
 */
typedef struct MultiXactStateData
{
   
   
	/* 下一个可分配的 MultiXactId */
	MultiXactId nextMXact;

	/* 下一个对应MultiXactId的起始偏移量 */
	MultiXactOffset nextOffset;

	/* Have we completed multixact startup? */
	bool		finishedStartup;

	/*
	 * Oldest multixact that is still potentially referenced by a relation.
	 * Anything older than this should not be consulted.  These values are
	 * updated by vacuum.
	 */
	MultiXactId oldestMultiXactId;
	Oid			oldestMultiXactDB;

	/*
	 * Oldest multixact offset that is potentially referenced by a multixact
	 * referenced by a relation.  We don't always know this value, so there's
	 * a flag here to indicate whether or not we currently do.
	 */
	MultiXactOffset oldestOffset;
	bool		oldestOffsetKnown;<
最低0.47元/天 解锁文章
【0117】pg_multixact管理器
Postgres 数据库内核开发工程师
08-17 568
中，以标识每个成员事务在任何给定元组上持有的锁模式。此模块仅包含对存储和检索数组的支持。的数据开始偏移量，另一个用于保存偏移量。通过仔细跟踪每个表的使用值，我们能够删除不再需要的段：在。值时，考虑到全局最小值，要注意计数器不落在环绕的范围内。页面初始化为零时，该模块生成一条记录，以及当一个新的。标志位的含义对于本模块是不透明的，但它们主要用于。计数器至少与我们在重播期间看到的任何东西一样大。的一部分，保存在共享内存中。不同的是，我们必须在崩溃之间保持状态，并确保。的证据，我们只是确保在重播结束时，...
【0372】Postgres内核 multi transaction log 管理器 （multixact）
Postgres 数据库内核开发工程师
12-20 270
pg_multixact 管理器是一个类似于 pg_xact 的管理器，其为每个 MultiXactId 存储一个 MultiXactMember 数组。它是共享行锁实现的基础部分。每个 MultiXactMember 由一个 TransactionId 和一组标志位构成。此名称有一定的历史背景：最初，一个 MultiXactId 由不止一个 TransactionId 组成（除极少数特殊情况外），故而称为“multi”。然而，如今存在仅包含单个 Xid 的 MultiXactId 是完全合理的。
pg事务：multixact
liuzhilong的博客
05-20 1466
在对同一行加锁时，元组上关联的事务ID可能有多个，pg将多个事务ID组合起来用一个MultiXactID来管理
PostgreSQL multixact日志管理器说明
liuhhaiffeng的专栏
06-02 1402
PostgreSQL multixact日志管理器说明 MultiXactID日志是uxdb系统用来记录组合事务ID的一种日志。由于uxdb采用了多版本并发控制，因此同一个元组相关联的事务ID可能有多个，为了在加锁（行共享锁）的时候统一操作，uxdb将与该元组相关联的多个事务ID组合起来用一个MultiXactID代替来管理。同CLOG、Subtrans日志一样，MultiXact日志也是利用SLRU缓冲池来实现。 MultiXact日志管理器相关数据结构 MultiXactID是一个多对一的映射关系，需要
pg内核之日志管理器（二）MultiXact日志
mirai_D_zoro的博客
03-23 1062
MultiXact日志时数据库用来记录组合事务ID的日志。正常情况下，当事务更新一个元组或者对一个元组加锁时，其xmax字段会填入操作该元组的事务ID值，但是当多个事务同时操作一个元组时（如更新元组事务和元组加锁事务），元组的xmax就无法同时记录两个及以上的事务ID了，这时就会分配一个MultiXactID，然后将事务ID保存到MultiXact日志中，这样需要时就能通过MultiXactID就能查到其对应的事务ID了。
PG内核分析 Question and Answer
liuhhaiffeng的专栏
06-02 1737
PG内核分析 Question and Answer PG系统概述 为什么说PG是一种先进的对象—关系数据库系统 因为PG它不仅支持关系数据库的各种功能, 而且还具备类, 继承等对象数据库的特征. 面向对象数据库技术可望成为继关系数据库技术之后的新一代数据管理技术。 它是一种以关系数据库和SQL为基础, 扩展了抽象数据类型, 从而具备面向对象特征的数据库. PG不是完全的对象数据库, 而是综合了在关系数据库的基础上, 吸收了对象数据库的优点发展起来的. 对象数据库的缺点参见下面所述: 参考: 面向对象数据
PG数据库内核分析学习笔记_XLOG日志恢复策略
liuhhaiffeng的专栏
02-17 1480
PG数据库内核分析学习笔记_XLOG日志恢复策略 在PostgreSQL中，系统在崩溃后重新启动时会调用StartupXlog入口函数. // xlog.c /* * This must be called ONCE during postmaster or standalone-backend startup */ void StartupXLOG(void) { XLogCtlInser...
＜PostgreSQL数据库内核分析＞之第二章：PostgreSQL的体系结构
喜欢打篮球的普通人
11-25 2438
文章目录一、PostgreSQL安装和数据库命令1.安装2.PG的数据库命令3.PG源代码的组织结构二、PG体系结构1.系统表 一、PostgreSQL安装和数据库命令 1.安装 初始化数据库集簇 cd postgres-master 在拥有configure目录下执行： chmod +x ./configure make;make install cd /usr/local/pgsql mkdir data/-----数据库文件的存放目录 useradd postgres passwd postgres
pg_multixact manager for shared-row-lock implementation
postgrechina的博客
10-14 572
multixact是管理共享行锁的基础代码，一个MultiXactId对应一个MultiXactMember数组，每个MultiXactMember包含事务号以及该事务号对应的flag(MultiXactStatus)。 src/include/access/multixact.h typedef struct MultiXactMember{        TransactionId
PostgreSQL内核分析
wonderful的专栏
05-07 2105
<br /> <br /> PostgreSQL内核分析<br /> 闫华 postgres_fan@yahoo.com.cn<br /> 1前言<br /> 一直都想写关于PostgreSQL实现原理方面的文章，由于这是一个工作量巨大的工作，平时还要工作谋生，很难抽出时间 来写，希望能够坚持下来。PostgreSQL作为历史最悠久的开源数据库 管理系统 ，有关它的详细信息可以到http://www.postgresql.org/ 去查阅，这里不再赘述。在MySQL被Oracle 抓在手中以
PostgreSQL数据库内核分析 笔记（这本书没有怎么很好的看，主要就是一些数据结构、概念和流程的文字介绍）
cteng的专栏
11-10 4260
PostgreSQL数据库内核分析 跳转至： 导航、 搜索 目录 1 系统概述2 体系结构3 存储管理4 索引5 查询编译6 查询执行7 事务处理与并发控制8 数据库安全9 附录A 用Eclipse开发和调试 系统概述 初始化数据库：./initdb --no-locale -D ../data.
PostgreSQL数据库内核分析.pd
02-07
PostgreSQL数据库内核分析.pdPostgreSQL数据库内核分析.pdPostgreSQL数据库内核分析.pdPostgreSQL数据库内核分析.pdPostgreSQL数据库内核分析.pdPostgreSQL数据库内核分析.pdPostgreSQL数据库内核分析.pd
PostgreSQL数据库内核分析 完整版
06-24
《PostgreSQL数据库内核分析》彭智勇 完整版44M
Postgresql页面xmax与multixact
InternalsOf
02-22 1073
结论1： xmax和Infomask匹配使用，可能保存修改者的xid，也可能保存读或写行锁的xid。 如果保存读写行锁的xid，只要加过行锁，就算释放了xmax也会一直记录xid。 如果保存读行锁的xid，如果有多个事务加行锁，xmax会保存multixact数组的位置，具体信息存在multixact结构中（SLRU页面同CLOG）。 结论2： 注意到PG使用xmax记录行锁的事务ID，那么判断行锁还有没有就依赖xid的状态了，也就是CLOG。 在vacuum freeze的时候如果看到xmax上记录的
读书笔记：《PostgreSQL数据库内核分析》
fkuner的博客
09-29 525
第1章 PostgreSQL系统概述 PostgreSQL是一种对象-关系数据库管理系统，不仅支持关系数据库的各种功能，而且还具备类、继承等对象数据库的特征。 第2章 PostgreSQL的体系结构 2.1 系统表 系统表是PostgreSQL数据库存放结构元数据的地方，它在PostgreSQL中表现为存放有系统信息的普通表或者视图。 ...
Postgresql内核源码分析-vacuum流程
一个追逐梦想的码农
02-05 761
本文是基于postgresql 1５的代码进行分析解读，演示是在centos8系统上进行。postgresql的MVCC机制，在update时会产生新旧版本，而且存储在表文件中，导致表数据膨胀，影响查询扫描的效率。vacuum的引入就是定期对deadtuple的清理，所谓deadtuple，对所有事务来说都是过期版本。下面详细介绍vacuum具体做那些事情，以及如何来展，在清理过程中又是怎么避免与业务的冲突。
Postgres pg_multixact信息丢失极限拉起数据库
jjxliu306的博客
09-13 1606
本测试模拟pg_multixact，pg_xlog全部信息丢失的情况下，数据库完全起不来的情况下拉起数据库。本人血淋淋的教训，建议还是做好备库和增量备份。     一、初始化一个新的实例、创建数据库等。（因为当前系统用户并非postgres，因此我加了-U 来默认数据库超管用户postgres）   [lyf@centos250 pg9.6]$ initdb -D pg_db_test...
＜PostgreSQL数据库内核分析＞之第六章：查询执行
喜欢打篮球的普通人
02-14 1607
文章目录五、其他子功能介绍1.元组操作TupleTableSlot2.表达式计算 五、其他子功能介绍 1.元组操作TupleTableSlot PG中使用元组存储所有信息，把偶偶各种系统信息、数据等 存储模块提供了很好的元组HeapTuple定义和操作结构，但是该接口是面向物理元组的，结构解析和构造开销较大，不能满足执行器高效处理元组的需求 为了能够统计地表示和处理各种形式的元组，执行器定义了数据结构TupleTableSlot结构和相关的处理函数，以便执行过程中按照需要，使用相应形式的元组进行处理，并支
PostgreSQL 10 基于日志的备份与还原
liuhhaiffeng的专栏
02-17 2962
PostgreSQL 10 基于日志的备份与还原 wal，即预写式日志，是日志的标准实现方式，简单而言就是将对数据库的变动先记录到日志中，而后在将具体的新数据刷新到磁盘。PostgreSQL将该日志维护在数据文件夹下的子文件夹pg_wal中。当数据库崩溃后，可以通过“重放(replay)”日志中的“动作”，将数据库恢复。也就是说，只要拥有一个基础备份和完整的日志文件，理论上可以将数据库库恢复到任意...
如何进入pg数据库，并使用pg_dump等命令
最新发布
07-12
### 连接到 PostgreSQL 数据库并使用 `pg_dump` 导出数据 PostgreSQL 提供了多种方式用于连接数据库和执行操作，其中最常用的工具之一是命令行工具 `psql` 和备份工具 `pg_dump`。以下是详细的步骤说明。 #### 使用 `psql` 连接 PostgreSQL 数据库 要连接到 PostgreSQL 数据库，可以使用 `psql` 工具。该工具提供了交互式命令行界面，允许用户直接执行 SQL 查询和管理数据库对象。 连接数据库的基本命令格式如下： ```bash psql -U 用户名 -h 主机名 -p 端口 数据库名 ``` - `-U`: 指定数据库用户名（默认为当前系统用户）。 - `-h`: 数据库服务器地址（默认为 `localhost`）。 - `-p`: 数据库端口（默认为 `5432`）。 - `数据库名`: 要连接的数据库名称。 例如，连接到本地主机上的 `mydb` 数据库，并以用户 `postgres` 登录： ```bash psql -U postgres -h localhost -p 5432 mydb ``` #### 使用 `pg_dump` 导出数据 `pg_dump` 是 PostgreSQL 自带的命令行工具，用于将数据库导出为 SQL 脚本或自定义格式的归档文件，适用于数据迁移、备份和恢复[^1]。 ##### 导出整个数据库 要导出整个数据库为 SQL 文件，可以使用以下命令： ```bash pg_dump -U 用户名 -h 主机名 -p 端口 数据库名 > 备份文件.sql ``` - `>`: 将输出重定向到指定的 SQL 文件中。 例如，导出名为 `mydb` 的数据库，并保存为 `backup.sql` 文件： ```bash pg_dump -U postgres -h localhost -p 5432 mydb > backup.sql ``` ##### 导出特定表 如果仅需要导出数据库中的某个表，可以使用 `-t` 参数指定表名。例如，导出 `mydb` 数据库中的 `users` 表： ```bash pg_dump -U postgres -h localhost -p 5432 -t users mydb > users_backup.sql ``` ##### 导出为自定义格式 为了获得更灵活的备份和恢复功能，可以使用自定义格式（`-Fc`）。这种格式支持选择性恢复和重新排序条目，且跨平台兼容[^2]。例如： ```bash pg_dump -U postgres -h localhost -p 5432 -Fc mydb > custom_backup.dump ``` ##### 带密码连接并导出 在某些情况下，可能需要直接在命令中提供密码。可以通过连接字符串指定密码，避免交互式输入。例如，导出 `tbl_test` 表并指定密码： ```bash pg_dump -a -t tbl_test "host=127.0.0.1 hostaddr=127.0.0.1 port=5432 user=postgres password=123456 dbname=postgres" > /userdir/tbl_data ``` 此方法适用于脚本自动化场景，但需要注意保护敏感信息[^3]。 ##### 指定输出文件 使用 `-f` 参数可以直接指定输出文件名。例如，导出 `mydb` 数据库并将结果保存为 `output_file.sql`： ```bash pg_dump -U postgres -d mydb -f output_file.sql ``` #### 示例代码：导出整个数据库并查看内容 ```bash # 导出数据库 pg_dump -U postgres -h localhost -p 5432 mydb > backup.sql # 查看导出的 SQL 文件内容 cat backup.sql ``` #### 示例代码：导出特定表并检查文件 ```bash # 导出特定表 pg_dump -U postgres -h localhost -p 5432 -t users mydb > users_backup.sql # 检查导出的文件大小 ls -l users_backup.sql ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值