pg wal日志名称格式及其含义

最新推荐文章于 2025-09-16 15:18:33 发布
原创 最新推荐文章于 2025-09-16 15:18:33 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

本文详细解析了PostgreSQL的WAL（Write-Ahead Logging）日志结构，包括时间线、LogId、LogSeg的概念及LSN（Log Sequence Number）的构成原理。并通过实例展示了如何确定WAL日志的具体位置。

pg wal日志一般是如图所示的样子：
在这里插入图片描述

000000010000000000000000
时间线LogIdLogSeg

时间线：英文为timeline，是以1开始的递增数字，如1,2,3…
LogId：32bit长的一个数字，是以0开始递增的数字，如0,1,2,3…
LogSeg：32bit长的一个数字，是以0开始递增的数字，如0,1,2,3…

WAL日志的位置是一个无限长的位置，数据库一建立后，不断的开始写WAL日志，此位置就不断的增加，即使数据库重启后，此位置也不会重新开始，只会一直增加，所以这个位置值显然如果用32bit的一个数字是不够的，32bit最多表示4GB的日志，所以大家很容易可以想到用一个64bit的数字来表示这个WAL日志的位置，这当然就足够了(因为要写4G*4G的数据才会用完64bit的长度）。

这个WAL日志的位置称之为LSN，即Log Sequence Number。

看起来，LogId+LogSeg好象刚好组成一个64bit的LSN，是否是LogId是这个64bit的LSN中的高32bit字节，而LogSeg就是低32bit的字节呢？LogId确实是LSN的高32字节，但LogSeg却不是低32bit的字节，另我们可以观察到LogSeg的值是从00000000到000000FF后，就重新从00000000开始了，并不会出现00000100这样的数值，也就是LogSeg的8个字符中，前6个字符始终是0，这是为什么？

原来LogSeg是按文件递增，每增加一个文件，LogSeg就增加1，而每个WAL文件的大小是16M，LogSeg是LSN的低32bit的字节的值再除以16M的结果，这样4G/16M结果是256，所以LogSeg最大的值为256，即16进制的0xFF，这样就解释了LogSeg的前6字节都是零的原因。

通过在pg_stat_replication里面也可以查到wal日志序列：
在这里插入图片描述
以0/12B00B48为例子：logId就是“0/12B00B48”中的第一个数字，即0
logSeg就是“0/12B00B48”中的第二个数字除以16M的大小，即12B00B48除以16M，而16M相当于2的24次方，相当于十六进制数“12B00B48”右移6位，即“12B00B48”中的最高两位“12”
那么根据WAL文件的格式timeline+logId+logSeg，则相当于:“00000001”+“00000000”+“00000012”，即为：“000000010000000000000012” 写的位置是在文件“000000010000000000000012”中的偏移量是多少呢？实际上是在“0/12B00B48”中第二个数字“12B00B48”后六位“B00B48”，换算成十进制为“11537224”。
在pg13可以通过select pg_walfile_name_offset(‘0/11001F78’);函数来解析。
在这里插入图片描述

深入理解pg wal日志
MyySophia的博客
10-14 401
深入理解pg wal日志
WAL日志管理
m0_70731516的博客
06-19 273
PG的WAL（Write Ahead Log）日志，意为 预写式日志，特点是先记后做。例如：假设发生一个update事务，数据库的操作步骤：（1）将update事务转化为特定格式，形成日志条目，记录至内存中的wal buffer；（2）从磁盘的数据文件中读取需要update的数据至内存中的buffer cache，然后进行update，得到脏块；（3）commit这个事务（或满足其他触发条件），wal writer进程将wal buffer中日志条目记录至磁盘的wal文件中；
pg 崩溃恢复篇（二）—— WAL文件结构及管理
Hehuyi_In的博客
11-13 5287
第二篇我们来看WAL文件逻辑、物理结构以及管理方法 一、 事务日志和WAL文件 在逻辑上，pg用一个地址空间长度为8B的虚拟文件表示事务日志（最大可达16EB）。 在物理上，pg中的事务日志默认切分为16 MB的文件，每个文件称为WAL段。pg 11开始，使用initdb命令初始化时可以使用–wal-segsize选项配置WAL段文件的大小。 WAL文件名由24个十六进制数组成，命名规...
pg内核之日志管理器（五）WAL日志
mirai_D_zoro的博客
04-20 2093
数据库运行过程中，数据一般是会保存在内存和磁盘中，为保证数据的安全性，防止数据库崩溃时数据不丢失，一般都是要保证数据实时落盘的，但是又由于磁盘随机IO读写速率与内存相比慢很多，如果每个事务的数据都要等到写入到磁盘才算完成，其性能会非常的差。为了解决这种问题，数据库提供预写式日志方式，即WAL日志，事务中每次写入只需要保证WAL日志落盘即可，不必再关心数据是否真的落盘，这样即使数据库崩溃，由于WAL日志已经落盘，仍旧可以通过WAL恢复数据的。
PostgreSQL获取当前 WAL (Write-Ahead Log) 的文件名：select pg_walfile_name(pg_current_wal_lsn())； pg_walfile_n
最新发布
liumangtuzi888的博客
09-16 470
PostgreSQL获取当前WAL文件名摘要：通过SELECT pg_walfile_name(pg_current_wal_lsn())可查询当前WAL文件名。pg_current_wal_lsn()获取当前日志位置(LSN)，pg_walfile_name()将其转换为形如"000000010000001600000030"的文件名。该查询常用于WAL监控、备份管理和故障恢复，文件名包含时间线ID和段号信息。相关函数还包括pg_switch_wal()强制切换WAL文件、pg_wal
PostgreSQL主机无法自动清理pg_wal下wal文件
m0_37535673的博客
01-14 4207
数据库数据目录下pg_wal的WAL文件在开启归档的模式下会将已归档WAL文件自动清理，具体流程是，转储WAL段文件到disk，写满或者使用pg_switch_wal()后，会生成000000xxxx.ready文件，调用archive_command命令且成功执行后，将ready文件更名为.done文件。而数据库会在执行checkpoint后计算出最旧的需保留的WAL文件，比该值更早的WAL文件...
WAL日志文件名称格式详解
dimawei2225的博客
05-09 546
转自：http://blog.osdba.net/534.html WAL日志文件名称格式详解 PostgreSQL的WAL日志文件在pg_xlog目录下，一般情况下，每个文件为16M大小： osdba-mac:~ osdba$ ls -l $PGDATA/pg_xlog total 262144 -rw------- 1 osdba osdba ...
postgresql中pg_walfile_name()
weixin_30451709的博客
07-25 370
pg_walfile_name(lsn pg_lsn)：将wal位置转换成文件名 pg_lsn数据类型可以用于存储LSN数据，LSN是指向WAL中某个位置的指针。pg_lsn用XLogRecPtr的形式展现，是pg的内部系统类型。 在内部，LSN是一个64bit的整数，表示WLA流中的一个字节位置。打印的时候，用两个十六进制的数来表示，每个数最多可以包含八个数字。使用斜线分割，例如16/B...
PostgreSQL源码分析——WAL日志（一）
内核思考
06-19 1714
WAL日志对数据库故障恢复，物理备份，事务处理等至关重要，这里我们分析一下WAL日志的相关内容。如果没有WAL日志文件，那么数据库需要在每次更新页面后，刷盘持久化才能提交，频繁的进行刷盘，并且是随机写，而且是整页的写，代价很大。对此，设计了WAL，每次只将对数据页的修改抽象成WAL日志记录，顺序写入WAL日志文件中，这就将随机写变为了顺序写入，并且文件的大小也有所减少，因为绝大部分情况不用整页写入了，减少了刷盘的代价。
PostgreSQL 通过pg_waldump 来分析pg_wal日志
sql server的专栏
09-23 2657
读取MYSQL的binlog 并将其解析为可读的日志是一件简单的事情，mysqlbinlog 命令就可以将bin 日志解析， 那postgresql是否可以将pg_wal 中的日志进行解析...
Postgresql杂谈 20—详解Postgresql中的Checkpoint、WAL日志和热备份恢复
Hyman的博客
08-23 5192
本文中，我们共同学习下Postgresql的WAL日志。WAL，是Write Ahead Log的简称，翻译过来就是预写日志，或者叫做重做日志。相信大家对数据库事务的四大特性ACID（原子性、一致性、隔离性和持久性）已经非常熟悉了，今天我们先从数据库数据的持久性说起。数据的持久性是指，数据库中的事务中的数据一旦提交，便可以做到持久化，只要你不删除，那么数据将会永远存在数据库中。 一、有关CheckPoint 现在我们就来讨论下这个提交的过程。我们直到数据库中数据的存放位置最终...
PostgresWALReader：测试程序以读取Postgresql WAL日志
02-15
PostgreSQL WAL阅读器 **仍在进行中** 这是一个测试应用程序，可以使用wal2json或test_decoder阅读器读取和处理Postresql WAL日志。 这个想法是为记录处理速度生成性能统计信息，并生成一些有关我们在复制流中接收到的记录的信息。 具体来说，我们想知道跳过了多少条记录（错误的数据库/模式/表）。 我们还希望收集有关实际要处理的交易复杂性的信息。 对test_decoder和wal2json的支持即将到来。 当您使用CTRL-c组合键时，该程序将（最终）生成摘要。 赶上CTRL-C 如果插槽已存在，则处理代码 模式/表的统计信息 支持wal2json 验证插槽名称-不允许使用“-” 确保各种解码器的正确选项 有关交易复杂性的统计信息？
PostgreSQL WAL日志详解
热门推荐
Focus on PostgreSQL
04-24 1万+
wal日志即write ahead log预写式日志，简称wal日志。wal日志可以说是PostgreSQL中十分重要的部分，相当于oracle中的redo日志。 当数据库中数据发生变更时： change发生时：先要将变更后内容计入wal buffer中，再将变更后的数据写入data buffer； commit发生时：wal buffer中数据刷新到磁盘； checkpoint发生时：将所有da...
PG10 中pg_current_wal_insert_lsn()和pg_walfile_name()的使用
msdnchina的专栏@JiNan,ShanDong
11-09 1515
PG10 中pg_current_wal_insert_lsn()和pg_walfile_name()的使用
PostgreSQL——Wal文件
cf_808的博客
07-31 1716
PostgreSQL中的WAL（Write-Ahead Logging，预写式日志）文件是数据库持久性机制的重要组成部分。
Postgresql wal日志
以前冷现在热
12-11 6734
wal日志wal日志是什么WAL机制实现LSN标记pg的wal配置检查点 wal日志是什么 WAL即Write-Ahead Logging,预写式日志（WAL）是保证数据完整性的一种标准方法。WAL的中心概念是数据文件（存储着表和索引）的修改必须在这些动作被日志记录之后才被写入，即在描述这些改变的日志记录被刷到持久存储以后。如果我们遵循这种过程，我们不需要在每个事务提交时刷写数据页面到磁盘，因为...
postgresql的pg_wal日志
Aiky哇
08-25 8479
个人整理，来源： https://developer.aliyun.com/article/694169 https://www.cnblogs.com/VicLiu/p/11854782.html https://blog.youkuaiyun.com/weixin_39540651/article/details/105737136 https://www.cnblogs.com/VicLiu/p/11854782.html 网络上还存在大量的帖子，关于pg_log,xlog,clog 刚刚接触PG.
PostgreSQL（十一）WAL日志管理
shmily_coco的博客
03-01 3695
PG的WAL（Write Ahead Log）日志，意为 预写式日志，特点是先记后做。例如：假设发生一个update事务，数据库的操作步骤：（1）将update事务转化为特定格式，形成日志条目，记录至内存中的wal buffer；（2）从磁盘的数据文件中读取需要update的数据至内存中的buffer cache，然后进行update，得到脏块；（3）commit这个事务（或满足其他触发条件），wal writer进程将wal buffer中日志条目记录至磁盘的wal文件中；
WAL 日志文件存放位置
04-24
<think>好的，我现在需要回答用户关于PostgreSQL中WAL日志文件的存放位置以及pg_controldata命令的作用的问题。用户还特别提到了使用pg_controldata配合grep来过滤'WAL segment'和'REDO'的信息。我需要结合用户提供的引用内容，确保回答准确且符合用户之前的讨论。 首先，用户之前的问题和回答中已经涉及到了pg_controldata命令以及WAL的相关内容。用户现在进一步询问WAL文件的存放位置和该命令的详细解释。我需要先确定WAL日志的默认路径，通常是在PGDATA目录下的pg_wal子目录。在较旧的版本中可能叫做pg_xlog，这点需要提及。 接下来，关于pg_controldata命令的作用，用户之前的回答已经解释过，它用于读取控制文件pg_control的信息，包括检查点、WAL信息等。这里需要再次强调其核心作用，并结合用户提供的引用内容，如引用[3]中提到的检查点的位置信息，引用[1]中的示例输出，以及引用[4]中关于系统标识符的部分，可能需要说明控制文件中的其他重要信息。 用户的问题中提到了pg_controldata | grep 'WAL segment|REDO'的解释。在之前的回答中，已经解析了这两个字段的含义，如REDO location和对应的WAL文件。这里需要详细说明每个字段的意义，例如REDO location是最后一次检查点的重放起始位置，而WAL segment则对应具体的物理文件。同时，结合用户提供的引用[1]中的清理操作，说明如何利用这些信息来清理旧的归档日志。 用户提供的引用[2]提到定期清理归档日志的方法，可能需要简要提及pg_archivecleanup工具的使用，如引用[1]中的示例。但用户现在的问题主要是关于路径和命令解释，因此需要保持重点，避免偏离。 需要注意的是，用户引用的内容中有关于pg_resetwal的部分（引用[4]），虽然当前问题不直接相关，但可能涉及系统标识符的生成，不过在此问题中可以暂时不深入，除非有必要关联。 最后，确保回答结构清晰，分点说明WAL路径、pg_controldata命令的作用、命令输出的解析，以及相关应用场景，如日志清理。同时，生成相关问题，帮助用户进一步探索，比如如何配置归档、监控WAL生成等。引用用户提供的引用内容时，正确标注引用标记，如[^1]、[^2]等。 需要验证是否存在路径配置可能改变WAL存放位置的情况，例如通过initdb的参数或在配置文件中设置。此外，注意不同PostgreSQL版本之间的差异，如目录名称的变化，确保信息准确。 总结回答的结构： 1. WAL日志的存放位置，默认路径及可能的配置变更。 2. pg_controldata命令的作用，强调其读取控制文件的信息。 3. 解析使用grep过滤后的输出，解释REDO和WAL segment字段。 4. 结合引用内容，说明这些信息在日志清理和恢复中的应用。 5. 相关问题的生成，如路径配置、清理方法、监控等。</think>#### 一、PostgreSQL WAL日志文件的存放位置 PostgreSQL的WAL（Write-Ahead Logging）日志默认存储在数据库集群目录的 **`pg_wal`** 子目录中（PostgreSQL 10及以上版本）。在旧版本（9.6及之前）中，该目录名为 **`pg_xlog`**。路径示例如下： ``` $PGDATA/pg_wal/ ``` - **关键特性**： 1. **WAL文件命名规则** 文件名格式为 **`0000000XYYYYYYYYZZZZZZZZ`**，例如`000000020000000100000015`： - `X`: 时间线ID（timeline） - `YYYYYYYY`: 逻辑文件号（高位） - `ZZZZZZZZ`: 逻辑文件号（低位） 2. **路径自定义** 可通过`initdb`的`--waldir`参数或在`postgresql.conf`中设置`wal_directory`修改路径[^2]。 --- #### 二、`pg_controldata`命令的作用解析 `pg_controldata`用于读取数据库集群的控制文件`pg_control`，包含以下核心元数据： 1. **数据库集群状态** - 运行模式（正常/恢复） - 最后一次检查点信息 2. **WAL配置信息** - WAL段大小（默认16MB） - 检查点的REDO位置 3. **系统标识符** - 唯一标识集群，用于防止误操作（如主备混用）[^4] --- #### 三、`pg_controldata | grep 'WAL segment|REDO'`的输出解析 执行命令后，典型输出如下： ``` Latest checkpoint's REDO location: 0/22000878 Latest checkpoint's REDO WAL file: 000000020000000000000022 ``` ##### 1. **`REDO location`字段** - **格式**：`0/22000878`（LSN，Log Sequence Number） - `0/22`: 高32位表示逻辑文件号 - `000878`: 低32位表示段内偏移量（16进制） - **作用**：标记最后一次检查点完成时WAL的重放起始位置，崩溃恢复时从此点开始重放日志[^3]。 ##### 2. **`REDO WAL file`字段** - **物理文件名**：`000000020000000000000022` - 对应LSN的物理WAL文件，命名规则与`pg_wal`目录中的文件一致。 - **应用场景**： - 清理归档日志时，可通过`pg_archivecleanup`删除早于此文件的所有归档（如引用[1]示例）[^1]。 --- #### 四、实际应用示例 1. **清理归档日志** 根据`REDO WAL file`确定可清理的归档范围： ```bash pg_archivecleanup -d /path/to/archive 000000020000000000000022 ``` 2. **监控WAL生成速率** 定期记录`REDO location`的变化，判断WAL生成是否异常： ```bash watch -n 60 "pg_controldata | grep 'REDO location'" ``` --- #### 五、扩展知识：控制文件的其他关键字段 | 字段名 | 说明 | |------------------------|-----------------------------| | Database system identifier | 集群唯一标识（防止主备混淆） | | WAL block size | WAL块大小（默认8KB） | | Checkpoint timeout | 自动检查点触发间隔 | --- #### 相关问题 1. 如何修改PostgreSQL的WAL存储路径？ 2. `pg_archivecleanup`工具的工作原理是什么？ 3. 如何通过LSN计算对应的WAL文件名？ 4. 检查点的`REDO location`与事务提交有何关联？ --- 通过以上解析，可全面理解WAL日志的存储规则及`pg_controldata`在运维中的核心作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值