【PG基础知识】十三 PostgreSQL 预写日志(WAL)、checkpoint、LSN

已于 2024-10-21 20:00:08 修改
阅读量2.4k 收藏 2
点赞数 7
分类专栏： PostgreSQL 文章标签： postgresql 数据库
于 2023-11-13 17:17:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48154829/article/details/134373235
版权

目录

预写式日志（WAL）

WAL概念

WAL的作用

WAL日志存放路径 

WAL日志文件数量

WAL日志文件存储形式

WAL日志文件命名

WAL内容

 检查点（checkpoint）

1 检查点概念

2 检查点作用

触发检查点

触发检查点之后数据库操作

设置合理的检查点参数

查看检查点

监控检查点参数设置是否合理

优化检查点后的磁盘IO

LSN

参考

预写式日志（WAL）

WAL概念

预写式日志（WAL）是保证数据完整性的一种标准方法。简单来说，WAL的中心概念是数据文件（存储着表和索引）的修改必须在这些动作被日志记录之后才被写入，即在描述这些改变的日志记录被刷到持久存储以后。如果我们遵循这种过程，我们不需要在每个事务提交时刷写数据页面到磁盘，因为我们知道在发生崩溃时可以使用日志来恢复数据库：任何还没有被应用到数据页面的改变可以根据其日志记录重做（这是前滚恢复，也被称为REDO）。

简单理解： 数据持久化磁盘之前先写日志，先写的日志就位WAL

WAL的作用

使用WAL可以显著降低磁盘的写次数，因为只有日志文件需要被刷出到磁盘以保证事务被提交

了解本专栏 订阅专栏 解锁全文 超级会员免费看
帮您理解PostgreSQL（WAL、XLOG、CheckPoint进程、LSN、PITR、SR）
rachel_2016的博客
06-17 1561
7、如果备库最新的LSN小于主库最新的LSN，那么WAL发送器会将钱一个LSN到后一个LSN之间的WAL数据发送到WAL接收器，这些WAL数据存储在主库的pg_xlog子目录的WAL段提供，最终备库重放接受到的WAL数据，在这个阶段，备库在追赶主库，被称为追赶阶段。4、备库上的WAL接收器通过write()系统调用，将接受到的WAL数据写入WAL段，并想WAL发送器返回ACK响应。7、主库WAL发送器在收到来自WAL接收器的ACK响应后，释放后端进程的锁存起，然后后端进程完成commit,。
【PostgreSQL 小课】日志及审计 01：日志
cc20100608的专栏
06-06 2368
就像许多其他服务和数据库一样，PostgreSQL 提供了自己的日志基础设施，以便管理员可以检查守护进程正在做什么以及数据库系统的当前状态。虽然日志对于数据和数据库活动并不是必不可少的，但它们代表了关于整个系统中发生的事情的非常重要的部分，并且通过日志提供的重要线索，可以帮助管理员采取相应的动作。PostgreSQL 有一个非常灵活和可配置的日志基础设施，允许不同的日志配置、轮转、归档和后续分析。
PostgreSQL 常用日志
文牧之的博客
04-22 500
PostgreSQL 提供了多种日志类型，用于监控数据库活动、排查问题和优化性能。以下是 PostgreSQL 中最常用的日志类型及其配置和使用方法。
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 30 章 可靠性和预写式日志_30.4. WAL配置...
weixin_34279579的博客
10-03 183
30.4.WAL配置 有几个WAL相关的配置参数会影响数据库性能。本节将解释它们的使用。关于服务器配置参数的设置的一般信息请参考第19章。 检查点是在事务序列中的点，这种点保证被更新的堆和索引数据文件的所有信息在该检查点之前已被写入。在检查点时刻，所有脏数据页被刷写到磁盘，并且一个特殊的检查点记录将被写入到日志文件（修改记录之前已经被刷写到WA...
PostgreSQL 日志详解
上帝之手&传奇 - MartinLee
07-11 3910
默认单个大小是16M，源码安装的时候可以更改其大小（./configure --with-wal-segsize=target_value 参数，即可设置）这些日志会在定时回滚恢复(PITR)， 流复制(Replication Stream)以及归档时能被用到，这些日志是非常重要的，记录着数据库发生的各种事务信息，不得随意删除或者移动这类日志文件，不然你的数据库会有无法恢复的风险。说明：当你的归档或者流复制发生异常的时候，事务日志会不断地生成，有可能会造成你的磁盘空间被塞满，最终导致DB挂掉或者起不来。
PostgreSQL日志文件配置，记录所有操作记录
IT后浪的博客
07-14 4197
为了更详细的记录PostgreSQL 的运行日志，我们一般需要修改PostgreSQL 默认的配置文件，这里整理了一些常用的配置
postgresq的日志
归来仍少年
12-13 1618
postgresql日志类型： pg_log --> log:数据库运行日志，如各种error信息，慢查询，服务器与DB的状态信息等，默认关闭，可以通过参数自定义存储位置，格式等 pg_xlog --> pg_wal:WAL日志，即重做日志，默认大小16MB，强制打开 pg_clog --> pg_xact:事务提交日志，记录事务的元数据，强制打开 ps：在10.0版本开始，pg_xlog目录被重新命名为pg_wal，pg_clog目录被重命名为pg_xact,pg_log目录被重命名
PostgreSQL源码分析——WAL日志（一）
内核思考
06-19 1412
WAL日志对数据库故障恢复，物理备份，事务处理等至关重要，这里我们分析一下WAL日志的相关内容。如果没有WAL日志文件，那么数据库需要在每次更新页面后，刷盘持久化才能提交，频繁的进行刷盘，并且是随机写，而且是整页的写，代价很大。对此，设计了WAL，每次只将对数据页的修改抽象成WAL日志记录，顺序写入WAL日志文件中，这就将随机写变为了顺序写入，并且文件的大小也有所减少，因为绝大部分情况不用整页写入了，减少了刷盘的代价。
PostgreSQL源码分析——WAL日志（二）
内核思考
06-19 937
也就是说，并不是当前事务已写入WAL Buffer就可以直接刷入磁盘了，因为是并发写入WAL Buffer，可能存在其他事务先于本事务预留了空间，也就是前面还有WAL日志没有完成刷入WAL Buffer，此时就不能刷入磁盘，否则会造成WAL日志不完整。日志的写入是并发写入，但是备机进行回放或故障恢复时，是串行回放。到这里，其实并没有真正完成日志的写入，因为只是写入了WAL Buffer中，并没有刷入磁盘中，当事务提交时，需要先调用。一旦事务所占用的空间被预留，则数据复制的过程是可以并发的，通过。
《postgresql指南--内幕探索》第九章 预写式日志（WAL）
hmxz2nn的博客
08-09 2598
事务日志是数据库的重要组成部分，存储了数据库系统中所有更改和操作的历史，以确保数据库不会因为故障(例如掉电或其他导致服务器崩溃的故障)而丢失数据。在PostgreSQL(以下简称PG)中，事务日志文件称为Write Ahead Log（以下简称WAL）。 使用WAL不仅可以保证数据库事务操作的持久性，也可以显著地减少写磁盘的次数，因为只需要把日志文件刷新到磁盘就可以保证事务被提交，而不需要把事务改动过的每一个数据文件都刷新到磁盘。日志文件是连续写的，所以同步log的花销远小于刷新数据页的花销。特别是服务器要
PostgreSQL Log 日志模块详解
zxwsbg的博客
06-28 4557
本文讲的是操作日志，非 WAL 日志。
【数据库知识】今天聊聊WAL(预写日志)
wendao76的专栏
10-20 1822
预写式日志（Write-Ahead Logging，简称WAL）是一种在数据库系统中用于提供原子性和持久性的关键技术。WAL是一种重要的日志记录机制，它通过在数据更改前先记录日志的方式来保证数据的原子性和持久性。WAL不仅在数据库系统中广泛应用，也可以应用于其他需要数据一致性和可靠性的场景。通过合理地使用WAL，可以显著提高系统的写入性能和恢复能力。
预写式日志WAL
weixin_30338481的博客
11-23 204
Chapter 25. 预写式日志（Write-Ahead Logging (WAL)） Table of Contents25.1.WAL的好处25.2.WAL配置25.3.内部 预写式日志（WAL） 是一种实现事务日志的标准方法。有关它的详细描述可以在大多数（如果不是全部的话）有关事务处理的书中找到。 简而言之，WAL的中心思想是对数据文件的修改（它们是表和索引的载体）必...
Postgresql配置 WAL 清理
qq_43051870的博客
09-04 1219
在 PostgreSQL 中，自动清理 Write-Ahead Logs（WAL）文件是通过设置特定的配置参数来实现的。%p 是 WAL 文件的路径，%f 是 WAL 文件的文件名。max_wal_size 定义了 WAL 文件总大小的上限。当 WAL 文件总大小超过这个值时，PostgreSQL 会清理旧的 WAL 文件。min_wal_size 定义了 WAL 文件总大小的下限，PostgreSQL 会尽量保持 WAL 文件的大小不低于这个值。注意：pg_archive文件夹要提前建好。
wal相关配置梳理
黄刚的技术博客
01-06 1434
hbase.regionserver.separate.hlog.for.meta false 是否将meta表region的wal存入单独的HLog中，会添加.meta的文件扩展名 hbase.regionserver.logroll.errors.tolerated 2 最大能承受的日志轮转时WAL Writer关闭失败次数 hbase.region
PostgreSQL数据库系列之八：运行日志
Eric.zhong
12-11 9470
PostgreSQL可以通过配置实现日志输出记录，默认是没有启动记录。它提供许多的日志输出以满足数据库审计，比如用户登录与登录出时间。 PostgreSQL常用日志参数 项目 默认值 设定值 说明 logging_collector off on 日志收集功能是否启动 log_destination stderr csvlog 日志收集存储方式 log_directory ...
Postgresql数据库日志维护
pythoner的专栏
09-10 1144
把数据库服务器的日志输出保存在一个地方是个好主意， 而不是仅仅把它们放到 /dev/null 里。 在碰到危险的问题的时候，日志输出是非常宝贵的。不过，日志输出可能很庞大（特别是在比较高的调试级别上）， 而且你不会无休止地保存它们．你需要"旋转"日志文件，这样生成新的日志文件并且经常抛弃老的．     如果你简单地把postmaster的stderr定向到一个文件中， 你会有日志输
PostgreSQL日志管理
荷塘月色
09-25 5715
日志分类 PostgreSQL有3种日志，分别是： 日志目录 作用 可读性 默认状态 pg_log 数据库运行日志 内容可读 默认关闭，需要设置参数启动 pg_xlog WAL 日志，即重做日志 内容一般不具有可读性 强制开启 pg_clog 事务提交日志，记录的是事务的元数据 内容一般不具有可读性 强制开启 日志所在路径 pg_xlog和pg_clog一般是在PGDATA下面的文件夹下。pglog默认路径是PGDATA下面的文件夹下。 pg_log默认路径是PGDATA下面的文
PostgreSQL 日志文件位置
热门推荐
weixin_33736048的博客
12-15 1万+
2019独角兽企业重金招聘Python工程师标准>>> ...
WAL 日志文件存放位置
最新发布
04-24
<think>好的，我现在需要回答用户关于PostgreSQL中WAL日志文件的存放位置以及pg_controldata命令的作用的问题。用户还特别提到了使用pg_controldata配合grep来过滤'WAL segment'和'REDO'的信息。我需要结合用户提供的引用内容，确保回答准确且符合用户之前的讨论。 首先，用户之前的问题和回答中已经涉及到了pg_controldata命令以及WAL的相关内容。用户现在进一步询问WAL文件的存放位置和该命令的详细解释。我需要先确定WAL日志的默认路径，通常是在PGDATA目录下的pg_wal子目录。在较旧的版本中可能叫做pg_xlog，这点需要提及。 接下来，关于pg_controldata命令的作用，用户之前的回答已经解释过，它用于读取控制文件pg_control的信息，包括检查点、WAL信息等。这里需要再次强调其核心作用，并结合用户提供的引用内容，如引用[3]中提到的检查点的位置信息，引用[1]中的示例输出，以及引用[4]中关于系统标识符的部分，可能需要说明控制文件中的其他重要信息。 用户的问题中提到了pg_controldata | grep 'WAL segment|REDO'的解释。在之前的回答中，已经解析了这两个字段的含义，如REDO location和对应的WAL文件。这里需要详细说明每个字段的意义，例如REDO location是最后一次检查点的重放起始位置，而WAL segment则对应具体的物理文件。同时，结合用户提供的引用[1]中的清理操作，说明如何利用这些信息来清理旧的归档日志。 用户提供的引用[2]提到定期清理归档日志的方法，可能需要简要提及pg_archivecleanup工具的使用，如引用[1]中的示例。但用户现在的问题主要是关于路径和命令解释，因此需要保持重点，避免偏离。 需要注意的是，用户引用的内容中有关于pg_resetwal的部分（引用[4]），虽然当前问题不直接相关，但可能涉及系统标识符的生成，不过在此问题中可以暂时不深入，除非有必要关联。 最后，确保回答结构清晰，分点说明WAL路径、pg_controldata命令的作用、命令输出的解析，以及相关应用场景，如日志清理。同时，生成相关问题，帮助用户进一步探索，比如如何配置归档、监控WAL生成等。引用用户提供的引用内容时，正确标注引用标记，如[^1]、[^2]等。 需要验证是否存在路径配置可能改变WAL存放位置的情况，例如通过initdb的参数或在配置文件中设置。此外，注意不同PostgreSQL版本之间的差异，如目录名称的变化，确保信息准确。 总结回答的结构： 1. WAL日志的存放位置，默认路径及可能的配置变更。 2. pg_controldata命令的作用，强调其读取控制文件的信息。 3. 解析使用grep过滤后的输出，解释REDO和WAL segment字段。 4. 结合引用内容，说明这些信息在日志清理和恢复中的应用。 5. 相关问题的生成，如路径配置、清理方法、监控等。</think>#### 一、PostgreSQL WAL日志文件的存放位置 PostgreSQL的WAL（Write-Ahead Logging）日志默认存储在数据库集群目录的 **`pg_wal`** 子目录中（PostgreSQL 10及以上版本）。在旧版本（9.6及之前）中，该目录名为 **`pg_xlog`**。路径示例如下： ``` $PGDATA/pg_wal/ ``` - **关键特性**： 1. **WAL文件命名规则** 文件名格式为 **`0000000XYYYYYYYYZZZZZZZZ`**，例如`000000020000000100000015`： - `X`: 时间线ID（timeline） - `YYYYYYYY`: 逻辑文件号（高位） - `ZZZZZZZZ`: 逻辑文件号（低位） 2. **路径自定义** 可通过`initdb`的`--waldir`参数或在`postgresql.conf`中设置`wal_directory`修改路径[^2]。 --- #### 二、`pg_controldata`命令的作用解析 `pg_controldata`用于读取数据库集群的控制文件`pg_control`，包含以下核心元数据： 1. **数据库集群状态** - 运行模式（正常/恢复） - 最后一次检查点信息 2. **WAL配置信息** - WAL段大小（默认16MB） - 检查点的REDO位置 3. **系统标识符** - 唯一标识集群，用于防止误操作（如主备混用）[^4] --- #### 三、`pg_controldata | grep 'WAL segment|REDO'`的输出解析 执行命令后，典型输出如下： ``` Latest checkpoint's REDO location: 0/22000878 Latest checkpoint's REDO WAL file: 000000020000000000000022 ``` ##### 1. **`REDO location`字段** - **格式**：`0/22000878`（LSN，Log Sequence Number） - `0/22`: 高32位表示逻辑文件号 - `000878`: 低32位表示段内偏移量（16进制） - **作用**：标记最后一次检查点完成时WAL的重放起始位置，崩溃恢复时从此点开始重放日志[^3]。 ##### 2. **`REDO WAL file`字段** - **物理文件名**：`000000020000000000000022` - 对应LSN的物理WAL文件，命名规则与`pg_wal`目录中的文件一致。 - **应用场景**： - 清理归档日志时，可通过`pg_archivecleanup`删除早于此文件的所有归档（如引用[1]示例）[^1]。 --- #### 四、实际应用示例 1. **清理归档日志** 根据`REDO WAL file`确定可清理的归档范围： ```bash pg_archivecleanup -d /path/to/archive 000000020000000000000022 ``` 2. **监控WAL生成速率** 定期记录`REDO location`的变化，判断WAL生成是否异常： ```bash watch -n 60 "pg_controldata | grep 'REDO location'" ``` --- #### 五、扩展知识：控制文件的其他关键字段 | 字段名 | 说明 | |------------------------|-----------------------------| | Database system identifier | 集群唯一标识（防止主备混淆） | | WAL block size | WAL块大小（默认8KB） | | Checkpoint timeout | 自动检查点触发间隔 | --- #### 相关问题 1. 如何修改PostgreSQL的WAL存储路径？ 2. `pg_archivecleanup`工具的工作原理是什么？ 3. 如何通过LSN计算对应的WAL文件名？ 4. 检查点的`REDO location`与事务提交有何关联？ --- 通过以上解析，可全面理解WAL日志的存储规则及`pg_controldata`在运维中的核心作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DBA之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值