PostgreSQL 通过pg_waldump 来分析pg_wal日志

最新推荐文章于 2025-09-16 15:57:38 发布
原创 最新推荐文章于 2025-09-16 15:57:38 发布 · 2.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #java #python #mysql #大数据

本文介绍如何使用pg_waldump工具解析PostgreSQL的pg_wal日志，以查询特定时间段内的数据变化情况。通过具体实例展示了不同类型的记录管理器（rmgr）的作用及如何定位特定事务。

28d482866dea1c5a197d1b643d47eae1.png

读取MYSQL的binlog 并将其解析为可读的日志是一件简单的事情，mysqlbinlog 命令就可以将bin 日志解析， 那postgresql是否可以将pg_wal 中的日志进行解析，并且提供一些特殊的功能，如题目给出的，想查询某个时间短插入的数据量。

pg_waldump 可以解决这个问题，通过pg_waldump来解析pg_wal 日志来分析和解决一些问题。

pg_waldump 是PG 内部用来对 wal日志进行查看的命令，值需要pg_waldump执行命令对于要读取的日志有只读的权限即可。

在 pg_wal 中日志是有管理类型的，也就是日志记录的东西是什么的标签

47e00eae8ac98289d7229dff0a635e6b.png

下面我们进行一系列的操作创建一个数据库创建一个表，插入三条记录

postgres=# 

postgres=# select pg_current_wal_lsn();

 pg_current_wal_lsn 

--------------------

 1/7C000328

(1 row)

postgres=# create database testn;

CREATE DATABASE

postgres=# select pg_current_wal_lsn();

 pg_current_wal_lsn 

--------------------

 1/7C001CF8

(1 row)

postgres=# create table idd (id int);

CREATE TABLE

postgres=# 

postgres=# select pg_current_wal_lsn();

 pg_current_wal_lsn 

--------------------

 1/7C019640

(1 row)

postgres=# insert into idd values (1);

INSERT 0 1

postgres=# select pg_current_wal_lsn();

 pg_current_wal_lsn 

--------------------

 1/7C0196E0

(1 row)

postgres=# insert into idd values (2);

INSERT 0 1

postgres=# select pg_current_wal_lsn();

 pg_current_wal_lsn 

--------------------

 1/7C019748

(1 row)

postgres=# insert into idd values (3);

INSERT 0 1

postgres=# select pg_current_wal_lsn();

 pg_current_wal_lsn 

--------------------

 1/7C0197B0

(1 row)

postgres=# select pg_current_wal_lsn(),pg_walfile_name(pg_current_wal_lsn()),pg_walfile_name_offset(pg_current_wal_lsn());

 pg_current_wal_lsn |     pg_walfile_name      |      pg_walfile_name_offset       

--------------------+--------------------------+-----------------------------------

 1/7C0197E8         | 00000002000000010000001F | (00000002000000010000001F,104424)

(1 row)

最后通过pg_wal的一些函数，查询当前操作结束的lsn 号，以及pg_wal 的文件名。 粗体含有添加的注释

pg_waldump  /pgdata/data/pg_wal/00000002000000010000001F  -s 1/7C000328  

rmgr: Heap        len (rec/tot):     54/  5394, tx:     464894, lsn: 1/7C000328, prev 1/7C0002F0, desc: INSERT off 21, blkref #0: rel 1664/0/1262 blk 0 FPW

rmgr: Btree       len (rec/tot):     53/   369, tx:     464894, lsn: 1/7C001840, prev 1/7C000328, desc: INSERT_LEAF off 11, blkref #0: rel 1664/0/2671 blk 1 FPW

rmgr: Btree       len (rec/tot):     53/   313, tx:     464894, lsn: 1/7C0019B8, prev 1/7C001840, desc: INSERT_LEAF off 11, blkref #0: rel 1664/0/2672 blk 1 FPW

rmgr: Standby     len (rec/tot):     54/    54, tx:          0, lsn: 1/7C001AF8, prev 1/7C0019B8, desc: RUNNING_XACTS nextXid 464895 latestCompletedXid 464893 oldestRunningXid 464894; 1 xacts: 464894

rmgr: XLOG        len (rec/tot):    106/   106, tx:          0, lsn: 1/7C001B30, prev 1/7C001AF8, desc: CHECKPOINT_ONLINE redo 1/7C001AF8; tli 2; prev tl

最低0.47元/天 解锁文章
PostgreSQL源码分析——WAL日志（一）
内核思考
06-19 1742
WAL日志对数据库故障恢复，物理备份，事务处理等至关重要，这里我们分析一下WAL日志的相关内容。如果没有WAL日志文件，那么数据库需要在每次更新页面后，刷盘持久化才能提交，频繁的进行刷盘，并且是随机写，而且是整页的写，代价很大。对此，设计了WAL，每次只将对数据页的修改抽象成WAL日志记录，顺序写入WAL日志文件中，这就将随机写变为了顺序写入，并且文件的大小也有所减少，因为绝大部分情况不用整页写入了，减少了刷盘的代价。
PostgreSQL中pg_waldump使用详解（1）
liumangtuzi888的博客
09-16 386
PostgreSQL的pg_waldump工具用于解析和查看WAL(预写日志)文件内容，帮助诊断数据库操作。该工具提供多种选项，包括指定WAL文件(-f)、限制输出记录(-n)、过滤特定操作类型(-r)等。常用场景包括查看特定事务、监控表操作和故障排查。输出包含操作类型、事务ID、LSN位置等详细信息。使用时需注意版本匹配、文件权限和性能影响。该工具是分析PostgreSQL底层操作和进行数据恢复的重要工具。
pg_waldump工具（2）
乡下人
09-21 667
PostgreSQL 10.x 常用工具（一） 参数介绍 postgres@CLW-DB4:/pgdata/10/data/pg_wal> pg_waldump --help pg_waldump decodes and displays PostgreSQL write-ahead logs for debugging. Usage: pg_waldump [OPTION]... [STARTSEG [ENDSEG]] STARTSEG 从指定的日志段文件开始读取。这也隐含地决定了
PostgreSQL WAL日志解析工具: wal2json
07-06
工具软件，基于 https://blog.youkuaiyun.com/Kafka_yx/article/details/103132469 生成的dll
PostgresWALReader：测试程序以读取Postgresql WAL日志
02-15
PostgreSQL WAL阅读器 **仍在进行中** 这是一个测试应用程序，可以使用wal2json或test_decoder阅读器读取和处理Postresql WAL日志。 这个想法是为记录处理速度生成性能统计信息，并生成一些有关我们在复制流中接收到的记录的信息。 具体来说，我们想知道跳过了多少条记录（错误的数据库/模式/表）。 我们还希望收集有关实际要处理的交易复杂性的信息。 对test_decoder和wal2json的支持即将到来。 当您使用CTRL-c组合键时，该程序将（最终）生成摘要。 赶上CTRL-C 如果插槽已存在，则处理代码 模式/表的统计信息 支持wal2json 验证插槽名称-不允许使用“-” 确保各种解码器的正确选项 有关交易复杂性的统计信息？
【PostgreSQL的WAL日志解析工具pg_waldump/pg_xlogdump】
小怪兽的博客
01-04 3327
PostgreSQL利用日志文件来防止断电之类的故障导致的数据丢失，任何试图修改数据库的操作都会写一份日志记录到磁盘，这个日志称为XLOG/WAL。在数据库定位问题时，就可以使用pg_xlogdump/pg_waldump来解析XLOG/WAL日志，包括日志类型、对应的事务号、修改的文件等等。pg_xlogdump/pg_waldump是查不出数据的，要查出数据，首先要有数据结构，然后要有数据。数据结构是需要查数据库的元数据才能查到，pg_xlogdump没办法做到。
PostgreSQL自带的命令行工具13- pg_waldump
文牧之的博客
05-08 1401
是 PostgreSQL 的一个实用工具，用于查看和分析 Write-Ahead Logging (WAL) 文件的内容。WAL 是 PostgreSQL 用于保证事务日志的完整性和恢复能力的一种技术。每次数据库事务提交时，变更都会先被写入 WAL 文件。在发生故障时，WAL 文件用于恢复数据库到最后一次一致的状态。pg_waldump提供了一种方式，来直观地查看这些 WAL 文件中的记录，帮助开发者和数据库管理员理解数据库变动和进行故障诊断。
postgresql 的WAL日志解析工具 pg_waldump
不积跬步，无以至千里；不积小流，无以成江海。
12-09 1868
基本使用 root@fe82b689f575:/var/lib/postgresql/data/pg_wal# pg_waldump --help pg_waldump decodes and displays PostgreSQL write-ahead logs for debugging. Usage: pg_waldump [OPTION]... [STARTSEG [ENDSEG]] Options: -b, --bkp-details output detailed inf
PostgreSQL中pg_waldump使用详解（2）_排查错误
liumangtuzi888的博客
09-16 321
PostgreSQL使用pg_waldump分析WAL日志时报错"no start WAL location given"，原因是该命令需要指定具体的起始位置。解决方法有四种：1)指定具体WAL文件；2)使用最新WAL文件；3)指定LSN范围；4)解析指定数量记录。推荐先列出pg_wal目录中的文件，再选择特定文件解析。注意解析时需要数据库运行权限，且WAL文件为二进制格式，解析大文件可能消耗较多资源。可通过pg_waldump --help查看更多选项和参数。
pg常用工具之pg_waldump
深海微澜
10-11 3550
mysql中，读取binlog，可以利用mysqlbinlog工具。那么pg中是否可以对wal日志进行解析呢？答案是可以的，工具就是pg_waldump。
Postgresql - WAL - pg_waldump
chuckchen1222的博客
01-15 943
首先我们看一下pg_waldump的帮助信息。 # pg_waldump --help pg_waldump decodes and displays PostgreSQL write-ahead logs for debugging. Usage: pg_waldump [OPTION]... [STARTSEG [ENDSEG]] Options: -b, --bkp-deta...
PostgreSQL的WAL日志解析工具pg_waldump 浅谈
热门推荐
欢迎来到我的技术分享博客！这里将带你深入了解AI技术、Java架构设计、系统开发与优化等前沿技术内容。我专注于从实战经验
06-27 1万+
PostgreSQL 10.x 常用工具（一） pg_waldump 介绍 把PG数据库集群的 wal 日志翻译成人为可阅读的信息,该工具要求访问数据库 data 目录权限,主要用于展示和debug的目的。 当服务器正在运行时可能会给出错误的结果。 只有指定的时间线 会被显示（如果没有指定，则显示默认时间线）。 其他时间线上的记录会被忽略。 pg_xlogdump不能读取具有后缀.p...
PostgreSQL源码分析——pg_waldump
内核思考
06-19 752
PG中有个可以打印WAL日志信息的工具，pg_waldump，对于开发人员来说，掌握该工具是十分有必要的。
PostgreSQL WAL日志详解
Focus on PostgreSQL
04-24 1万+
wal日志即write ahead log预写式日志，简称wal日志。wal日志可以说是PostgreSQL中十分重要的部分，相当于oracle中的redo日志。 当数据库中数据发生变更时： change发生时：先要将变更后内容计入wal buffer中，再将变更后的数据写入data buffer； commit发生时：wal buffer中数据刷新到磁盘； checkpoint发生时：将所有da...
Postgresql WAL日志解析挖掘（walminer 4.0）
loveLAxin的博客
11-24 2839
WalMiner是PostgreSQL的WAL(write ahead logs)日志解析工具，旨在挖掘wal日志所有的有用信息，从而提供PG的数据恢复支持。Walminer 3.0版本是以插件的模式进行使用。 walminer 4.0版本摒弃插件模式改为bin模式，现已脱离对目标数据库的编译依赖和安装依赖。遇到错误：walminer: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by walminer)并解决
PostgreSQL WAL解析：构建WAL记录准备
帅的数说
09-08 1853
以heap_insert为例，简述WAL的插入过程。 在构建WAL日志记录的过程中主要涉及2个数据变量：static XLogRecData *rdatas数组和static registered_buffer *registered_buffers数组。这两个数组分别用来保存WAL数据和管理rdatas链表。 主要涉及3个重要的函数：XLogRegisterData、XLogRegister...
POSTGRESQL WAL 日志问题合集之WAL 如何解析
sql server的专栏
08-28 1341
开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请加liuaustin3微信号 ，在新加的朋友会分到3群 （共1220人左右 1 + 2 + 3 + 4）最近经常有同学会问关于WAL 的问题，问能不能总结一下，这里我们总结关于WAL writea...
PostgreSQL自带的一个命令行工具pg_waldump
zxrhhm的博客
12-26 820
pg_waldump是PostgreSQL中一个非常有用的工具，它可以帮助开发者和数据库管理员更好地理解和分析WAL文件中的记录。
除了 pg_waldump，还有哪些工具可以分析 PostgreSQL 的二进制日志文件？
最新发布
09-29
<think>我们正在寻找除了pg_waldump之外可以分析PostgreSQL二进制日志（WAL）文件的工具。根据引用[2]和引用[3]，我们知道WAL日志是二进制格式，通常使用pg_waldump将其转换为可读形式。但用户希望了解其他工具。 经过思考，除了pg_waldump之外，还有以下工具或方法可以分析PostgreSQL的WAL日志： 1. **自定义程序读取**：使用编程语言（如Python、C）结合PostgreSQL的WAL内部结构文档，编写解析程序。这种方法需要对WAL格式有深入了解。 2. **第三方工具**：例如WAL2JSON（输出JSON格式的WAL变更）、pg_walminer（提供SQL接口查询WAL日志）、decoder_raw（PostgreSQL内置的测试解码器）等。 3. **逻辑解码**：使用PostgreSQL的逻辑解码功能（Logical Decoding）将WAL流转换为可读的变更序列，然后通过自定义输出插件（如test_decoding）输出为文本或自定义格式。 4. **商业工具**：一些商业数据库管理工具可能提供WAL分析功能，但这里我们主要关注开源方案。 下面详细说明： ### 1. 使用逻辑解码（Logical Decoding） PostgreSQL的逻辑解码功能允许将WAL流转换为易于理解的格式（如SQL语句、JSON等）。它通过输出插件实现，常用的有： - **test_decoding**：PostgreSQL自带的示例输出插件，输出文本格式的变更。 - **wal2json**：第三方插件，输出JSON格式的变更。 使用步骤： - 在PostgreSQL中配置逻辑复制槽。 - 使用`pg_logical_slot_get_changes`函数获取解码后的WAL数据。 示例（使用wal2json插件）： ```sql -- 创建逻辑复制槽 SELECT * FROM pg_create_logical_replication_slot('my_slot', 'wal2json'); -- 获取变更（需要先有WAL生成） SELECT * FROM pg_logical_slot_get_changes('my_slot', NULL, NULL); ``` 输出示例： ```json { "change": [ { "kind": "insert", "schema": "public", "table": "test", "columnnames": ["id", "name"], "columntypes": ["integer", "text"], "columnvalues": [1, "test"] } ] } ``` 注意：逻辑解码通常用于实时流，但也可以用于读取归档的WAL文件，前提是这些文件没有被清除且数据库版本一致。 ### 2. 使用pg_walminer pg_walminer是一个开源的PostgreSQL扩展，提供SQL函数来解析WAL日志。它支持从在线WAL文件或归档目录中读取日志，并以表格形式返回数据变更。 安装和使用步骤： - 下载并编译扩展（需要PostgreSQL开发包）。 - 在数据库中创建扩展：`CREATE EXTENSION wal2mined;` - 使用函数`miner_wal_all()`解析指定范围内的WAL文件。 示例： ```sql -- 添加要分析的WAL文件（归档目录中的文件） SELECT miner_wal_add('/path/to/archive/000000010000001200000048'); -- 解析并显示所有记录 SELECT * FROM miner_wal_all(); ``` 输出结果将包含操作类型（INSERT/UPDATE/DELETE）、表名、旧值、新值等。 ### 3. 自定义解析（Python示例） 如果你熟悉WAL文件结构（由24字节头部和多个XLogRecord组成），可以使用编程语言解析。以下是一个简化的Python示例： ```python import struct # WAL记录头部格式：uint32（时间线ID）、uint32（logid）、uint32（segno）、uint64（位置） HEADER_FORMAT = '>III' HEADER_SIZE = struct.calcsize(HEADER_FORMAT) with open('000000010000001200000048', 'rb') as f: header_data = f.read(HEADER_SIZE) timeline_id, log_id, seg_no = struct.unpack(HEADER_FORMAT, header_data) print(f"Timeline: {timeline_id}, Log: {log_id}, Segment: {seg_no}") # 后续读取XLogRecord（需要更复杂的解析） # ... ``` 注意：自定义解析非常复杂，需要参考PostgreSQL源码（如`src/include/access/xlogrecord.h`）。 ### 4. 其他工具 - **pg_binlog**：一个实验性的工具，模仿MySQL的mysqlbinlog，但不再维护。 - **Pivotal的WAL解析工具**：Greenplum（基于PostgreSQL）提供了一些工具，但可能不适用于普通PostgreSQL。 ### 注意事项 - 所有工具都需要与生成WAL的PostgreSQL版本匹配，否则可能无法正确解析。 - 解析归档日志时，确保日志文件没有被损坏。 §§相关问题§§ 1. 如何安装和使用wal2json插件进行WAL日志分析? 2. pg_walminer扩展的具体安装步骤是什么? 3. 如何通过逻辑复制槽实时捕获数据库变更? 4. PostgreSQL WAL文件的结构是怎样的? </think>### 除 `pg_waldump` 外分析 PostgreSQL WAL 日志的工具 #### 1. **逻辑解码（Logical Decoding）** 通过 PostgreSQL 内置的逻辑解码功能，可将二进制 WAL 转换为可读格式（如 SQL 或 JSON）： - **核心组件**： - **输出插件**：如 `test_decoding`（基础插件）或第三方 `wal2json` - **复制槽**：使用 `pg_create_logical_replication_slot()` 创建 - **操作流程**： 1. 启用逻辑解码： ```sql ALTER SYSTEM SET wal_level = logical; SELECT pg_reload_conf(); ``` 2. 创建复制槽： ```sql SELECT * FROM pg_create_logical_replication_slot('wal_slot', 'test_decoding'); ``` 3. 解析变更： ```sql SELECT * FROM pg_logical_slot_peek_changes('wal_slot', NULL, NULL); ``` - **输出示例**： ```plaintext table public.test: INSERT: id[integer]:1 data[text]:'sample' ``` 可捕获完整的 DML 操作（INSERT/UPDATE/DELETE）[^3]。 #### 2. **wal2json 插件** 专为生成 JSON 格式的 WAL 分析工具： - **安装**： ```bash git clone https://github.com/eulerto/wal2json cd wal2json && make && make install ``` - **使用**： ```sql SELECT * FROM pg_logical_slot_peek_changes('json_slot', NULL, NULL, 'include-pk', '1', 'format-version', '2'); ``` - **输出示例**： ```json { "change": [{ "kind": "insert", "schema": "public", "table": "users", "columnnames": ["id", "name"], "columntypes": ["int4", "text"], "columnvalues": [101, "Alice"] }] } ``` 适合与 JSON 处理工具（如 `jq`）集成[^2]。 #### 3. **pg_walminer** 开源扩展，提供 SQL 接口直接查询 WAL（支持归档日志）： - **功能亮点**： - 支持时间点恢复分析 - 生成反向 SQL 撤销误操作 - 图形化展示（需配合前端） - **安装**： ```sql CREATE EXTENSION wal2mined; ``` - **查询示例**： ```sql SELECT * FROM wm_miniwal_all('000000010000001200000048'); ``` #### 4. **Python 自定义解析** 通过 `struct` 模块手动解析 WAL 头部（需了解 WAL 结构）： ```python import struct with open('000000010000001200000048', 'rb') as f: header = f.read(24) # 24字节头部 tlid, logid, segid = struct.unpack('>III', header[:12]) print(f"时间线ID: {tlid}, 逻辑ID: {hex(logid)}, 段ID: {segid}") ``` 输出参考： ``` 时间线ID: 1, 逻辑ID: 0x12, 段ID: 72 ``` ### 工具对比 | 工具 | 易用性 | 输出格式 | 归档日志支持 | 实时分析 | |---------------|--------|------------|--------------|----------| | 逻辑解码 | ★★★☆ | 文本/SQL | 部分 | 是 | | wal2json | ★★★★ | JSON | 否 | 是 | | pg_walminer | ★★★★☆ | 表格/SQL | **是** | 是 | | 自定义脚本 | ★★☆ | 原始数据 | **是** | 否 | ### 注意事项 1. **版本匹配**：所有工具需与 PostgreSQL 主版本严格匹配（如 v15 的 WAL 需用 v15 工具解析） 2. **权限要求**： - 逻辑解码需要 `REPLICATION` 权限 - 文件解析需操作系统级读取权限 3. **一致性风险**：直接读取归档文件时确保数据库未写入（避免 partial write）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值