【转】统计pg_wal目录下的wal文件个数的sql语句

最新推荐文章于 2025-09-16 15:54:49 发布

转载最新推荐文章于 2025-09-16 15:54:49 发布 · 536 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://pgdash.io/blog/postgres-monitor-wal-files.html

文章标签：

#postgresql WAL

PostgreSQL数据库专栏收录该内容

96 篇文章

订阅专栏

本文介绍了如何使用PostgreSQL内置的SQL查询来监控WAL（Write-AheadLog）文件的数量，这对于理解数据库的日志记录状态和性能至关重要。

来源于：
https://pgdash.io/blog/postgres-monitor-wal-files.html

postgres=# SELECT COUNT(*) FROM pg_ls_dir('pg_wal') WHERE pg_ls_dir ~ '^[0-9A-F]{24}';
 count 
-------
    64
(1 row)

postgres=#

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

msdnchina

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

PostgreSQL WAL 文件数量长期持续增加问题排查

lg4546的专栏

06-16

936

1. 提出问题最近遇到一个自己运维 DB 的开发同学反馈："我们的业务量较小，但现在数据库积累了大量的 WAL，一个月的时间 pg_wal 目录和归档的目录均超过了80GB，且 WAL 增长的速度较快，由于虚拟机的磁盘不大，几乎把磁盘撑爆了，我应该怎么处理呢？可以先人工删一下吗？” 针对这个现象，我们需要分析如下几个问题: 几乎没有业务为什么 WAL 还会增加且增加的还很快？ WAL 会一直增加直至把磁盘撑爆吗？DBMS 有参数控制上限么? WAL 文件为什么会保留那么多

【PG基础知识】十三 PostgreSQL 预写日志(WAL)、checkpoint、LSN

DBA之路的博客

11-13

2612

PostgreSQL 预写日志(WAL)、checkpoint、LSN

参与评论您还未登录，请先登录后发表或查看评论

PostgreSQL WAL文件个数相关变量

u011481289的博客

03-09

287

min_wal_size max_wal_size wal_keep_segments

怎样用SQL递归求各个Folder的文件数

ChristopherChen的博客

05-22

585

-- 数据准备 CREATE TABLE [dbo].[ContentObject] (Id NCHAR(10), Name NVARCHAR(500),ParentId NCHAR(10),Type NVARCHAR(50)); INSERT INTO [dbo].[ContentObject] VALUES('0x00000001', 'ROOT', NULL, 'Folder'); INSE...

PostgreSQL 运用技巧之二：各时间段WAL产生量查询

Eric.zhong

03-11

1230

文章目录背景描述技巧方法背景描述通常可以通过统计wal在各个时间段内产生的数量确认数据库繁忙程度。技巧方法 pg10及以后的通用版本 select to_char(date_trunc('day',wal.modification),'yyyymmdd') as day, sum(case when date_part('hour',wal.modification) >=0 and date_part('hour',wal.modification) <24 the

max复制关键帧到不同的文件_彭占元|如何排除PostgreSQL WAL 文件数量长期持续增加？...

weixin_39664696的博客

11-24

318

点击蓝字关注我们作者简介彭占元2018年8月加入去哪儿网，现负责公司 PostgreSQL/GreenPlum 运维工作，对数据库日常运维和日常调优有大量优化实践经验。1. 提出问题最近遇到一个自己运维 DB 的开发同学反馈："我们的业务量较小，但现在数据库积累了大量的 WAL，一个月的时间 pg_wal 目录和归档的目录均超过了80GB，且 WAL 增长的速度较快，由于虚拟机的磁盘...

PostgreSQL中pg_waldump使用详解（1）

最新发布

liumangtuzi888的博客

09-16

386

PostgreSQL的pg_waldump工具用于解析和查看WAL(预写日志)文件内容，帮助诊断数据库操作。该工具提供多种选项，包括指定WAL文件(-f)、限制输出记录(-n)、过滤特定操作类型(-r)等。常用场景包括查看特定事务、监控表操作和故障排查。输出包含操作类型、事务ID、LSN位置等详细信息。使用时需注意版本匹配、文件权限和性能影响。该工具是分析PostgreSQL底层操作和进行数据恢复的重要工具。

WalMiner是从PostgreSQL的WAL日志中解析出执行的SQL语句的工具，并能生成对应的undo SQL语句

06-03

walminer功能介绍（wal2sql为walminer的基本功能，可以将wal日志解析为SQL语句，以及其undo语句,可解析部分DDL语句。fosync为在wal2sql的基础上实现的，PG故障转移延迟数据同步功能。pgto为PG的CDC工具,库外解析;...

《postgresql指南--内幕探索》第九章预写式日志（WAL）

hmxz2nn的博客

08-09

2839

事务日志是数据库的重要组成部分，存储了数据库系统中所有更改和操作的历史，以确保数据库不会因为故障(例如掉电或其他导致服务器崩溃的故障)而丢失数据。在PostgreSQL(以下简称PG)中，事务日志文件称为Write Ahead Log（以下简称WAL）。使用WAL不仅可以保证数据库事务操作的持久性，也可以显著地减少写磁盘的次数，因为只需要把日志文件刷新到磁盘就可以保证事务被提交，而不需要把事务改动过的每一个数据文件都刷新到磁盘。日志文件是连续写的，所以同步log的花销远小于刷新数据页的花销。特别是服务器要

pg_stat_statements插件使用指南

分享关于Java编程、数据库管理和信息安全方面的最佳实践

08-07

2612

是PostgreSQL的一个扩展插件，用于收集和记录SQL语句的执行统计信息。它可以帮助数据库管理员分析数据库中最常执行的查询、最耗时的查询以及其他可能影响性能的查询模式。通过这些信息，管理员可以对数据库性能进行深入分析，从而优化查询、调整索引策略、改进数据库配置等。

pgsql的wal log

深海微澜

10-17

2413

WAL write ahead log: 预写式日志，也被称为xlog 顾明思义就是写在前面的日志,是事务和数据库故障的一个保护。任何试图修改数据库数据的操作都会写一份日志到磁盘。这个日志在PG中叫XLOG，所有的日志都会写在$PGDATA/pg_wal目录下面。WAL 的中心思想是先写日志，再写数据，数据文件的修改必须发生在这些修改已经记录在日志文件中之后。机制： wal这种机制不需要...

pg 崩溃恢复篇（二）—— WAL文件结构及管理

Hehuyi_In的博客

11-13

5298

第二篇我们来看WAL文件逻辑、物理结构以及管理方法一、事务日志和WAL文件在逻辑上，pg用一个地址空间长度为8B的虚拟文件表示事务日志（最大可达16EB）。在物理上，pg中的事务日志默认切分为16 MB的文件，每个文件称为WAL段。pg 11开始，使用initdb命令初始化时可以使用–wal-segsize选项配置WAL段文件的大小。 WAL文件名由24个十六进制数组成，命名规...

postgresql 如何手动清理归档文件（pg_wal）

qq_23986087的博客

04-18

6208

背景发现数据库宕机，排查原因发现数据磁盘爆满，经排查发现是数据库数据目录下，pg_wal目录占用过大导致。 pg_wal（Write-AHead Logging）说明 wal日志位置： $PGDATA/pg_wal(pg10之前叫pg_xlog) # #wal日志文件命名规则： #我们看到的wal日志是这样的：000000010000000100000092 #其中前8位:00000001表示timeline； #中间8位：00000001表示logid； #最后8位：00000092表示log

postgresql之查看pg_wal目录下xlog文件总大小

深海微澜

04-29

2665

当然如果你登录服务器所在主机，直接在$PGDAT/pg_wal下执行： du -h --max-depth=1 ./ 可以得到。 #du -h --max-depth=1 ./ 4.0K ./archive_status 193M ./ 如果通过客户端怎么做呢？答案：pg_ls_waldir()函数。pg_ls_waldir()是pg 10.0引入的函数，可以输出数据...

Postgresql wal 归档文件处理

小小程序猿

12-27

3263

数据库采用主从备份方式进行搭建，未及时清理归档，归档文件夹目录不断增大，撑爆整个磁盘。所谓WAL日志归档，其实就是把在线的WAL日志备份出来。 wal_level='replica' # - Archiving - archive_mode = on # enables archiving; off, on, or always ...

（三）第三章：大数据——详解IT界“多租户”。

管锟的博客

06-07

3972

博主本人由于在写方案中多次涉及写到 —— 云中心之多租户应用。但是我就费解了，百度一下【多租户】，真是百花齐放，各有各的多租户理解！！！！！！！十分汗颜！到底谁说的对了，于是查看了不低于100篇文章，以及结合我自己的工作经历，进行如下总结：下面我将由浅入深得进行多租户讲解，会从“概念”、“实现方案”、“应用场景”三个方面着手，打破多租户这个混沌的市场，以正视听！！ —————————————

HGDB pg_xlog个数

lk的窝

09-19

552

HGDB 4.1.0之前的版本：pg_xlog个数一般在(2+checkpoint_completion_target)*checkpoint_segment+1左右但是高并发环境下如果checkpoint_segment设置比较大，且checkpoint较少被触发的时候，pg_xlog下会存有很多的事务日志，严重会耗掉磁盘存储，所以设置checkpoint_segment的大小要视磁盘容量和

PostgreSQL中的WAL保留策略

qq_43687755的博客

10-09

5361

一、背景描述在PostgreSQL中，我们熟知对于wal日志的保留，有wal_keep_segments这个参数去配置。当主库日志刷新比较快时，我们一般会将这个参数调整为一个比较大的值，来保证从库稳定地进行流复制。但是有时，我们会发现主库保留的日志远远大于这个参数配置，甚至有些时候会出现日志暴增，存在写满磁盘的风险。这就涉及到了另外一个机制–复制槽，从官方文档描述来看复制槽提供了一种自动化的方法来确保主库在所有的从库收到 WAL 段之前不会移除它们。因此wal_keep_segments参数和复制槽

left join 数据变多了_Tidyverse| XX_join ：多个数据表（文件）之间的各种连接

weixin_39684052的博客

12-03

1057

本文首发于公众号：“生信补给站” Tidyverse| XX_join ：多个数据表（文件）之间的各种连接前面分享了单个文件中的select列，filter行，列拆分等，实际中经常是多个数据表，综合使用才能回答你所感兴趣的问题。本次简单的介绍多个表（文件）连接的方法。一载入数据，R包library(tidyverse) x <- tribble( ~key, ~val_x, ...

pg的自定义变量set_config是否会写入wal日志和复制槽

06-24

<think>我们正在讨论PostgreSQL中的自定义变量（通过`set_config`设置）是否写入WAL日志，以及是否与复制槽相关。首先，需要明确的是，PostgreSQL中的自定义变量是通过`SET`命令或`set_config`函数来设置的。这些变量通常用于会话级别的配置，或者通过设置事务级配置来在事务中保持。关于WAL（Write-AheadLogging）日志：WAL是PostgreSQL中保证数据一致性和持久性的关键机制。所有修改数据库数据的操作都会先写入WAL日志，然后才写入数据文件。但是，并非所有的操作都会写入WAL。例如，临时表的操作通常不会写入WAL（除非在特定情况下，如逻辑复制需要）。那么，自定义变量的设置是否写入WAL呢？根据PostgreSQL的文档和机制，自定义变量（也称为“用户定义参数”或“自定义GUC”）的设置本身并不直接改变数据库中的数据，因此通常不会记录到WAL中。但是，需要注意的是，如果这些自定义变量在逻辑复制的场景下被使用，那么可能通过逻辑解码插件以某种方式传递，但这并不是通过WAL直接记录变量设置的操作。复制槽（ReplicationSlot）是PostgreSQL中用于确保主服务器在备服务器或逻辑复制客户端收到WAL之前不会删除这些WAL的机制。复制槽分为物理复制槽和逻辑复制槽。物理复制槽与WAL文件的物理序列相关，而逻辑复制槽则与逻辑解码相关，可以输出逻辑变化。现在，我们考虑两个问题：1.自定义变量设置是否写入WAL？2.自定义变量设置是否与复制槽相关？对于第一个问题：`set_config`设置的变量值，默认情况下不会写入WAL。因为WAL记录的是数据的变化（如表的插入、更新、删除等），而设置变量属于会话状态，不会影响数据本身。但是，有一种情况例外：如果这个自定义变量被用在了一个会写入WAL的操作中（比如，在一个修改数据的语句中使用了这个变量），那么该操作会写入WAL，但变量本身的值不会单独作为WAL记录，而是作为该操作的一部分（例如，在插入语句中，插入的值可能包含该变量，那么插入操作会记录WAL，而变量设置不会单独记录）。对于第二个问题：复制槽保留WAL是为了复制。由于自定义变量设置本身不写入WAL，因此复制槽不会因为自定义变量的设置而保留额外的WAL。但是，在逻辑复制中，如果逻辑解码插件需要将自定义变量的变化也复制到备库，那么插件可能会以特定的方式将变量设置作为逻辑更改事件输出。然而，标准逻辑复制并不复制会话变量。在PostgreSQL中，逻辑复制复制的是数据更改（DML），而不是设置参数（SET命令）。然而，有一个特殊的机制：可以在事务中设置事务级参数，并且这些设置会记录在事务的提交记录中（但仅当该事务实际提交时）。在逻辑解码时，这些参数设置可以被解码插件捕获。PostgreSQL提供了一个机制，允许在逻辑解码时输出配置参数的改变。具体来说，在提交记录中会包含一个子记录（subrecord）来记录在事务中改变过的参数。但是，这个功能主要是为了系统参数（如`search_path`）而设计的，并且需要逻辑解码插件支持。对于自定义变量（以自定义前缀开头的变量，例如`myapp.var1`），默认情况下不会被记录。但是，我们可以通过设置参数`track_commit_timestamp`和逻辑解码插件的支持来捕获这些变化。但是，请注意：默认情况下，自定义变量不会被记录到WAL中，除非我们显式地启用某些设置或者使用特定的逻辑解码插件。为了验证，我们可以参考PostgreSQL的文档。在文档中，关于WAL的记录内容，并没有提到GUC（GrandUnifiedConfiguration）参数的变化会被记录。但是，在事务提交时，会记录一些事务属性，其中就包括在事务中设置的参数（但仅限于某些参数）。具体来说，在事务提交记录中，会记录以下参数的变化：-导致系统目录可能发生变化的参数（例如`search_path`），因为备库需要应用相同的设置来保证某些操作的正确性。-通过`SETLOCAL`设置的参数（在事务块内）且被标记为`GUC_REPORT`的参数。但是，自定义变量默认并不包含在这些参数中。因此，默认情况下，自定义变量不会写入WAL，也不会通过复制槽传递。总结：-使用`set_config`设置的自定义变量通常不会写入WAL日志（除非该设置发生在事务中，并且该参数被标记为需要报告，或者该变量被用于数据修改语句中，此时变量的值作为数据修改的一部分被记录）。-复制槽保留WAL日志，但自定义变量设置本身不产生WAL记录，因此复制槽不会因为自定义变量设置而保留额外的WAL。-在逻辑复制中，如果需要传递自定义变量，可能需要特定的逻辑解码插件支持，并且需要配置参数以允许记录这些变量。因此，对于用户的问题：默认情况下，PostgreSQL中通过`set_config`设置的自定义变量不会写入WAL日志，也不与复制槽直接相关。但是，如果用户有特殊需求，希望将某些自定义变量的变化传递到备库，可以考虑以下方法：1.将需要复制的变量通过一个特定的表来记录，然后通过逻辑复制复制这个表。2.使用逻辑解码插件，并扩展它以捕获自定义变量（这需要开发插件）。注意：在物理复制中，会话状态（包括自定义变量）不会被复制到备库。引用说明：[^1]:引用的内容是关于PostgreSQL主备状态的查询，与当前问题无关。[^2]:引用的内容是关于PostgreSQL用户资源限制的配置，与当前问题无关。因此，我们忽略上述引用，直接根据PostgreSQL的机制和文档进行回答。相关问题：1.在PostgreSQL中，如何确保自定义变量在逻辑复制中被复制？2.物理复制和逻辑复制在复制变量设置方面有什么区别？3.在PostgreSQL中，哪些参数的变化会写入WAL？4.复制槽在PostgreSQL复制中的作用是什么？</think>### PostgreSQL 自定义变量与 WAL 日志及复制槽的关系 #### 1. **`set_config` 自定义变量是否写入 WAL 日志？** - **默认不写入 WAL** PostgreSQL 中通过 `set_config` 设置的**会话级或事务级自定义变量**（如 `SET my_var = 'value'`）属于**运行时状态**，不会直接写入 WAL 日志。WAL 日志主要记录**数据变更**（如表数据、DDL 操作），而非参数配置[^1]。 - **例外情况** 若自定义变量**影响数据修改**（例如在触发器中基于变量值更新表数据），则相关数据变更会写入 WAL，但变量本身仍不会单独记录[^2]。 #### 2. **是否与复制槽相关？** - **物理复制槽（Physical Replication Slot）** 仅保留 WAL 日志的物理位置，确保主库不过早删除备库所需的 WAL。由于自定义变量不写入 WAL，**物理复制槽不会捕获或传递变量值**[^1]。 - **逻辑复制槽（Logical Replication Slot）** 通过逻辑解码输出数据变更（如 `pgoutput` 插件）。若需传递自定义变量： - 需在**事务中显式记录变量值**（例如将变量值插入辅助表）。 - 逻辑解码插件（如 `pglogical`）可扩展以解析自定义逻辑，但标准插件**默认不支持变量复制**[^2]。 --- ### 总结 | **特性** | 是否写入 WAL | 是否通过复制槽传递 | |--------------------|-----------------------|--------------------------| | 自定义变量本身 | ❌ 否 | ❌ 否（物理/逻辑均不传递） | | 变量触发的数据变更 | ✅ 是（作为数据操作） | ✅ 是（仅逻辑复制槽传递） | --- ### 使用建议若需在复制环境中同步自定义变量： 1. **显式存储变量值** 在事务中将变量值插入临时表，确保逻辑复制槽捕获变更： ```sql BEGIN; SELECT set_config('my_var', 'value', true); -- 设置变量 INSERT INTO sync_vars (var_name, value) VALUES ('my_var', 'value'); -- 记录到表 COMMIT; ``` 2. **自定义逻辑解码插件** 开发插件解析变量操作（需修改 `output_plugin` 逻辑），适用于复杂场景。 --- ### 相关问题 1. 如何监控 PostgreSQL 中自定义变量的使用情况？ 2. 逻辑复制槽如何实现跨版本数据同步？ 3. WAL 日志与复制槽在数据恢复中的作用有何差异？ 4. PostgreSQL 中哪些配置变更会持久化到磁盘？ [^1]: 物理复制槽依赖 WAL 的物理地址，不涉及参数状态（参见 `pg_replication_slots` 视图）。 [^2]: 逻辑复制需显式处理非数据操作（参考 [Logical Decoding Documentation](https://www.postgresql.org/docs/current/logicaldecoding.html)）。