postgresql导入数据pg_wal容量暴涨解决

wuraaaaaa

已于 2024-02-15 21:14:14 修改

阅读量949

点赞数 7

文章标签： postgresql 数据库

于 2024-02-15 17:53:32 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_48207929/article/details/136121956

版权

本文讲述了如何将备份数据导入PostgreSQL表，过程中遇到pg_wal占用空间的问题。通过pg_controldata和pg_archivecleanup命令进行检查与清理，分析了可能是从库同步导致的日志未自动清理，并提供了一个清理脚本用于定时执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

有一批备份数据需要导入pg的表中，使用copy进行导入

COPY public.date1(c1,c2,c3....) FROM '/var/lib/postgresql/data/tmp/data_backup.txt' WITH DELIMITER E'\t' CSV HEADER ENCODING 'utf-8';

运行一段时间后发现硬盘100%占用
查看data目录发现pg_wal目录占用大部分空间

解决方法

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wuraaaaaa

关注关注

7
点赞
踩
11

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

max复制关键帧到不同的文件_彭占元|如何排除PostgreSQL WAL 文件数量长期持续增加？...

weixin_39664696的博客

11-24

286

点击蓝字关注我们作者简介彭占元2018年8月加入去哪儿网，现负责公司 PostgreSQL/GreenPlum 运维工作，对数据库日常运维和日常调优有大量优化实践经验。1. 提出问题最近遇到一个自己运维 DB 的开发同学反馈："我们的业务量较小，但现在数据库积累了大量的 WAL，一个月的时间 pg_wal 目录和归档的目录均超过了80GB，且 WAL 增长的速度较快，由于虚拟机的磁盘...

postgresql 如何手动清理归档文件（pg_wal）

qq_23986087的博客

04-18

5916

背景发现数据库宕机，排查原因发现数据磁盘爆满，经排查发现是数据库数据目录下，pg_wal目录占用过大导致。 pg_wal（Write-AHead Logging）说明 wal日志位置： $PGDATA/pg_wal(pg10之前叫pg_xlog) # #wal日志文件命名规则： #我们看到的wal日志是这样的：000000010000000100000092 #其中前8位:00000001表示timeline； #中间8位：00000001表示logid； #最后8位：00000092表示log

1 条评论您还未登录，请先登录后发表或查看评论

pg_wal文件过多过大清理方式

m0_52426915的博客

08-07

2995

上面的SQL语句中先用函数“pg_current_wal_lsn”获得当前正在写的LSN号，然后用函数“pg_walfile_name”找出当前LSN号对应的WAL文件，发现是“000000010000000000000027”说明这时“000000010000000000000028”“000000010000000000000029”“00000001000000000000002A”“00000001000000000000002B”都是以前的WAL文件。是要保留的最新 WAL 文件的名称。

如何遏制PostgreSQL WAL的疯狂增长(转)

乡下人

09-22

2252

前言 PostgreSQL在写入频繁的场景中，会产生大量的WAL日志，而且WAL日志量会远远超过实际更新的数据量。我们可以把这种现象起个名字,叫做“WAL写放大”，造成WAL写放大的主要原因有2点。 1. 在checkpoint之后第一次修改页面，需要在WAL中输出整个page，即全页写(full page writes)。全页写的目的是防止在意外宕机时出现的数据块部分写导致数据库无法恢复。 2. 更新记录时如果新记录位置(ctid)发生变更，索引记录也要相应变更，这个变更也要记入WAL。更严重的是

数据库内核月报－ 2015 / 06-PgSQL · 追根究底 · WAL日志空间的意外增长

weixin_33742618的博客

05-23

181

问题出现我们在线上巡检中发现，一个实例的pg_xlog目录，增长到4G，很是疑惑。刚开始怀疑是日志归档过慢，日志堆积在pg_xlog目录下面，未被清除导致。于是检查归档目录下的文件，内容如下。但发现新近完成写入的日志文件都被归档成功了（即在pg_xlog/archive_status里面，有对应的xxx.done文件）。 ls -lrt pg_xlog...

Postgresql 如何降低 wal 占用磁盘空间，降低磁盘存储成本

sql server的专栏

09-13

1094

POSTGRESQL WAL 的存储一直是一个值得讨论的问题，到底一个POSTGRESQL 在极端的情况下，可以用多少的空间来存储WAL 日志。这里不是要讨论逻辑复制槽，也不是讨论ARCHIVE ，这里要讨论是一种极端的方法，尝试将POSTGRESQL WAL占用的磁盘空间最小化。这里主要针对的对象是，单机的POSTGRESQL ，不想通过专业的人员来进行维护的场景，如果说目前的方案需要一个场景，...

pg wal 日志堆积

weixin_42009082的博客

08-12

294

wal 堆积

PostgreSQL主机无法自动清理pg_wal下wal文件

m0_37535673的博客

01-14

4138

数据库数据目录下pg_wal的WAL文件在开启归档的模式下会将已归档WAL文件自动清理，具体流程是，转储WAL段文件到disk，写满或者使用pg_switch_wal()后，会生成000000xxxx.ready文件，调用archive_command命令且成功执行后，将ready文件更名为.done文件。而数据库会在执行checkpoint后计算出最旧的需保留的WAL文件，比该值更早的WAL文件...

如何在PostgreSQL中使用pg_stat_statements插件进行SQL性能统计和分析？

发现生活，分享智慧，一起成长！

04-21

1850

是一个强大的插件，用于追踪执行时间最长的SQL语句。通过它，我们可以获取有关SQL语句执行频率、总执行时间、平均执行时间等信息，从而进行性能调优和问题分析。这个查询将返回执行时间最长的10个SQL语句，以及它们的调用次数、总执行时间、返回的行数、平均每次调用的执行时间，以及相关的块I/O统计信息。如果没有安装，你需要从PostgreSQL的源代码中编译并安装它。注意，重置统计信息会清除所有已收集的数据，因此你应该在需要新的基准数据时执行此操作。表示追踪所有SQL语句，包括正常的、准备的和隐式的语句。

postgresql之pg_dump命令详解 - wling_89的专栏 - 博客频道 - youkuaiyun.com.mht

05-13

PG导入导出命令详解

postgresql的写放大问题-wal问题及解决方案

一名普通码农的菜地

03-06

4545

如何遏制PostgreSQL WAL的疯狂增长作者：陈华军 / 2017-6-12 欢迎大家踊跃投稿，投稿信箱：press@postgres.cn 前言 PostgreSQL在写入频繁的场景中，会产生大量的WAL日志，而且WAL日志量会远远超过实际更新的数据量。我们可以把这种现象起个名字,叫做“WAL写放大”，造成WAL写放大的主要原因有2点。在checkpoint之后第一次修改...

Postgresql清理WAL日志

不见其长，日有所长

04-16

8099

1. 前言 WAL是Write Ahead Log的简写，和oracle的redo日志类似，存放在$PGDATA/pg_xlog中，10版本以后在$PGDATA/pg_wal目录. WAL相关的介绍可见WAL(Write Ahead Logging)介绍如果开启了归档，在目录archive_status下会有一些文件，以ready结尾的，表示可以归档但还没有归档，done结尾的表示已经归档。和...

PG清理WAL日志

乡下人

09-21

2681

WAL是Write Ahead Log的简写，和oracle的redo日志类似，存放在$PGDATA/pg_xlog中，10版本以后在$PGDATA/pg_wal目录. 如果开启了归档，在目录archive_status下会有一些文件，以ready结尾的，表示可以归档但还没有归档，done结尾的表示已经归档。 WAL日志数量相关的几个参数： wal_keep_segments = 300 # in logfile segments, 16MB each; 0 disables

如何遏制PostgreSQL WAL的疯狂增长

weixin_34178244的博客

06-28

281

如何遏制PostgreSQL WAL的疯狂增长前言 PostgreSQL在写入频繁的场景中，可能会产生大量的WAL日志，而且WAL日志量远远超过实际更新的数据量。我们可以把这种现象起个名字,叫做“WAL写放大”，造成WAL写放大的主要原因有2点。在checkpoint之后第一次修改页面，需要在WAL中输出整个p...

Postgresql配置 WAL 清理

最新发布

qq_43051870的博客

09-04

1219

在 PostgreSQL 中，自动清理 Write-Ahead Logs（WAL）文件是通过设置特定的配置参数来实现的。%p 是 WAL 文件的路径，%f 是 WAL 文件的文件名。max_wal_size 定义了 WAL 文件总大小的上限。当 WAL 文件总大小超过这个值时，PostgreSQL 会清理旧的 WAL 文件。min_wal_size 定义了 WAL 文件总大小的下限，PostgreSQL 会尽量保持 WAL 文件的大小不低于这个值。注意：pg_archive文件夹要提前建好。

如何找到postgres中疯狂增长的wal日志的语句

Hehuyi_In的博客

04-11

2527

很久以前，我写过一个文章，《如何查找疯狂增长arch的进程》，讲述在oracle数据库中如何查找导致当前疯狂增长arch的session。今天，我们在postgresql数据库中也遇到了类似的问题。在一个时间内，wal日志疯狂的增长，大约每分钟产生1G，而xlog疯狂cp去归档的结果，导致xlog来不及流复制到从库就已经切去了归档目录，进而导致了主从断开。和开发一起诊断了这个问题之后，发现...

PostgreSQL数据库WAL总结

qq_58883939的博客

04-26

3583

简单地说，WAL的核心概念是，对数据文件(表和索引所在的地方)的更改必须在写入了日志文件后这些更改之后才可以写入数据文件，也就是说，描述更改的日志记录被刷新到永久存储之后才可以写数据文件。使用WAL可以显著减少磁盘写操作的数量，因为只需要将日志文件刷新到磁盘以确保提交事务，而不是事务更改的每个数据文件。日志文件是按顺序写入的，因此同步日志的成本要比刷新数据页的成本低得多。备注：数据库将脏数据刷到数据文件上,这个动作是随机I/O,性能比写日志的顺序I/O差太多总结

PG数据库wal日志空间异常

三思的博客

09-26

2328

文章目录问题描述处理思路处理过程问题描述 PG数据库实例磁盘空间使用率高达97%，其中wal空间使用量占用32G，相对比较异常。处理思路 wal日志是PG数据库的事务预写日志，对于数据库的一个变更操作，数据库流程大概如下： ● 客户端执行DML操作进行数据变更 ● 将相关的变更数据页写入wal buffer，对应的数据更新写到内存中的数据页（脏页） ● 事务commit时，wal buffer进行刷盘，写入到wal log，该步骤已经保证了数据不会丢失 ● 周期性checkpoint出发将内存中的脏页

如何制定合适的WAL清理策略以确保PG高可用系统的正常运行

qq_40427481的博客

09-15

234

如果业务量比较大，造成WAL日志量超过max_wal_size限制的值，检查点进程会启动，将一些以前的段文件变为无用的并进行清理。总的来说，WAL文件的清理是一个非常复杂的过程，需要我们综合考虑多个因素，并根据实际情况制定合适的策略。因此，我们建议在制定WAL清理策略时，要充分考虑业务特点和系统瓶颈，确保备库能够及时同步主库的修改，并在出现故障时能够快速恢复数据。此外，如果配置了归档，则当WAL段文件还未被归档时，即使满足其他清理条件，WAL段文件也不能被清理。