问题定位 | PostgreSQL 报错 requested WAL segment has already been removed

PostgreSQL:“ FATAL: requested WAL segment00800002A0 has already been removed” 在使用配置了热备的PostgreSQL数据库时,在执行大量事务时,尤其是一个需要插入几千万条数据的insert事务时(典型的做法是持续 insert into t select * from t;),后台log中报错如下: csv格式日志: 2013-07-01 13:25:29.430 CST,,,27738,,51d112c8.6c5a,1,,2013-07-01 13:2 阅读详情

本文首发于 2016-04-25 20:59:52

问题描述

在使用配置了热备的 PostgreSQL 数据库时,在执行大量事务时,尤其是一个需要插入几千万条数据的 insert 事务时(典型的做法是持续 insert into t select * from t;),后台 csv log 中报错如下:

2015-07-01 13:25:29.430 CST,,,27738,,51d112c8.6c5a,1,,2015-07-01 13:25:28 CST,,0,LOG,00000,"streaming replication successfully connected to primary",,,,,,,,"libpqrcv_connect, libpqwalreceiver.c:171",""
2015-07-01 13:25:29.430 CST,,,27738,,51d112c8.6c5a,2,,2015-07-01 13:25:28 CST,,0,FATAL,XX000,"could not receive data from WAL stream:FATAL:  requested WAL segment 0000000800002A0000000000 has already been removed
",,,,,,,,"libpqrcv_receive, libpqwalreceiver.c:389",""

问题分析

根据报错信息分析,推测是主库大事务产生了大量 xlog,这是因为 PostgreSQL 在执行事务过程中,直到提交时才会发送到备库。

由于该事务需要执行的时间过长,超过了 checkpoint 的默认间隔,所以导致有的 xlog 还未发送到备库却被 remove 掉了。

解决方法

要解决该问题,一般可用的方案有:

方法一:调大参数 wal_keep_segments 的值

将 GUC 参数 wal_keep_segments 设大一些,比如设置为2000,而每个 segment 默认值为16MB,就相当于有 32000MB,那么,最多可保存 30GB 的 xlog ,超过则删除最早的 xlog 。

不过,该方法并不能从根本上解决该问题。毕竟,在生产环境中或TPCC等测试灌数时,如果某条事务需要插入几十亿条记录,有可能还是会出现该问题。

方法二:启用归档

归档,就是将未发送到备库的 xlog 备份到某个目录下,待重启数据库时再将其恢复到备库中去。

GUC 参数设置示例如下:

  • 主库的 postgresql.conf 文件中:
wal_level = hot_standby
archive_mode = on
archive_command = 'rsync -zaq %p postgres@pg-slave:/var/lib/pgsql/wal_restore/%f && test ! -f /var/lib/pgsql/backup/wal_archive/%f && cp %p /var/lib/pgsql/backup/wal_archive/'
archive_timeout = 300
max_wal_senders = 5
wal_keep_segments = 0
  • 备库的 postgresql.conf 文件中:
wal_level = hot_standby
archive_mode = on
archive_command = 'test ! -f /var/lib/pgsql/backup/wal_archive/%f && cp -i %p /var/lib/pgsql/backup/wal_archive/%f < /dev/null'
hot_standby = on
wal_keep_segments = 1
  • 备库的 recovery.conf 文件中:
standby_mode = 'on'
primary_conninfo = 'host=pg-master port=5432 user=replicator'
restore_command = 'cp /var/lib/psql/wal_restore/%f %p'
archive_cleanup_command = 'pg_archivecleanup /var/lib/pgsql/wal_restore/ %r'

方法三:启用 replication slot(PG 9.4 开始支持)

该方法是根本解决方法,不会造成xlog的丢失。也就是说,在 xlog 被拷贝到从库之前,主库不会删除。

启用方法:

  1. 在 postgresql.conf 中添加:
max_replication_slots = 2000
  1. 在拷贝到备库之前,主库要创建一个 slot:
postgres=# SELECT * FROM pg_create_physical_replication_slot('node_a_slot');
  slot_name  | xlog_position
-------------+---------------
 node_a_slot |

postgres=# SELECT * FROM pg_replication_slots;
  slot_name  | slot_type | datoid | database | active | xmin | restart_lsn
-------------+-----------+--------+----------+--------+------+-------------
 node_a_slot | physical  |        |          | f      |      |
(1 row)
  1. 在备库的 recovery.conf 文件中添加一行:
standby_mode = 'on'
primary_conninfo = 'host=192.168.4.225 port=19000 user=wslu password=xxxx'
primary_slot_name = 'node_a_slot'

参考

https://www.postgresql.org/docs/9.4/static/runtime-config-replication.html

https://www.postgresql.org/docs/9.4/static/warm-standby.html#CASCADING-REPLICATION
http://blog.2ndquadrant.com/postgresql-9-4-slots/

http://grokbase.com/t/postgresql/pgsql-general/13654jchy3/trouble-with-replication

http://stackoverflow.com/questions/28201475/how-do-i-fix-a-postgresql-9-3-slave-that-cannot-keep-up-with-the-master


欢迎关注我的微信公众号【数据库内核】:分享主流开源数据库和存储引擎相关技术。

标题网址
GitHubhttps://dbkernel.github.io
知乎https://www.zhihu.com/people/…
思否(SegmentFault)https://segmentfault.com/u/db…
掘金https://juejin.im/user/5e9d3e…
开源中国(oschina)https://my.oschina.net/dbkernel
博客园(cnblogs)https://www.cnblogs.com/dbkernel
dump的文件 查看pg_PostgreSQL 逻辑复制异常引发Pg_wal目录WAL文件膨胀一例 原文: https://postgres.fun/20200628070600.html 故障现象前几天一位社区朋友咨询一个PostgreSQL的WAL文件膨胀案例,他们有个生产库最近几天pg_wal目录的WAL文件爆涨到了7万多个,把硬盘空间撑满,造成数据库故障无法访问。为了应急,这位朋友删除了pg_wal目录下十天前的wal文件,将硬盘空间使用率降下来,使得数据库恢复,但pg_wal目录下的... 阅读详情

相关推荐

PostgreSQL物理流复制:Ubuntu系统级高可用部署指南

物理流复制是PostgreSQL实现高可用的核心机制,其本质是基于WAL日志的二进制流式同步,依赖主从间实时、可靠的数据管道。它不仅涉及postgresql.conf参数调优(如wal_level、max_wal_senders、wal_keep_size),更深度耦合Ubuntu系统层配置——包括文件系统选型(ext4/xfs)、NTP时间同步、内核参数(vm.swappiness)、ufw防火墙策略及pg_hba.conf信任规则。该技术的价值在于支撑秒级故障切换与数据零丢失,广泛应用于金融、电商等强一

weixin_34409357的博客 458

ERROR: requested WAL segment xxxx has already been removed 错误处理

碰到 ERROR: requested WAL segment xxxx has already been removed 的错误。出现这个报错信息主要原因是主库checkpoint了,但wal日志还没有发送到备库,主库wal日志被清理,导致备库请求恢复的wal和主库实际存在的wal日志不一致。后面三种生产上都会用上,有必要实验看看效果。

游游的记事本 3291

Ubuntu 12.04下PostgreSQL 9.1主从复制实战指南

PostgreSQL主从复制是保障数据库高可用与读写分离的核心机制,其底层依赖WAL日志流式同步与物理复制原理,具备事务强一致、低延迟、零应用侵入等技术价值。在资源受限或系统固化场景中,如老旧ERP、工业控制中间件所依赖的Ubuntu 12.04(Linux 3.2内核+OpenSSL 1.0.1)环境,必须采用兼容PostgreSQL 9.1的物理复制方案,而非现代逻辑复制;该方案通过streaming replication实现毫秒级同步,并借助hot_standby开启从库只读服务能力,从而支撑报表查

dbp5156的博客 425

FATAL: requested WAL *** segment has already been removed

[size=small]今天pg主库出了一点问题,备库不同步,后台报错 FATAL: requested WAL segment 000000030000000000000047 has already been removed 某一个wal日志被移走 第一次出现这种情况的时候,主库没开归档,所以只好重新搭建备库 这次,主库开了归档,所以直接到归档目录去找这个文件即可 主节点查看p...

lt89102476的博客 3156

Debezium报错处理系列之七十:requested WAL segment 00000001000002100000005C has already been removed

Debezium报错处理系列之七十:requested WAL segment 00000001000002100000005C has already been removed

zhengzaifeidelushang的博客 385

【Flink】FLink cdc报错 requested WAL segment xxx has already been removed

这个错误表明在 PostgreSQL 复制和 Write-Ahead Logging(WAL)机制的上下文中出现了问题。看起来是在 Debezium PostgreSQL 连接器的使用过程中发生的。WAL 段是 PostgreSQL 复制机制的关键部分,用于跟踪对数据库的更改。在应用任何更改到生产系统之前,请在非生产环境中进行充分的测试。此外,请查阅 PostgreSQL 和 Debezium 的文档以获取更详细的信息和故障排除指南。

九师兄 216

【PostgreSQL】数据库报错 “requested WAL segment 0000000100000010000000C5 has already been removed“

本文详细介绍了解决PostgreSQL中WAL段丢失导致复制中断的步骤。首先,检查归档和WAL文件状态,确认文件是否存在并手动恢复缺失文件。其次,从最近的基础备份恢复并应用WAL日志,确保所有可用WAL段被应用。若无法恢复缺失的WAL,需重新创建备库。接着,调整主库配置,增加WAL保留量并启用复制槽。优化归档策略,确保归档成功并延长保留时间。最后,验证并监控复制状态,定期测试备份和恢复,使用高可用架构预防未来故障。通过这些步骤,可以有效解决并预防WAL段丢失问题。

qq_40205510的博客 1361

Debezium报错处理系列之八十:ERROR: requested WAL segment 0000000100000216000000DE has already been removed

Debezium报错处理系列之八十:ERROR: requested WAL segment 0000000100000216000000DE has already been removed

zhengzaifeidelushang的博客 609

postgresql streaming 环境 master 报错 requested WAL segment xxxxxxxxxxxxxxx has already been removed

os: ubuntu 16.04 db: postgresql 16.04 情况是这样的,测试环境有基于 streaming 的 master/slave 的两台机器,由于 postgresql 本身未提供自动切换功能,所以选择高可用软件 patroni. 在 master 节点安装 patroni 时,发现日志有报错. 版本 # lsb_release -a No LSB modules are...

一名数据库爱好者的专栏 3448

夏令营纪实——东南大学计科院&PALM实验室面试全解析

本文详细解析了东南大学计科院与PALM实验室夏令营的面试全流程,包括前期准备、技术考察、项目经验深挖等关键环节。特别针对自然语言处理(NLP)和机器学习(ML)领域的高频问题提供应对策略,帮助申请者提升面试表现。文章还分享了实用的准备技巧和面试经验,为有意向参加该夏令营的学生提供宝贵参考。

convnet3designer的博客 460

LeRobot SO100仿真操控避坑指南:从MuJoCo模型调试到实机同步(附参数修正模板)

本文详细解析了LeRobot SO100机械臂在MuJoCo仿真操控中的常见问题与解决方案,包括关节转向符号调试、偏移值校准及实机同步技术。通过实战案例和参数修正模板,帮助开发者高效解决仿真与实机差异,提升机器人开发效率。

weixin_29064009的博客 248

Postgresql:WAL segment has already been removed

1.使用repmgr新建立standby库时,由于主库过大,导致备库建立完成启动时,报此错误。3.在主库归档目录找到缺失的wal日志,拷贝至备库归档目录,系统检测到会自动进行恢复redo。此配置是说找不到wal日志时会从归档目录恢复wal日志。

bestinter2010的博客 453

GEE 案例分析:利用Landsat数据进行FAI、NDVI及CHLA分析并统计平均值(巢湖为例)

浮游藻类指数(FAI)、归一化植被指数(NDVI)及叶绿素a(CHLA)是水体环境监测的重要指标。本文利用Google Earth Engine(GEE)平台,基于Landsat 5和Landsat 8数据,进行水体藻类及植被监测。

此星光明博客 1336

PG案例系列3: PG备库WAL segment has already been removed

PG版本:14.3。

只是甲的博客 1591

V90伺服 EPOS模式下回原(详细配置+SCL源代码)

/ 输出上限 100.0%rSetPoint : Real;// 设置目标值工程量。// 通道转换参考值。Td : Real;

RXXW_Dor的博客 2666

华为OD面试八股真题 - 操作系统相关 - 2

华为OD技术面,操作系统相关八股真题提供详细解答,这篇博客主要涉及于进程和线程相关知识点

qq_45776114的博客 976

流复制环境中重启主库后报错WAL被removed的解决方法

流复制环境中重启主库后报错WAL被removed的解决方法 [postgres@db1 testspace]$ /usr/local/pgsql/bin/pg_ctl -D ./pgdb -o "--ssha_role=primary" start server starting [postgres@db1 testspace]$ LOG:  database system was shut

lk的窝 3434

基于 51 单片机的智能手势控制小车设计与实现

智能手势控制小车以STC89C52RC 单片机为控制核心,通过手势识别模块采集用户手势指令,经单片机处理后驱动电机执行前进、后退、左转、右转等动作。该项目融合了传感器技术、单片机编程和电机驱动技术,具有成本低、易实现、互动性强的特点,适合作为嵌入式系统入门实践案例。本项目成功实现了基于 51 单片机的智能手势控制小车,通过 APDS-9960 模块采集手势信号,经单片机处理后驱动电机完成基本动作,验证了 “传感器 + 单片机 + 执行器” 的嵌入式系统设计思路。

weixin_42300449的博客 180

FATAL: requested WAL *** segment has already been removed

今天pg主库出了一点问题,备库不同步,后台报错FATAL: requested WAL segment 000000030000000000000047 has already been removed某一个wal日志被移走第一次出现这种情况的时候,主库没开归档,所以只好重新搭建备库这次,主库开了归档,所以直接到归档目录去找这个文件即可主节点...

weixin_33722405的博客 499

022、Conv-BN-SiLU 基础卷积块:构造函数参数计算,前向传播的 PyTorch 逐行实现

本文详细解析了Conv-BN-SiLU卷积块的实现细节与注意事项。作者从调试经历出发,指出bias参数冗余会导致数值不稳定,强调卷积层应设置bias=False。文章对比了SiLU与ReLU的特性差异,逐行分析了构造函数参数计算(包括自动填充、分组卷积等)和前向传播过程,特别讲解了BN层与SiLU激活的数值特性。最后分享了三个实践中的常见问题:BN的momentum设置、SiLU输出范围的影响,以及分组卷积的通道对齐要求,并提供了卷积与BN融合的推理优化技巧。全文聚焦实际工程实现中的关键细节,具有较强实操指

ai技术增长的博客 220

SPMI总线协议(一)

系统电源管理接口( System Power Management Interface简称SPMI)是一种双线串行接口,用于连接片上系统(SoC)处理器系统的集成电源控制器(PC)与一个或多个电源管理集成电路(PMIC)电压调节系统。SPMI 使系统能够使用单个 SPMI 总线动态调整 SoC 内部电压域的电源和衬底偏置电压。移动设备和其他便携式设计正日益采用系SPMI)协议,实现多主多从系统,根据实时系统需求监测和动态控制供电电压。设计人员可以在系统级实现更低的功率。

qflook的博客 891

PostgreSQL主从复制不开归档能同步吗?原理与风险解析

数据库高可用架构中,主从复制是核心保障手段。PostgreSQL通过WAL日志实现物理流复制,备库实时接收并重放WAL。归档与流复制是两条平行通道,归档用于冷备份与PITR,流复制用于热传输。在wal_level为replica或logical且max_wal_senders充足时,关闭归档不影响流复制运行。然而,不开归档意味着备库失去从归档补WAL的兜底能力,一旦主库WAL被checkpoint回收或备库断连超时,备库将陷入断供,只能重建。本文基于实际故障场景,详细解析WAL复制链路、不开归档的三大风险及

weixin_34258838的博客 391

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

pg主从修复

今天早上收到pg主从异常和延迟报警,赶紧登陆查看,发现确实断开了, 登陆从库查看日志: 2016-01-06 02:28:51.122 UTC,,,83039,,568c7be3.1445f,1,,2016-01-06 02...

615

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

PostgreSQL数据库WAL总结

简单地说,WAL的核心概念是,对数据文件(表和索引所在的地方)的更改必须在写入了日志文件后这些更改之后才可以写入数据文件,也就是说,描述更改的日志记录被刷新到永久存储之后才可以写数据文件。使用WAL可以显著减少磁盘写操作的数量,因为只需要将日志文件刷新到磁盘以确保提交事务,而不是事务更改的每个数据文件。日志文件是按顺序写入的,因此同步日志的成本要比刷新数据页的成本低得多。备注:数据库将脏数据刷到数据文件上,这个动作是随机I/O,性能比写日志的顺序I/O差太多总结

qq_58883939的博客 4105

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

postgresql 的三种日志

最近在模拟主备切换,备机可以成功切换成主机,但是主机未成功切换成备机,翻阅资料后发现是日志归档设置的问题。 情景描述:主从复制,模拟主机当掉,主从切换。从机成功切换为主机,但主机切换为从机后服务无法启动,查看日志后,报如下错误: ERROR:  requested WAL segment 000000020000000000000030 has already been removed

lanonola的专栏 3万+
上一篇: 源码分析 | 使用 gcov 和 lcov 测试 PostgreSQL 代码覆盖率
下一篇: 特性分析 | GreenPlum 的并行查询优化策略详解
dbkernel
博客等级 码龄4年 60粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值