POSTGRESQL 逻辑复制槽,what when how ,check and monitor 这一篇

postgreSQL-复制槽 流复制正常工作的时候,主服务器不会为落后的备用服务器保留额外的 WAL。在某些情况下,由于某些原因,从服务器可能会断开连接,从而导致延迟的时间增大,并且当某些未复制的 WAL 文件被回收,备用机无法恢复,就会收到如下错误:removed复制槽(Physical Replication Slot)提供了一种办法确保主库不会删除还未发送到备库的WAL 日志,即使备库掉线。通过 Replication Slot 记录的从库状态,PostgreSQL 会保证从库还没有 apply 的日志, 阅读详情

​文章转载自公众号:AustinDatabases

postgresql 的逻辑复制槽估计是一个被说烂的话题,但如果你是在大批量的使用逻辑复制槽作为数据的同步和复制的功能,那这就是一个另外的话题了。

我们从什么是逻辑复制槽,到我们应该什么时候在什么情况下,怎么使用复制槽,到如何检测复制槽的状态和怎么监控他来说说复制槽的问题。

1  什么用户可以建立逻辑复制槽

首先针对逻辑复制的创建者比如有replication的权限,或者一个超级用户,并且针对这些要进行逻辑复制的表来看,我们必须针对这些表有OWNER的权限,如果你在操作的时候,变动了本属于这个表的一些安全策略,那么将会导致复制停止。同时这些用户必须被控制在你的pg_hba.conf 的访问权限控制列表中。

针对建立一个发布的情况,用户必须有create 和 select 的权限, 当创建一个订阅的时候,则必须具有superuser的权限。所以最简单的情况是,创建一个逻辑复制以及相关的设置,你最好是superuser的权力。

2  逻辑复制是否可以级联

是的逻辑复制是可以通过一级套一级的方式来进行数据的传送,假如我们有三个POSTGRESQL ,那么我们A  为发布,B 为订阅, B 同时为发布  C 为订阅,这样的设计是可以的。

3  逻辑复制到底要解决什么问题

  • 发送增量数据到订阅的地方,类似处理DML 操作传递的工作

  • 汇聚不同的数据库的表到一个数据库中进行几种处理

  • 对于不同版本的数据库的数据进行汇聚,或升级数据库版本

  • 不同平台的数据汇聚,如WINDOWS 到 LINUX 的平台

  • 针对安全的问题,将不同的表汇聚到一个位置,来控制权限

  • 提供比物理复制更细致的粒度,将表作为一个维度进行数据的复制对象使用

  • CDC 数据收集,数据变更的支持

4   基于逻辑复制中的逻辑复制槽对数据库的要求也有一些

  • max_replication_slots = 10 复制槽的数量

  • hot_standby = on    

  • wal_level =  logical  复制中的 wal 等级必须是 logical

  • hot_standby_feedback = on    数据接收端需要进行回馈

  • max_wal_senders = 10     最大的 wal 的发送者

其中 3 wal _level 是必须的,否则逻辑复制是无法进行工作的,逻辑复制槽的数量也需要注意,否则超过你最大的数据量,无法建立逻辑复制槽。

5   效率与表需求

逻辑复制采用的复制的方式和我们的物理的复制方式是不同的,采用的方式是通过逻辑的模块对WAL 日志进行解析,并且将结果存储为堆表的数据,并将这些数据通过pgoutput plugin 将这些结果进行过滤(对于数据DML操作进行过滤)。

过滤出 insert  delete  update  , 最终将这些操作重新在目的端再次操作一遍 ,所以逻辑复制的效率对比物理复制是低的,操作的方式类似MYSQL 的binlog 中的数据日志发送,接受,在解析后重新执行的过程。所以逻辑复制中也有 sync  work , apply work 这两个 worker 是异步的。

6  逻辑复制槽的理解

逻辑复制中重要的一个问题是数据的顺序,数据操作的顺序是被通过管道进行发送的,一个数据库中的所有操作都是有序的,每一个复制槽有一个唯一的标识,插槽源端记录本身发送数据的位置,源端记录接受到源端槽发来数据库的LSN ,在这样的情况下如果源端出现问题,如果出现重发的情况,目的端也有相关的记录,将重复的数据剥离不在重复进行执行。

不同的复制槽在同一个数据库中可以针对不同的数据的消费者和订阅者。可以通过逻辑复制槽将这些订阅进行分离。

7  逻辑复制的概念

  1. Publication :  在一个数据库中宏定义一组需要监听 insert ,delete, update ,truncate 操作的表的集合。

  2. subscription :  通过在发布者上建立的复制槽,进行数据复制和数据接收的,如不指定逻辑复制槽则自行进行逻辑复制槽的初始化工作。

在工作中,如果是第一次建立复制,则复制会将源端的数据通过copying 的方式发送给subscriber ,在基础数据完成后,会继续将变化的数据部分通过重放的方式在目的端操作。

同时在工作中优于不能传输除DML操作以外的操作, 对原表进行DDL操作前应先对目的表进行DDL 操作,否则会导致复制停止。

复制的过程中,对应的表应该有主键,因为复制的过程中,需要通过主键来判断复制中的重复复制数据的可能,并不再执行已经复制过的数据。

在目的端并未对对表有任何限制,如果手动修改目的端的表的数据,则也有可能产生数据复制冲突。

8  开始创建逻辑复制槽

创建逻辑复制槽是通过函数的方式来建立逻辑复制槽,下面的函数

pg_create_physical_replication_slot()就是创建逻辑复制槽的函数。

select pg_create_physical_replication_slot('table_slot');

select * from pg_create_logical_replication_slot('table_slot','pgoutput');

查看当前的逻辑复制槽

对于逻辑复制槽的监控通过 pg_create_physical_replication_slot函数进行监控,其中主要的几个目标项

  • slot_name   复制槽的名字

  • plugin        复制槽上是否加有插件

  • slot_type    复制槽的类型是物理的还是逻辑的

  • datoid        物理复制槽此位置为空,逻辑复制槽此位置为所定位的数据库的OID

  • active          物理才在你查看的时候是否正在工作

  • xmin            在复制槽中的事务最老的transaction ID

  • catalog_xmin   这是最老的逻辑复制槽影响数据库本身的最大的事务的ID

  • restart_lsn        最老的WAL 日志的LSN 在复制槽中

  • wal_status        需要注意wal_status 这里如果出现了 unreserved  lost 两个状态说明1  复制槽已经无法工作无法捕捉有效数据   2  复制槽已经弃用

  • safe_wal_size   这个部分说明可以写入槽的数据,如果这个位置为NULL 或者说明复制槽中已经无法写入数据了。

删除逻辑复制槽

select pg_drop_replication_slot('table_slot1');

逻辑复制槽在使用的过程中是无法被删除的。

9  创建一个发布

在创建publication 时,需要注意几点 

  1. 创建 publication 是可以针对表进行添加的,也可以设置随时添加的表就包含在publication中。

  2. 创建的publication 是可以针对操作进行选择性的操作传递和复制的。

下面我在一个数据库中创建一个表,并且在其中创建一个publication 

create databae test;



\c test



create table test (id serial primary key, name varchar(200));



create publication pub_test for table test with (publish = 'insert,update,delete');

create database test_all;



\c  test_all

create table test_table_all (id serial primary key,name varchar(200));

create publication pub_test_all for ALL TABLES;

select current_database(),pgtab.tablename,pgpub.pubname,pgpub.puballtables,pgpub.pubinsert,pgpub.pubupdate,pgpub.pubdelete,pgpub.pubtruncate

from pg_publication as pgpub

inner join pg_publication_tables as pgtab on pgpub.pubname = pgtab.pubname;

分析当前的postgresql中各个数据库的publication包含的表以及表的发布状态。

10  创建一个基于现有复制槽的subscription

一个逻辑复制中在创建完复制槽,publication 后,需要操作的就是在目的的机器上创建一个subscription, 并且利用现有的复制槽。

  1. 在目的的机器上配置 .pgpass 密码文件,其中写入源端的服务器的地址,数据库名以及用户名密码,另外文件必须是600的权限

  2. 在目的库建立同样的数据库名,表名以及表结构。

  3. 在目的数据库中运行建立subscription 

CREATE SUBSCRIPTION mysub CONNECTION 'host=192.168.198.100 port=5432 user=admin dbname=test'

PUBLICATION pub_test with (create_slot = false,slot_name = table_slot);

select * from pg_subscription;  通过 pg_subscription 来监控当前数据库中创建的 subscription

此时在主库输入数据,从库就可以接收数据。

主库

从库

11  监控逻辑复制的状态

通过监控复制的中已经在本地写入的LSN 与 目的端已经接受的 LSN 两个事务的对比,通过pg_wal_lsn_diff来计算之间的查询,表达了

Byte select pg_wal_lsn_diff((select flush_lsn from pg_stat_replication),(select confirmed_flush_lsn from pg_replication_slots)) as delay_Byte;

从上图中发现源于目的之间传输的差距。通过持续监控可以发现某些问题,如之间的差异越来越大,说明可能复制中的传输出现问题,需要注意,如果不解决,很有可能导致主库的磁盘空间被无法消费的WAL 日志挤占最终导致主库挂掉。

另还有一些问题,如逻辑复制中数据接收端根本就不是PG,而是其他的模拟成PG的消费端,此时这个模拟端出现问题,如网络问题等导致消费数据与数据的产生不成比例,也会造成数据的堆积在WAL日志中,并且此时是无法删除逻辑复制槽的, 如果此时是在无法通过其他手段删除subscription, 可以直接在紧急的情况下删除publication , 停止复制。

DBeaver Ultimate 25.3:企业级多源数据库治理与SQL工程化实践 数据库客户端工具已从基础连接演进为数据工程核心枢纽。理解元数据快照隔离、可插拔执行上下文等架构原理,是实现跨库协同、生产环境安全管控与高并发SQL治理的技术前提。这类能力直接支撑信创迁移、异构数据库统一运维、灰度发布审计等关键场景,尤其在OceanBase Oracle模式调试、PostgreSQL逻辑复制槽监控、ClickHouse分布式JOIN优化等新一代数据库深度适配中体现显著工程价值。DBeaver Ultimate Edition 25.3正是面向DBA、数据工程师和后端开发,提供元数据治理、SQ 阅读详情

相关推荐

别再手动写用例了!用AI Agent自动生成测试用例的保姆级实战(附Python代码)

本文详细介绍了如何利用AI Agent技术自动生成测试用例,大幅提升测试工程师的工作效率。通过Python代码实战演示,从环境搭建到核心Agent构建(需求解析、场景挖掘、用例编排),再到与企业工具链(TestRail、Jira)的深度集成,帮助团队实现测试用例的智能化生成与管理。

weixin_30897233的博客 649

PostgreSQL数据库从入门到精通系列之六:深入理解逻辑复制槽,创建逻辑复制槽,删除逻辑复制槽

PostgreSQL数据库从入门到精通系列之六:深入理解逻辑复制槽,创建逻辑复制槽,删除逻辑复制槽

zhengzaifeidelushang的博客 3212

CANoe_Demo_下载以及安装教程

CANoe Demo下载安装流程

Jar_Lee的博客 1万+

PostgreSQL的复制槽(replication slot)

复制槽的主要作用是确保下游节点保留所有需要的WAL

weixin_41870061的博客 4541

LoRA 完整解析:从理论到实践

LoRA(低秩适应)是一种高效的大模型微调方法,通过添加少量可训练参数(低秩矩阵)来适配新任务,避免全参数微调的高成本。其核心是将权重更新ΔW分解为两个小矩阵B×A的乘积,大幅减少训练参数量(仅0.1-1%)。LoRA基于内在维度假设,通过低秩约束捕捉核心任务信息,兼具效率与效果。实际应用中,常用配置为秩r=16-32,目标模块选择注意力层的q_proj和v_proj,学习率比全参数微调大10倍(约1e-4)。优势包括参数高效(内存降低60-80%)、多任务适配灵活、保留预训练知识等,已成为大模型微调的主流

echo的博客 1417

2025电赛嵌入式:K210教程-如何刷固件 如何烧录代码 全网唯一

本文介绍了K210开发板的固件刷写和开发环境搭建方法。主要内容包括:1)从Sipeed官网下载合适的MaixPy固件,根据需求选择完整版或精简版;2)使用k-flash等工具烧录固件,注意区分亚博和Sipeed开发板的固件版本;3)介绍了擦除闪存的两种模式(部分擦除和完全擦除)及其应用场景;4)搭建CanMV开发环境,通过MaixPy IDE连接开发板并进行程序调试。文章还提供了常见问题的解决方法,如串口驱动安装、固件兼容性检查等,为K210开发提供了完整的入门指南。

FJN110的博客 547

postgresql数据库复制槽的应用

postgresql物理复制槽,逻辑复制槽应用。

weixin_73350116的博客 3450

Python控制程控电源(USB)

随着智能电动汽车行业的持续发展,汽车电子或嵌入式设备在软硬件的测试中,都会使用程控电源供电,特别是自动化测试、压力测试场景必定使用到程控电源控制,控制电源上下电,监听电源电流、电压等,以下就以常见的艾德克斯程控电源为例,分享如何通过USB连接方式Python语言来控制程控电源。

测试领域技术分享 2869

Postgres复制槽

当 PostgreSQL 使用 replication slots(复制槽)时,如果不谨慎使用或配置,可能会导致归档日志 (WAL 日志) 堆积,从而影响系统的正常运行。总体而言,正确使用 PostgreSQL 复制槽需要理解业务需求,并根据需求进行适当的配置和监控。合理的设置和管理复制槽将有助于确保流复制的可靠性和稳定性。正确使用 PostgreSQL 复制槽是确保流复制正常运行的关键部分。

喝醉酒的小白 2502

流体动力学仿真软件:CFX_(10).案例实践:复杂流场分析

在“Phases”选项卡中,定义参与仿真的不同相。例如,如果您要分析气液两相流,可以定义“Air”和“Water”两个相。

kkchenjj的博客 1692

YOLO26分割全网首发:CVPR2026 Transformer注意力 | BinaryAttention 1-bit注意力,推理提速100%,超越FlashAttention2

​​​​​​摘要:本研究对Ultralytics YOLO26进行了全面分析,重点阐述了其关键架构改进及其在实时边缘目标检测中的性能基准测试。YOLO26于2025年9月发布,是YOLO系列最新、最先进的成员,专为在边缘及低功耗设备上实现高效、精确且易于部署的目标而构建。本文依次详述了YOLO26的架构创新,包括:移除了分布焦点损失(DFL);采用端到端的无NMS推理;集成了渐进损失(ProgLoss)与小目标感知标签分配(STAL);以及引入了用于稳定收敛的MuSGD优化器。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 204

POSTGRESQL 逻辑复制槽,what when how ,check and monitor 这一篇

postgresql 的逻辑复制槽估计是一个被说烂的话题,但如果你是在大批量的使用逻辑复制槽作为数据的同步和复制的功能,那这就是一个另外的话题了。我们从什么是逻辑复制槽,到我们应该什么时候在什么情况下,怎么使用复制槽,到如何检测复制槽的状态和怎么监控他来说说复制槽的问题。1什么用户可以建立逻辑复制槽首先针对逻辑复制的创建者比如有replication的权限,或者一个超...

sql server的专栏 1846

YOLOv13改进策略【Backbone/轻量化】| 替换骨干网络 CVPR-2024 StarNet,超级精简高效的轻量化模块

本文记录的是。StarNet设计简洁,没有复杂的设计和精细调整的超参数,仅是一个 4 阶段的分层架构。并且其中能够在低维空间计算的同时考虑极高维的特征这一特性,进而提高模型精度。本文在替换骨干网络中配置了原论文中的starnet_s1starnet_s2starnet_s3和starnet_s4七种模型,以满足不同的需求。

Limiiiing的博客 672

Pigsty 零停机 PostgreSQL 迁移手册:基于逻辑复制将存量集群平滑迁入 Pigsty 集群

> 本文以 Pigsty 仓库中 `pg_migration` 角色生成的迁移手册模板([manual.md](https://link.gitcode.com/i/88816e4bb4feab436827e248d959658a))为核心,结合其全部配套脚本源码,完整讲解如何在 Pigsty 管理平台中,通过 PostgreSQL 原生逻辑复制将既有(存量)数据库集群"零停机"迁移到 Pigst

gitblog_00621的博客 441

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

PostgreSQL性能监控神器pg_enterprise_views:从核心视图到实战优化

数据库性能监控是保障系统稳定运行的关键环节,其核心在于对数据库内部运行状态的实时洞察与量化分析。PostgreSQL作为主流开源数据库,提供了丰富的系统视图用于性能诊断,但原始数据往往分散且解读门槛较高。pg_enterprise_views插件通过整合与增强这些系统视图,提供了更直观、更深入的监控维度,例如直接计算索引扫描百分比和索引缓存命中率,从而将碎片化的性能指标转化为可直接指导行动的洞察。这一技术显著提升了数据库管理员和开发人员定位性能瓶颈的效率,尤其在处理慢查询、评估索引有效性、量化存储膨胀等典型

weixin_30384217的博客 352

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

PG的复制

pg的解码器 解码器是把WAL日志解析成逻辑数据的过程,将用户定阅的数据变化(即对某些表的insert/update/delete操作来带的数据变化)输出成特定的数据格式 decoderbufs 需要安装一堆插件,在centos上非常难于安装,官方给出的例子也是基于debein操作系统 wal2json debezium 对wal2json的支持不好,他自己官网说的 pgoutput postgres-10 纳入了内核 以下为pgoutput解析出来的逻辑数据 连接为 复制 pg即可以逻辑复制,也可以物理复

一名数据库爱好者的专栏 2083

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

关于PostgreSQL的复制槽

关于PostgreSQL复制槽

qq_58883939的博客 1233

openGauss 系统内部使用的工具:pg_recvlogical

pg_recvlogical工具通过连接指定的节点,创建或删除逻辑复制槽,以及持续、实时的从该节点获取逻辑解码中间结果,输出到文件或标准输出。

weixin_53596073的博客 750

postgresql逻辑复制槽replication_slot

系统表说明:http://postgres.cn/docs/11/view-pg-replication-slots.html 创建复制槽 每个复制槽都有一个名字,名字可以包含小写字母、数字和下划线字符。 master设置几个参数 max_replication_slots = 10 --最大复制槽数,即pg_replication_slots条数不能超过10 hot_standby = on wal_level = replica 或者 logical hot_standby_feedback

仙道Bob的专栏 1万+

PostgreSQL逻辑复制槽功能

下面是简单的实际操作案例 (版本PG16) 注意事项: 1.在数据复制中,需要保持复制中的所有表均有主键,或唯一索引,如表中无这两项,也可以进行逻辑复制但会严重影响性能,或导致逻辑复制报错。下面的命令并不准确,尤其在主库并未有真实的数据变动或插入则这个语句就会产生问题,但如果能保证主库持续有数据,则这个语句可以观察逻辑复制的从库与主库的数据之间的延迟。检查逻辑复制槽的状态,明显active=F 的逻辑复制出现问题,可能是网络,也可能是WAL丢失,或者是订阅端出现问题等等,都需要后续的分析和排除故障。

sql server的专栏 1455

复制槽和max_replication_slots

max_replication_slots 指定服务器可以支持的复制槽(见streaming-replication-slots) 最大数量。默认值为10。这个参数只能在服务器启动时设置。将它设置为一个比当前已有复制槽要少的值会阻碍服务器启动。此外,要允许使用复制槽,wal_level必须被设置为replica或 更高。 在订阅者端,指定可以同时跟踪多少个复制源,有效地限制了可以在服务器上创建多少个逻辑复制订阅。将其设置为低于当前跟踪的复制源数(反映在pg_replication_origin_sta.

weixin_43084715的博客 3117

【PostgreSQL系列】PostgreSQL 复制参数详解

本文详细介绍了 PostgreSQL 数据库复制功能的关键参数及其配置策略。文章首先概述了 PostgreSQL 复制系统的基本概念,强调了预写式日志(WAL)机制在数据冗余和系统高可用性中的核心作用。随后,深入解析了核心复制参数,包括 max_wal_senders、max_replication_slots 和 WAL 保留策略参数组,并提供了具体的配置建议。

优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704 1万+

postgresql逻辑复制槽的推进

【代码】postgresql逻辑复制槽的推进。

snowyar的专栏 1239

POSTGRESQL 13.1 bug 与 逻辑复制槽参数调优

随着问问题的同学越来越多,公众号内部私信回答问题已经很困难了,所以建立了一个群,关于各种数据库的问题都可以,目前主要是 POSTGRESQL, MYSQL ,MONGODB ,POLARDB ,REDIS,SQL SERVER 等,期待你的加入,加群请添加微信liuaustin3. (群里有各方面的工作人员和专家)这里首先的写这篇文章的之前的感谢阿里云的 PG RDS 数据库组的同学们,基于隐私...

sql server的专栏 1351

PG流复制详解

什么是PG流复制? Streaming Replication是pg9.0开始提供的传递WAL日志的方式,只要primary库一产生日志,就会立马传递到standby库。 在pg9.0之前,pg只能一个个传送wal日志(log shipping),备库至少比主库落后一个wal日志 pg流复制进程 wal sender:wal sender存在于主库。wal sender进程将主库最新LSN到备库最新的LSN之间的wal 传递给备库 wal receiver:wal receiver存在于备库。wal re

liuzhilong的博客 9002
上一篇: PostgreSQL 每周新闻— 2022年3月23日
DB爱好者2020
博客等级 码龄16年 10粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值