数据库修仙炼气篇七——replication

PostgreSQL学习之pg_recvlogical与pgoutput的使用 postgresql数据库的原生解码插件pg_recvlogical可以将wal日志解码保存到指定文件,准确的说是将复制槽通过指定的逻辑解码插件(test_decoding、pgoutput等)解码后的数据保存为文件。 阅读详情

pg_replication

基本概念

  • 逻辑复制

    逻辑复制是将数据重新执行一次insert、update或delete。逻辑复制则允许在数据层面复制,并在安全性上提供更细粒度的控制。

  • 流复制(物理复制)

    实现方式是将wal日志中记录的内容按照确切的块地址逐字节的拷贝到备库,因此主备之间数据分布是一致的,这意味着在主备机器上,同一条记录的ctid是相同的。

  • 逻辑解码

    逻辑解码是提取数据库表的所有永久修改到一个连贯的、容易理解的格式 (不需要详细的数据库内部状态知识就可以解读)的过程。

  • 复制槽

    在逻辑复制的概念中,一个槽代表一连串的修改,这些修改可以以它们在原始服务器上制作的顺序在客户端上重放。

  • 输出插件

    输出插件将数据从预写式日志的内部表示转换到复制槽想要的消费者的格式。

  • 导出快照

    当用流复制接口创建了一个新的复制槽时,pg会导出一个快照, 该快照将准确的显示数据库的状态,之后所有的修改都将包含在修改流中。这可以用来创建一个新的复制品, 可以通过使用SET TRANSACTION SNAPSHOT 读取槽创建瞬间数据库的状态。这个事务稍后可以用来转储在那个时间点的数据库状态, 之后可以使用槽的内容更新该数据库而不丢失任何修改。

逻辑复制

逻辑解码

逻辑解码基本原理是从 WAL日志解码,跟踪所有 DML (INSERT, UPDATE, DELETE)更改。之后转换成各种可用的格式,比如 Json。

其流程大致如下:

insert/update/delete
postgresql
wal日志
logical_decoding
replication_slot
wal2json
jsonoutput

对于逻辑解码插件,主要有以下几类。按照格式来分主要有

  • JSON format plugins
  • Protobuf Format Plugins
  • Avro Format Plugins
  • SQL Format Plugins
  • Miscellaneous Plugins

参数配置

逻辑解码参数配置如下:

wal_level=logical
max_replication_slots=10
max_wal_sender=10
  • 将wal_level设置为logical允许WAL记录逻辑解码所需的信息。
  • max_replication_slots指定了发送端可以支持的最大复制槽数量,默认为10个
  • max_wal_sender指定发送方用于流复制的并发连接的最大数量,默认值也是10

pg_recvlogica

pg_recvlogical是 PostgreSQL自带的工具,它管理插槽并使用插槽中的流数据。

必须至少要指定下列选项之一来选择一个动作:

  • --create-slot

    为--dbname指定的数据库用--slot 指定的名称创建一个新的逻辑复制槽,使用 --plugin指定的输出插件。

  • --drop-slot

    删除名称由--slot指定的复制槽,然后退出。

  • --start

    从--slot指定的逻辑复制槽开始进行流式传送更改,一直继续 到被一个信号终止。如果服务器端关机或者断开连接导致更改流结束,会进入一个 循环一直重试,通过指定--no-loop可以防止这种情况下进入 循环重试。流格式由槽创建时指定的输出插件决定。连接必须是连接到用于创建该槽的同一个数据库上。

--create-slot和--start可以被一起指定。 --drop-slot不能和另一个动作组合在一起。

物理流复制

物理流复制内容主要引用自博客。

物理流复制是一种数据库主备同步技术,该特性同步的数据是数据库中物理页面变化数据(WAL),该模式备库的底层数据页面状态和主库完全相同,这样的实现方案让数据库主备以及同步状态都非常稳定。

流复制中的角色

  • 主库 backend 进程

    它负责执行用户的 SQL,在修改数据前会先记录 WAL(Write-Ahead Logging)日志。这些日志中事物提交日志(CommitTransaction)由 backend 进程负责写到磁盘。

  • 主库 WALsender 进程

    负责把 WAL 日志发送给备库的 WALreceiver 进程。

  • 备库 WALreceiver 进程

    负责接收 WALsender 发送的 WAL 日志,并持久化到存储。

  • 备库 startup 进程

    负责恢复 WALsender 写到磁盘上的 WAL 日志,把数据 apply 到数据页面上。

异步流复制

默认状态下的流复制是以异步方式工作的,也就是说主库写本地数据和 WAL 日志,WALsender 异步的把数据发送给备库,备库收到数据后再异步的做数据恢复。

异步模式可以做到较好的性能,它的劣势是:极端情况下,主库如果当机,被库被激活成主库,部分 WAL 没有发送到备库,可能造成数据丢失。

同步流复制

相对于异步模式,PostgreSQL 还支持同步模式的流复制。同模模式可以细分为三级

  • REMOTE_WRITE

    保证该事务的所有数据被备库收到(备库收到数据并调用 write 写磁盘,但并未持久化到磁盘)

  • REMOTE_FLUSH

    保证该事务的所有数据在备库持久化到磁盘(调用 flush,但只读查询看不到)

  • REMOTE_APPLY

    保证该事务的所有数据在备库被恢复到数据页面(恢复进程读取并解析 WAL,再 APPLY 到数据页面,在备库上执行的只读查询能看到数据的变化)

源码解析

简单的说 PostgreSQL ACID 是基于 MVCC 和 WAL 技术。数据的修改过程可以简单描述为:

  • 首先 backend 开启是一个事务,获得一个事务号 XID;
  • 在这个事务中对数据的任意修改,都被 XID 标记。
  • 其他 backend 在扫描数据时,会看到被这个 XID 修改过的数据,根据当前的隔离级别,选择对这些数据是否可见(默认的读已提交隔离级别看不到这些数据)。
  • 只有当此 XID 最后被标记成 commit (写 WAL commit log 和写 clog)后,其他的 backend 才能看到这个 XID 修改的数据。

实现流复制的同步模式,关键点在每个事务提交或回滚时,保证它产生的所有数据变化日志,即 WAL 都“同步”到备库。最后一条 WAL commit log 尤为关键。

  1. [主库 backend 进程]调用 RecordTransactionCommit 中写 WAL commit log,获得这条日志在在 WAL 中的位置 XLogRecPtr
  2. [主库 backend 进程]完成写 WAL 后,进入 SyncRepWaitForLSN 等待 WAL 日志“同步”到备库。具体做法是:在共享内存中创建一个等待队列 SHMQueue 记录 XLogRecPtr,并调动 WaitLatch,让出 CPU 等待被唤醒。
  3. [主库 WALsender 进程]相应所有备库的 WALreceiver 拉取 WAL 的请求。把 WAL 发送给所有备库。
  4. [备库 WALreceiver 进程]写 WAL 的偏移(LogstreamResult.Write)和持久化 WAL 偏移(LogstreamResult.Flush)记录下来。
  5. [备库 startup 进程]不断的恢复数据,把当前恢复到的 WAL 位点放在共享内存 xlogctl->lastReplayedEndRecPtr 中。
  6. [备库 WALreceiver 进程]不断通过 r 报文和主库 WALsender 进程同步的状态,即 XLOG_WRITE_LSN XLOG_REMOTE_LSN XLOG_APPLY_LSN(XLogWalRcvSendReply)
  7. [主库 WALsender 进程]收到备库发送的 r 报文后,检查共享内存中的等待队列 SHMQueue, 根据备库反馈的位点结合 SHMQueue,唤醒那些等待队列中睡眠的 主库 backend 进程(WalSndWaitForWal)。
  8. [主库 backend 进程]被唤醒,当前事务成功提交,SQL 执行完成返回给客户端。
  • 事务写入流程

    CommitTransactionCommand
    CommitTransaction
    RecordTransactionCommit
    BufmgrCommit
    XactLogCommitRecord
    SyncRepWaitForLSN
  • WalSender

    BackendStartup
    BackendRun
    PostgresMain
    InitWalSender
    exec_replication_command
    StartReplication
    WalSndLoop
    XLogSendPhysical
    StartLogicalReplication
    XLogSendLogical
  • WalReciver

    main
    PostmasterMain
    StartChildProcess
    fork_process
    AuxiliaryProcessMain
    WalReceiverMain

reference

  1. https://www.modb.pro/db/11333
  2. http://www.postgres.cn/docs/9.4/logicaldecoding-explanation.html
  3. https://www.modb.pro/db/48147
  4. https://www.modb.pro/db/90943
  5. http://mysql.taobao.org/monthly/2018/01/03/
ESP32 驱动 SYN6288 语音合成:Arduino IDE 下实现中文数字混合文本的智能播报 本文详细介绍了如何在Arduino IDE环境下使用ESP32驱动SYN6288语音合成模块,实现中文数字混合文本的智能播报。通过硬件选型、开发环境搭建、编码转换原理、命令帧构造及串口通信实战等步骤,帮助开发者快速掌握语音播报技术。文章还提供了混合文本处理技巧和常见问题排查方法,适合智能硬件开发者参考。 阅读详情

相关推荐

保姆级教程:用GEE(Google Earth Engine)复现CASA模型计算NPP,附完整数据集清单与Python代码

本文提供了一份详细的保姆级教程,指导如何使用GEE(Google Earth Engine)复现CASA模型计算NPP(净初级生产力)。教程涵盖环境准备、关键数据集获取与处理、Python代码实现全流程,以及结果验证与常见问题解决方案,帮助生态学研究者高效完成NPP计算。

weixin_28707365的博客 335

PostgreSQL Replication之第一章 理解复制概念一

在本章中,将会介绍不同的复制概念,您会了解哪些类型的复制对哪一种实用场景是最合适的。 在本章的最后,您将能够判断某个概念在各种情况下是否是可行的。 我们在本章将介绍以下主题: • CAP理论 •复制的物理限制 •为什么延迟有影响 •同步和异步复制 •拆分和复制 在我们使用PostgreSQL实际工作之前,我们将引导您完成一些非常基本的与复制相关想法和事实。 1.1 CAP理论和物理限制 您可能会问,为什么一个理论可以在一本书这样一个突出的地方被发现,这被认为是非常实用的。那么,有一个很简单的理由:一些商业数

肥叔菌的博客 4139

Ubuntu20.04下Intel AX201网卡驱动安装全攻略:从内核升级到固件更新

本文详细介绍了在Ubuntu 20.04系统上解决Intel AX201无线网卡驱动问题的完整方案。针对戴尔游匣G15等新硬件,通过升级内核至HWE版本、从官方仓库获取最新固件文件,并调整BIOS设置,彻底解决Wi-Fi无法识别或连接不稳定的问题,为开发者提供了一套从诊断到修复的实践指南。

gpt4scribbler的博客 690

PostgreSQL复制(Replication)技术简述

1.Write Ahead Log(WAL) PostgreSQL提供数据持久保证的主要技术是通过其预写日志(Write Ahead Log(WAL))。所有事务数据提交到数据文件前都会写入该位置。一旦WAL文件不再被崩溃恢复需要,PostgreSQL将会对其进行删除或归档。对高可用服务器,我们推荐尽可能保存这些重要你文件。主要有如下几个原因: 1)归档WAL文件能用于时间点恢复(PITR); 2)如果您正用流复制(streaming replication),终端的流能通过应用WAL文件直到副本赶上主库来

数据库生态圈(RDB & NoSQL & Bigdata)——专注于关系库应用与研究(Oracle & Mysql & Postgresql & SQL Server ) 1685

ROS2新手必看:5分钟搞定Gazebo机器人仿真环境搭建(含避坑指南)

本文为ROS2新手提供了在Gazebo中快速搭建机器人仿真环境的详细指南。内容涵盖ROS2与Gazebo的协同架构理解、基础环境配置、机器人模型构建、传感器集成以及环境创建,并包含实用的避坑指南和调试技巧,帮助开发者高效掌握物理仿真技术。

weixin_29100927的博客 430

YOLOv11改进 | 损失函数改进篇 | EIoU、SIoU、WIoU、DIoU、FocusIoU等二十余种损失函数

这篇文章介绍了YOLOv11的重大改进,特别是在损失函数方面的创新。它不仅包括了多种IoU损失函数的改进和变体,如SIoU、WIoU、GIoU、DIoU、EIOU、CIoU,还融合了“Focus”思想,创造了一系列新的损失函数。这些组合形式的损失函数超过了二十余种,每种都针对特定的目标检测挑战进行优化。文章会详细探讨这些损失函数如何提高YOLOv11在各种检测任务中的性能,包括提升精度、加快收敛速度和增强模型对复杂场景的适应性。

Snu77的博客 6198

PostgreSQL13使用流复制Replication功能搭建主从集群实现读写分离

三台服务器,一主两从。不借助插件或第三方中间件,仅使用PostgreSQL自带的流复制功能。主节点可建库建表、可读写,两个从节点为只读,程序使用时可以通过读写分离减少数据库读写压力。 设置同步复制,为热备份,数据实时同步,对于大多数业务来说,可以认为三个库数据完全相同,当一个库故障时,其他库仍然可提供服务,增加服务可用性。 当主节点故障时,数据无法更新,只能手动将从节点升格为主节点,需要修改服务的数据库连接配置等,服务短暂不可用

闫玉林的博客 5248

PLC框架-1.3- 汇川PN伺服(3号报文)

本文以汇川IS620F伺服为例,详细介绍了FB_Servo_ToAxis功能块的应用方法。该功能块封装了MC_Home等轴控指令,实现使能、定位、点动、速度模式及回零等功能,支持转矩限制与显示,并具备行程统计和HMI单位自动切换特性。文章从硬件配置(PN网络连接、报文选择)、参数设置(控制模式、电子齿轮比),到软件实现(功能块调用、手动/自动控制逻辑)进行了系统说明,重点展示了绝对/相对定位、速度模式等典型应用场景的程序编写方法,为汇川伺服在Profinet网络下的工程应用提供了完整解决方案。

qq_34047402的博客 759

AntDB中max_replication_slots参数使用详解

     开启replication slots,从节点会自动将wal情况发送给primary。当从节点掉线时,主节点会保留wal,防止wal被覆盖。下面将此参数设置前后的现象做对比:测试一:不设置max_replication_slots参数,制造从节点xlog落后的情况;1、同步模式下,不存在从节点落后的问题。异步模式下,才有可能出现。因此,设置在Manager中将从节点为async。2、设置...

mona002的博客 1777

基于STM32+Qt上位机设计的智慧停车场管理系统(207)

本项目设计了一套基于STM32+Qt上位机的智慧停车场管理系统。该系统融合了先进的嵌入式技术、图像识别技术、数据库技术和移动互联网技术,通过STM32硬件端实时采集车库现场信息,包括车牌识别、车位占用状态监测等,并将数据上传至Qt上位机进行处理与展示。利用MySQL数据库存储车辆出入库记录及车位使用情况,确保数据的安全性和可追溯性;通过Android手机APP为用户提供查询、支付等功能,实现远程交互与便捷服务。

3946

Dify之八添加各种在线大模型

Dify之八添加各种在线大模型

yilvyangguang520的博客 944

PostgreSQL逻辑复制(Logical Replication)原理

Postgresql的逻辑复制和逻辑解码可以用来做实时数据集成,同大数据生态结合实现RDBMS实时数据集成写入数据湖

MusicIsMyAll的博客 2852

基于YOLOv5/v8/v10的垃圾分类识别系统:设计实现与性能优化(附代码+数据集)

做完这个毕设,你已经掌握了从数据准备、模型训练到界面开发的全流程。把模型部署到树莓派上,做个真正的“智能垃圾桶”硬件装置;加入语音提示功能,检测到垃圾后自动语音播报类别;试试融合多个YOLO模型的优势,让分类精度再上一个台阶。按照这个教程一步步做,你的毕设不仅能顺利完成,还能做出很多亮点。要是过程中遇到啥问题,别慌,慢慢琢磨或者咱们一起聊聊,肯定能把这个毕设做成让你满意的作品。

know_F0727的博客 464

数据库修仙炼气篇六——walsender

pg_walsender 交互接口 全局变量 /* global state */ extern PGDLLIMPORT bool am_walsender; // 是否是walsender进程 extern PGDLLIMPORT bool am_cascading_walsender; // 是否是级联walsender extern PGDLLIMPORT bool am_db_walsender; // 是否连接到数据库 extern PGDLLIMPORT bool wake_wal_sender

growdu的网络博客 431

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

数据库修仙炼气篇九——postgresql流复制同异步分析

postgresql流复制同异步详解。

growdu的网络博客 593

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

PostgreSQL pg_recvlogical 与 test_decoding 自定义,支持source table filter, 对接kafka,es等

标签 PostgreSQL , pg_receivewal , pg_recvlogical 背景 pg_recvlogical 是PG提供的一个通过流复制协议,实时接收数据库逻辑变更的命令行客户端。 逻辑变更内容的来源是上游数据库的wal sender进程调用logical decode plugin处理的。 通过给decode plugin传递p...

weixin_33851604的博客 944

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

HackRF与LoRa信号解码:基于Chirp Spread Spectrum的分析

HackRF作为一款开源的软件定义无线电平台,为LoRa信号解码提供了强大的硬件基础。LoRa技术采用独特的Chirp Spread Spectrum(CSS)调制方式,在物联网通信领域具有广泛的应用前景。本文将详细介绍如何使用HackRF进行LoRa信号的分析和解码。 ## LoRa技术基础:Chirp Spread Spectrum调制原理 LoRa技术核心是Chirp Spread Sp

gitblog_00008的博客 724

PostgreSQL数据库从入门到精通系列之六:深入理解逻辑复制槽,创建逻辑复制槽,删除逻辑复制槽

PostgreSQL数据库从入门到精通系列之六:深入理解逻辑复制槽,创建逻辑复制槽,删除逻辑复制槽

zhengzaifeidelushang的博客 3212

postgresql的replication信息

1.通过服务器上的进程查看 ps aux |grep postgres 如出现postgres: wal receiver process说明此节点的数据库处于从服务器状态,无法进行修改。 ps aux |grep “wal sender” ##查看主从状态 select * from pg_stat_repilcation; pg_stat_replication表信息 字段 描述 pid wal_sender进程id usesyid 用户连接到系统的唯一标识符 usename

归来仍少年 1154

PostgreSQL实时数据同步:5分钟掌握pg_replicate终极指南

PostgreSQL作为业界领先的开源关系数据库,其数据复制能力一直是企业级应用的核心需求。在实时数据同步领域,pg_replicate凭借其出色的性能和易用性,成为了Rust数据复制工具中的佼佼者。本文将带您快速了解如何使用这个强大的逻辑流复制工具,实现多数据库同步的完美解决方案。 ## 🚀 什么是pg_replicate? pg_replicate是一个基于Rust语言构建的Postgr

gitblog_00155的博客 830

Postgresql Replication (逻辑复制)

Postgresql Replication 1.前期准备 需要两台虚拟机 安装数据库 版本:11.3 发布端:IP: 10.200.1.70 Port:5411 订阅端:IP: 10.203.5.235 Port:5432 1.1 订阅端基础库创建 导出发布端数据的表结构 发布端执行命令:pg_dump -U adempiere -s kc_test > kc_test_XXXXXXXX.dmp 将 kc_test_XXXXXXXX.dmp 文件上传到订阅端 订阅端开始创建基础

渡人不如渡己的博客 5483

PG复制状态监控

文章目录发布端pg_replication_slotspg_stat_replication订阅端pg_subscription_relpg_stat_subscriptionpg_stat_wal_receiver 发布端 pg_replication_slots 展示当前数据库已创建的逻辑/物理复制槽信息。 postgres=# select * from pg_replication_slots ; -[ RECORD 1 ]-------+---------- slot_name

三思的博客 3295

推荐开源项目:pg_easy_replicate — 简化PostgreSQL逻辑复制的利器

在数据库管理中,数据同步和迁移是常见的任务,尤其是对于大型应用而言,确保业务连续性和数据完整性至关重要。【pg_easy_replicate】是一个强大的命令行工具,它简化了PostgreSQL数据库之间的逻辑复制过程,并支持无缝切换操作。这个开源项目已经在生产环境中得到了验证,可以为你的数据管理和升级提供极大的便利。 ## 项目介绍 `pg_easy_replicate` 是一个基于Ruby...

gitblog_00058的博客 405

PG 10:视图 pg_replication_slots 字段说明

slot_name | plugin | slot_type | datoid | database | temporary | active | active_pid | xmin | catalog_xmin | restart_lsn | confirmed_flush_lsn -----------+----------+-----------+--------+----------+...

高矮 2447

postgresql逻辑复制槽replication_slot

系统表说明:http://postgres.cn/docs/11/view-pg-replication-slots.html 创建复制槽 每个复制槽都有一个名字,名字可以包含小写字母、数字和下划线字符。 master设置几个参数 max_replication_slots = 10 --最大复制槽数,即pg_replication_slots条数不能超过10 hot_standby = on wal_level = replica 或者 logical hot_standby_feedback

仙道Bob的专栏 1万+

PostgreSQL 流复制(Streaming Replication)深度解析

【代码】PostgreSQL 流复制(Streaming Replication)深度解析。

qq_44468536的博客 1278
上一篇: 数据库修仙炼气篇四——WalWriter
下一篇: 数据库修仙炼气篇六——walsender
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值