数据库修仙炼气篇七——replication

PostgreSQL学习之pg_recvlogical与pgoutput的使用 postgresql数据库的原生解码插件pg_recvlogical可以将wal日志解码保存到指定文件,准确的说是将复制槽通过指定的逻辑解码插件(test_decoding、pgoutput等)解码后的数据保存为文件。 阅读详情

pg_replication

基本概念

  • 逻辑复制

    逻辑复制是将数据重新执行一次insert、update或delete。逻辑复制则允许在数据层面复制,并在安全性上提供更细粒度的控制。

  • 流复制(物理复制)

    实现方式是将wal日志中记录的内容按照确切的块地址逐字节的拷贝到备库,因此主备之间数据分布是一致的,这意味着在主备机器上,同一条记录的ctid是相同的。

  • 逻辑解码

    逻辑解码是提取数据库表的所有永久修改到一个连贯的、容易理解的格式 (不需要详细的数据库内部状态知识就可以解读)的过程。

  • 复制槽

    在逻辑复制的概念中,一个槽代表一连串的修改,这些修改可以以它们在原始服务器上制作的顺序在客户端上重放。

  • 输出插件

    输出插件将数据从预写式日志的内部表示转换到复制槽想要的消费者的格式。

  • 导出快照

    当用流复制接口创建了一个新的复制槽时,pg会导出一个快照, 该快照将准确的显示数据库的状态,之后所有的修改都将包含在修改流中。这可以用来创建一个新的复制品, 可以通过使用SET TRANSACTION SNAPSHOT 读取槽创建瞬间数据库的状态。这个事务稍后可以用来转储在那个时间点的数据库状态, 之后可以使用槽的内容更新该数据库而不丢失任何修改。

逻辑复制

逻辑解码

逻辑解码基本原理是从 WAL日志解码,跟踪所有 DML (INSERT, UPDATE, DELETE)更改。之后转换成各种可用的格式,比如 Json。

其流程大致如下:

insert/update/delete
postgresql
wal日志
logical_decoding
replication_slot
wal2json
jsonoutput

对于逻辑解码插件,主要有以下几类。按照格式来分主要有

  • JSON format plugins
  • Protobuf Format Plugins
  • Avro Format Plugins
  • SQL Format Plugins
  • Miscellaneous Plugins

参数配置

逻辑解码参数配置如下:

wal_level=logical
max_replication_slots=10
max_wal_sender=10
  • 将wal_level设置为logical允许WAL记录逻辑解码所需的信息。
  • max_replication_slots指定了发送端可以支持的最大复制槽数量,默认为10个
  • max_wal_sender指定发送方用于流复制的并发连接的最大数量,默认值也是10

pg_recvlogica

pg_recvlogical是 PostgreSQL自带的工具,它管理插槽并使用插槽中的流数据。

必须至少要指定下列选项之一来选择一个动作:

  • --create-slot

    为--dbname指定的数据库用--slot 指定的名称创建一个新的逻辑复制槽,使用 --plugin指定的输出插件。

  • --drop-slot

    删除名称由--slot指定的复制槽,然后退出。

  • --start

    从--slot指定的逻辑复制槽开始进行流式传送更改,一直继续 到被一个信号终止。如果服务器端关机或者断开连接导致更改流结束,会进入一个 循环一直重试,通过指定--no-loop可以防止这种情况下进入 循环重试。流格式由槽创建时指定的输出插件决定。连接必须是连接到用于创建该槽的同一个数据库上。

--create-slot和--start可以被一起指定。 --drop-slot不能和另一个动作组合在一起。

物理流复制

物理流复制内容主要引用自博客。

物理流复制是一种数据库主备同步技术,该特性同步的数据是数据库中物理页面变化数据(WAL),该模式备库的底层数据页面状态和主库完全相同,这样的实现方案让数据库主备以及同步状态都非常稳定。

流复制中的角色

  • 主库 backend 进程

    它负责执行用户的 SQL,在修改数据前会先记录 WAL(Write-Ahead Logging)日志。这些日志中事物提交日志(CommitTransaction)由 backend 进程负责写到磁盘。

  • 主库 WALsender 进程

    负责把 WAL 日志发送给备库的 WALreceiver 进程。

  • 备库 WALreceiver 进程

    负责接收 WALsender 发送的 WAL 日志,并持久化到存储。

  • 备库 startup 进程

    负责恢复 WALsender 写到磁盘上的 WAL 日志,把数据 apply 到数据页面上。

异步流复制

默认状态下的流复制是以异步方式工作的,也就是说主库写本地数据和 WAL 日志,WALsender 异步的把数据发送给备库,备库收到数据后再异步的做数据恢复。

异步模式可以做到较好的性能,它的劣势是:极端情况下,主库如果当机,被库被激活成主库,部分 WAL 没有发送到备库,可能造成数据丢失。

同步流复制

相对于异步模式,PostgreSQL 还支持同步模式的流复制。同模模式可以细分为三级

  • REMOTE_WRITE

    保证该事务的所有数据被备库收到(备库收到数据并调用 write 写磁盘,但并未持久化到磁盘)

  • REMOTE_FLUSH

    保证该事务的所有数据在备库持久化到磁盘(调用 flush,但只读查询看不到)

  • REMOTE_APPLY

    保证该事务的所有数据在备库被恢复到数据页面(恢复进程读取并解析 WAL,再 APPLY 到数据页面,在备库上执行的只读查询能看到数据的变化)

源码解析

简单的说 PostgreSQL ACID 是基于 MVCC 和 WAL 技术。数据的修改过程可以简单描述为:

  • 首先 backend 开启是一个事务,获得一个事务号 XID;
  • 在这个事务中对数据的任意修改,都被 XID 标记。
  • 其他 backend 在扫描数据时,会看到被这个 XID 修改过的数据,根据当前的隔离级别,选择对这些数据是否可见(默认的读已提交隔离级别看不到这些数据)。
  • 只有当此 XID 最后被标记成 commit (写 WAL commit log 和写 clog)后,其他的 backend 才能看到这个 XID 修改的数据。

实现流复制的同步模式,关键点在每个事务提交或回滚时,保证它产生的所有数据变化日志,即 WAL 都“同步”到备库。最后一条 WAL commit log 尤为关键。

  1. [主库 backend 进程]调用 RecordTransactionCommit 中写 WAL commit log,获得这条日志在在 WAL 中的位置 XLogRecPtr
  2. [主库 backend 进程]完成写 WAL 后,进入 SyncRepWaitForLSN 等待 WAL 日志“同步”到备库。具体做法是:在共享内存中创建一个等待队列 SHMQueue 记录 XLogRecPtr,并调动 WaitLatch,让出 CPU 等待被唤醒。
  3. [主库 WALsender 进程]相应所有备库的 WALreceiver 拉取 WAL 的请求。把 WAL 发送给所有备库。
  4. [备库 WALreceiver 进程]写 WAL 的偏移(LogstreamResult.Write)和持久化 WAL 偏移(LogstreamResult.Flush)记录下来。
  5. [备库 startup 进程]不断的恢复数据,把当前恢复到的 WAL 位点放在共享内存 xlogctl->lastReplayedEndRecPtr 中。
  6. [备库 WALreceiver 进程]不断通过 r 报文和主库 WALsender 进程同步的状态,即 XLOG_WRITE_LSN XLOG_REMOTE_LSN XLOG_APPLY_LSN(XLogWalRcvSendReply)
  7. [主库 WALsender 进程]收到备库发送的 r 报文后,检查共享内存中的等待队列 SHMQueue, 根据备库反馈的位点结合 SHMQueue,唤醒那些等待队列中睡眠的 主库 backend 进程(WalSndWaitForWal)。
  8. [主库 backend 进程]被唤醒,当前事务成功提交,SQL 执行完成返回给客户端。
  • 事务写入流程

    CommitTransactionCommand
    CommitTransaction
    RecordTransactionCommit
    BufmgrCommit
    XactLogCommitRecord
    SyncRepWaitForLSN
  • WalSender

    BackendStartup
    BackendRun
    PostgresMain
    InitWalSender
    exec_replication_command
    StartReplication
    WalSndLoop
    XLogSendPhysical
    StartLogicalReplication
    XLogSendLogical
  • WalReciver

    main
    PostmasterMain
    StartChildProcess
    fork_process
    AuxiliaryProcessMain
    WalReceiverMain

reference

  1. https://www.modb.pro/db/11333
  2. http://www.postgres.cn/docs/9.4/logicaldecoding-explanation.html
  3. https://www.modb.pro/db/48147
  4. https://www.modb.pro/db/90943
  5. http://mysql.taobao.org/monthly/2018/01/03/
利用 Openocd 和 FT2232H 实现 ARMv8(Coretex-A53)高效调试方案 本文详细介绍了如何利用开源工具OpenOCD与高性能USB转接芯片FT2232H,构建一套针对ARMv8架构(如Cortex-A53)的高效、低成本调试方案。内容涵盖从环境搭建、驱动配置、核心调试架构解析到实战问题排查的全过程,帮助开发者实现对多核处理器的透明、可控调试,是嵌入式Linux及底层开发的实用指南。 阅读详情

相关推荐

在windows上,在WSL 2(windows subsystem linux) 里一步步安装vLLM

本文介绍了在Windows系统上通过WSL2配置GPU加速的AI开发环境的完整流程。主要包括四个步骤: 1)安装WSL2并配置Ubuntu环境; 2)安装NVIDIA驱动和CUDA工具包; 3)搭建Python虚拟环境并安装vLLM; 4)验证环境并启动AI模型服务。

2601_96126911的博客 422

PostgreSQL Replication之第一章 理解复制概念一

在本章中,将会介绍不同的复制概念,您会了解哪些类型的复制对哪一种实用场景是最合适的。 在本章的最后,您将能够判断某个概念在各种情况下是否是可行的。 我们在本章将介绍以下主题: • CAP理论 •复制的物理限制 •为什么延迟有影响 •同步和异步复制 •拆分和复制 在我们使用PostgreSQL实际工作之前,我们将引导您完成一些非常基本的与复制相关想法和事实。 1.1 CAP理论和物理限制 您可能会问,为什么一个理论可以在一本书这样一个突出的地方被发现,这被认为是非常实用的。那么,有一个很简单的理由:一些商业数

肥叔菌的博客 4139

RK3588开发板量产前必做:24小时DDR压力测试到底在测什么?(附ArmSoM-W3测试脚本解析)

本文深入解析RK3588开发板量产前的24小时DDR压力测试,揭示其核心价值与技术原理。通过memtester、stressapptest和变频测试的组合使用,全面验证DDR内存稳定性。特别介绍ArmSoM-W3测试脚本的创新设计,包括并行测试架构和异常熔断机制,为开发者提供可靠的量产测试方案。

weixin_30325487的博客 455

PostgreSQL复制(Replication)技术简述

1.Write Ahead Log(WAL) PostgreSQL提供数据持久保证的主要技术是通过其预写日志(Write Ahead Log(WAL))。所有事务数据提交到数据文件前都会写入该位置。一旦WAL文件不再被崩溃恢复需要,PostgreSQL将会对其进行删除或归档。对高可用服务器,我们推荐尽可能保存这些重要你文件。主要有如下几个原因: 1)归档WAL文件能用于时间点恢复(PITR); 2)如果您正用流复制(streaming replication),终端的流能通过应用WAL文件直到副本赶上主库来

数据库生态圈(RDB & NoSQL & Bigdata)——专注于关系库应用与研究(Oracle & Mysql & Postgresql & SQL Server ) 1685

TC3xx芯片中断配置避坑指南:从AUTOSAR Davinci配置到SRN地址计算的完整流程

本文详细解析了英飞凌TC3xx芯片的中断配置流程,从AUTOSAR Davinci工具链到硬件调试的全链路指南。重点介绍了中断路由(IR)模块、服务请求节点(SRN)和中断控制单元(ICU)的配置技巧,帮助开发者避开常见陷阱,优化中断性能。

weixin_30628801的博客 419

Python入门基础教程(非常详细)

Python是一门开源免费、通用型的脚本编程语言,它上手简单,功能强大,坚持「极简主义」。Python类库(模块)极其丰富,这使得Python几乎无所不能,不管是传统的Web开发、PC软件开发、Linux运维,还是当下火热的机器学习、大数据分析、网络爬虫,Python都能胜任。这套Python基础教程不是教科书,不会玩弄概念,而是力求口语化和通俗化,让读者尽快入门。如果有小朋友出于兴趣学习Python,请引导他阅读本教程的前半部分,这是基础,可以降低学习成本;...

Yuki1127918的博客 34万+

PostgreSQL13使用流复制Replication功能搭建主从集群实现读写分离

三台服务器,一主两从。不借助插件或第三方中间件,仅使用PostgreSQL自带的流复制功能。主节点可建库建表、可读写,两个从节点为只读,程序使用时可以通过读写分离减少数据库读写压力。 设置同步复制,为热备份,数据实时同步,对于大多数业务来说,可以认为三个库数据完全相同,当一个库故障时,其他库仍然可提供服务,增加服务可用性。 当主节点故障时,数据无法更新,只能手动将从节点升格为主节点,需要修改服务的数据库连接配置等,服务短暂不可用

闫玉林的博客 5248

AUTOSAR知识点 之 XCP (三):XCP功能描述

记录一下XCP使用时候的功能包含命令时序、错误码表、事件描述以及对规范的记录。XCP的图示如下从上图就可以看出数据流的流向CAN-CANIF-XCP,发送反之。XCP的状态机如下。

梦想技术家 3080

AntDB中max_replication_slots参数使用详解

     开启replication slots,从节点会自动将wal情况发送给primary。当从节点掉线时,主节点会保留wal,防止wal被覆盖。下面将此参数设置前后的现象做对比:测试一:不设置max_replication_slots参数,制造从节点xlog落后的情况;1、同步模式下,不存在从节点落后的问题。异步模式下,才有可能出现。因此,设置在Manager中将从节点为async。2、设置...

mona002的博客 1777

嵌入式STM32F407CET6移植OpenHarmony系统方法

文件末尾添加:export PATH=~/gcc-arm-none-eabi-10-2020-q4-major/bin:$PATH。编译完成文件输出在LiteOs源码目录下out/STM32F407_ATK_Explorer文件夹中。②点击connect to the target,下方会自动显示识别出来的芯片型号以及flash大小。⑤点击program verify并点击start,等待烧写并校验完成,你就能看到程序正在运行了。,在选择刚才我们说的Huawei_LiteOS.hex文件。

嵌入式技术开发 547

Vue3 - 详解播放m3u8视频流+HLS拉流推流完整方案,vue3如何播放m3u8格式文件实时视频播放教程(流媒体播放、直播视频流、实时摄像头监控视频流对接、后端服务器切片分片传输视频流边下边播)

vue3组件播放m3u8格式视频,实现hls流媒体监控摄像头实时播放,vue3播放m3u8视频流格式,实时直播画面视频流播放,摄像头监控画面推流,hls.js,Vue Video.js播放m3u8视频流格式,实现hls流媒体监控摄像头实时播放,vue中使用video.js播放m3u8格式的视频,m3u8格式视频,通过HLS协议播放m3u8格式视频,黑屏不显示怎么办,视频非常卡加载缓慢,拉流报错,推流报错,播放失败,播放监控m3u8视频流格式,苹果ios播放,vue3中使用video标签播放MP4,西瓜视频插

🏆 前端领域优质创作者 5951

PostgreSQL逻辑复制(Logical Replication)原理

Postgresql的逻辑复制和逻辑解码可以用来做实时数据集成,同大数据生态结合实现RDBMS实时数据集成写入数据湖

MusicIsMyAll的博客 2852

【车载以太网】【SOMEIP】Wireshark测试someip

一、 Wireshark SOMEIP plugin 1.1 插件安装 Wireshark插件目录:Help -> About Wireshark -> Folders/Pluginshttps://github.com/jamores/eth-ws-someip 解压后,将所有后缀是lua的文件拷贝到Wireshark安装目录plugins/2.4.10/下。 1.2时间戳调整为UTC显示格式 View -> Time Display Format -> Date and Tim.

专注汽车软件开发、AutoSAR、车载以太网、SOA、EE架构。 9735

数据库修仙炼气篇六——walsender

pg_walsender 交互接口 全局变量 /* global state */ extern PGDLLIMPORT bool am_walsender; // 是否是walsender进程 extern PGDLLIMPORT bool am_cascading_walsender; // 是否是级联walsender extern PGDLLIMPORT bool am_db_walsender; // 是否连接到数据库 extern PGDLLIMPORT bool wake_wal_sender

growdu的网络博客 431

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

数据库修仙炼气篇九——postgresql流复制同异步分析

postgresql流复制同异步详解。

growdu的网络博客 593

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

PostgreSQL pg_recvlogical 与 test_decoding 自定义,支持source table filter, 对接kafka,es等

标签 PostgreSQL , pg_receivewal , pg_recvlogical 背景 pg_recvlogical 是PG提供的一个通过流复制协议,实时接收数据库逻辑变更的命令行客户端。 逻辑变更内容的来源是上游数据库的wal sender进程调用logical decode plugin处理的。 通过给decode plugin传递p...

weixin_33851604的博客 944

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

HackRF与LoRa信号解码:基于Chirp Spread Spectrum的分析

HackRF作为一款开源的软件定义无线电平台,为LoRa信号解码提供了强大的硬件基础。LoRa技术采用独特的Chirp Spread Spectrum(CSS)调制方式,在物联网通信领域具有广泛的应用前景。本文将详细介绍如何使用HackRF进行LoRa信号的分析和解码。 ## LoRa技术基础:Chirp Spread Spectrum调制原理 LoRa技术核心是Chirp Spread Sp

gitblog_00008的博客 724

PostgreSQL数据库从入门到精通系列之六:深入理解逻辑复制槽,创建逻辑复制槽,删除逻辑复制槽

PostgreSQL数据库从入门到精通系列之六:深入理解逻辑复制槽,创建逻辑复制槽,删除逻辑复制槽

zhengzaifeidelushang的博客 3212

postgresql的replication信息

1.通过服务器上的进程查看 ps aux |grep postgres 如出现postgres: wal receiver process说明此节点的数据库处于从服务器状态,无法进行修改。 ps aux |grep “wal sender” ##查看主从状态 select * from pg_stat_repilcation; pg_stat_replication表信息 字段 描述 pid wal_sender进程id usesyid 用户连接到系统的唯一标识符 usename

归来仍少年 1154

PostgreSQL实时数据同步:5分钟掌握pg_replicate终极指南

PostgreSQL作为业界领先的开源关系数据库,其数据复制能力一直是企业级应用的核心需求。在实时数据同步领域,pg_replicate凭借其出色的性能和易用性,成为了Rust数据复制工具中的佼佼者。本文将带您快速了解如何使用这个强大的逻辑流复制工具,实现多数据库同步的完美解决方案。 ## 🚀 什么是pg_replicate? pg_replicate是一个基于Rust语言构建的Postgr

gitblog_00155的博客 830

Postgresql Replication (逻辑复制)

Postgresql Replication 1.前期准备 需要两台虚拟机 安装数据库 版本:11.3 发布端:IP: 10.200.1.70 Port:5411 订阅端:IP: 10.203.5.235 Port:5432 1.1 订阅端基础库创建 导出发布端数据的表结构 发布端执行命令:pg_dump -U adempiere -s kc_test > kc_test_XXXXXXXX.dmp 将 kc_test_XXXXXXXX.dmp 文件上传到订阅端 订阅端开始创建基础

渡人不如渡己的博客 5483

PG复制状态监控

文章目录发布端pg_replication_slotspg_stat_replication订阅端pg_subscription_relpg_stat_subscriptionpg_stat_wal_receiver 发布端 pg_replication_slots 展示当前数据库已创建的逻辑/物理复制槽信息。 postgres=# select * from pg_replication_slots ; -[ RECORD 1 ]-------+---------- slot_name

三思的博客 3295

推荐开源项目:pg_easy_replicate — 简化PostgreSQL逻辑复制的利器

在数据库管理中,数据同步和迁移是常见的任务,尤其是对于大型应用而言,确保业务连续性和数据完整性至关重要。【pg_easy_replicate】是一个强大的命令行工具,它简化了PostgreSQL数据库之间的逻辑复制过程,并支持无缝切换操作。这个开源项目已经在生产环境中得到了验证,可以为你的数据管理和升级提供极大的便利。 ## 项目介绍 `pg_easy_replicate` 是一个基于Ruby...

gitblog_00058的博客 405

PG 10:视图 pg_replication_slots 字段说明

slot_name | plugin | slot_type | datoid | database | temporary | active | active_pid | xmin | catalog_xmin | restart_lsn | confirmed_flush_lsn -----------+----------+-----------+--------+----------+...

高矮 2447

postgresql逻辑复制槽replication_slot

系统表说明:http://postgres.cn/docs/11/view-pg-replication-slots.html 创建复制槽 每个复制槽都有一个名字,名字可以包含小写字母、数字和下划线字符。 master设置几个参数 max_replication_slots = 10 --最大复制槽数,即pg_replication_slots条数不能超过10 hot_standby = on wal_level = replica 或者 logical hot_standby_feedback

仙道Bob的专栏 1万+

PostgreSQL 流复制(Streaming Replication)深度解析

【代码】PostgreSQL 流复制(Streaming Replication)深度解析。

qq_44468536的博客 1278
上一篇: 数据库修仙炼气篇四——WalWriter
下一篇: 数据库修仙炼气篇六——walsender
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值