数据库修仙炼气篇九——postgresql流复制同异步分析

PostgreSQL主备流复制——异步 系列文章目录 第一张:PostgreSQL 12.2源码编译安装(https://blog.youkuaiyun.com/weixin_41840720/article/details/107232182) 第二章:Postgresql主备流复制——异步 文章目录系列文章目录一、什么是流复制二、物理流复制的特点三、同步、异步复制的区别1.同步流复制2.异步流复制四、异步流复制部署1.基本信息2.修改host文件3.修改pg_hba.conf文件4.修改postgresql.conf文件总结 一、什么是流复制 我们 阅读详情

postgresql流复制同异步分析

postgresql流复制主要是四个进程的交互。

  • postgres(backend进程)(主节点)

    接受客户端的请求,并通过共享内存等待walsender唤醒。

  • walsender(主节点)

    向walreceiver发送日志,通过tcp通信,采用流复制协议与walreceiver交互。

  • walreceiver(备节点)

    向walsender请求日志,并回复wal日志接收,写入,数据apply信息,通过tcp通信,采用流复制协议与walsender通信。

  • startup(备节点)

    进行日志回放,将wal日志redo成数据,通过共享内存和信号与walreceiver通信。

参数

流复制同异步由如下两个参数控制:

  • synchronous_commit

    用于指定同异步模式。

  • synchronous_standby_names

    用于指定同步时需要多少备节点确认。

synchronous_commit

配置解析

{"synchronous_commit", PGC_USERSET, WAL_SETTINGS,
            gettext_noop("Sets the current transaction's synchronization level."),
            NULL
        },
        &synchronous_commit,
        SYNCHRONOUS_COMMIT_ON, synchronous_commit_options,
        NULL, assign_synchronous_commit, NULL
static const struct config_enum_entry synchronous_commit_options[] = {
    {"local", SYNCHRONOUS_COMMIT_LOCAL_FLUSH, false},
    {"remote_write", SYNCHRONOUS_COMMIT_REMOTE_WRITE, false},
    {"remote_apply", SYNCHRONOUS_COMMIT_REMOTE_APPLY, false},
    {"on", SYNCHRONOUS_COMMIT_ON, false},
    {"off", SYNCHRONOUS_COMMIT_OFF, false},
    {"true", SYNCHRONOUS_COMMIT_ON, true},
    {"false", SYNCHRONOUS_COMMIT_OFF, true},
    {"yes", SYNCHRONOUS_COMMIT_ON, true},
    {"no", SYNCHRONOUS_COMMIT_OFF, true},
    {"1", SYNCHRONOUS_COMMIT_ON, true},
    {"0", SYNCHRONOUS_COMMIT_OFF, true},
    {NULL, 0, false}
};

配置不同的值代表不同的同步模式。

synchronous_standby_names

配置解析

{
        {"synchronous_standby_names", PGC_SIGHUP, REPLICATION_PRIMARY,
            gettext_noop("Number of synchronous standbys and list of names of potential synchronous ones."),
            NULL,
            GUC_LIST_INPUT
        },
        &SyncRepStandbyNames,
        "",
        check_synchronous_standby_names, assign_synchronous_standby_names, NULL
    },
SyncRepConfig = (SyncRepConfigData *) extra;

在check_synchronous_standby_names中解析后最终将其赋值给了SyncRepConfig。

synchronous_standby_names可以配置为某个具体的备节点名,也可以配置成any 1(*)的形式。

如

synchronous_standby_names = 'standby001'

或者

synchronous_standby_names='ANY 1 (*)'

walsender进程处理同步

walsender收到walreceiver回复的r报文
唤醒满足条件的backend进程
计算备库的回复确认是否满足要求,同时会计算writePtr,flushPtr,applyPtr
获取候选者个数
SYNC_REP_PRIORITY优先级模式计算ptr,最旧的
非优先级模式计算ptr,第n个
ProcessStandbyMessage
ProcessStandbyReplyMessage
SyncRepReleaseWaiters
SyncRepGetSyncRecPtr
SyncRepGetCandidateStandbys
SyncRepGetOldestSyncRecPtr
SyncRepGetNthLatestSyncRecPtr

收到walreceiver的确认报文,walsender需要判断回复的standby个数是否满足配置的要求。SyncRepGetSyncRecPtr中会计算已经回复的standby个数并和配置的值进行比较,若满足则会返回true,否则返回false。

got_recptr = SyncRepGetSyncRecPtr(&writePtr, &flushPtr, &applyPtr, &am_sync);
    if (!got_recptr || !am_sync)	{ // 若确认的standby个数不足或者不是sync模式直接返回
		LWLockRelease(SyncRepLock);
		announce_next_takeover = !am_sync;
		return;
	}

若确认的standby个数不足或者不是sync模式直接返回;

若确认的standby个数满足,且是sync模式,则需要唤醒对应模式的backend进程。

    if (walsndctl->lsn[SYNC_REP_WAIT_WRITE] < writePtr)
	{
		walsndctl->lsn[SYNC_REP_WAIT_WRITE] = writePtr;
		numwrite = SyncRepWakeQueue(false, SYNC_REP_WAIT_WRITE);
	}
	if (walsndctl->lsn[SYNC_REP_WAIT_FLUSH] < flushPtr)
	{
		walsndctl->lsn[SYNC_REP_WAIT_FLUSH] = flushPtr;
		numflush = SyncRepWakeQueue(false, SYNC_REP_WAIT_FLUSH);
	}
	if (walsndctl->lsn[SYNC_REP_WAIT_APPLY] < applyPtr)
	{
		walsndctl->lsn[SYNC_REP_WAIT_APPLY] = applyPtr;
		numapply = SyncRepWakeQueue(false, SYNC_REP_WAIT_APPLY);
	}

此时唤醒对应的后端进程后,后端进程将回复客户端。

postgreSQL热备之流复制环境搭建以及常见问题处理.docx 本文主要是介绍PostgreSQL数据库的热备技术,PostgreSQL数据库提供了类似Oracle的standby数据库的功能。PostgreSQL日志传送的方法有两种,一种是基于文件(base-file)的传送方式,一种是流复制(streaming replication)的方式。 立即下载

相关推荐

RV1126双摄IMX577驱动移植避坑:从RK3588到RV1126的dts配置与内存崩溃解决实录

本文详细记录了在RV1126平台上移植RK3588的IMX577双摄驱动的完整过程,重点解决了dts配置与内存崩溃问题。通过分析硬件架构差异、驱动移植关键点及CMA内存越界问题,提供了两种有效解决方案,并分享了双摄同步优化与网络调试的实战经验,为嵌入式视觉系统开发提供实用参考。

weixin_42641741的博客 405

PostgreSQL流复制中的同步与异步

对于同步复制时,备库宕机导致主库不可用,反而降低可用性的问题,可以配置两个备库,一个与主库同步复制(sync),一个异步复制(async),如果同步复制的备库宕机,异步复制的备库立刻接替同步复制,这样就可避免同步复制反而降低可用性了。上面FIRST、ANY两种配置都可以实现这种策略。要配置同步复制,关键在主库配置两个参数:synchronous_commit 和synchronous_standby_names。这种配置经过测试时可以的。

howard_shooter的博客 1622

PaddleOCR实战:从零开始打造专属OCR模型的完整指南

本文提供了一份从零开始使用PaddleOCR打造专属OCR模型的完整实战指南。内容涵盖环境搭建、数据标注与准备、模型训练与调优,以及最终的模型转换与部署。重点介绍了如何利用PaddleOCR进行模型训练,并整合PPOCRLabel等工具高效准备数据集,帮助开发者快速构建适用于特定场景的高精度OCR识别能力。

rl6adventurer的博客 733

PostgreSQL实战之物理复制和逻辑复制(七)

PostgreSQL支持一主多备流复制,并且可以设置一个或多个同步备节点,PostgreSQL9.6版本时只支持基于优先级的同步备库方式,PostgreSQL10版本的synchronous_standby_names参数新增ANY选项,可以设置任意一个或多个备库为同步备库,这种基于Quorum的同步备库方式是PostgreSQL10版本的一个重要新特性,被称为同步复制优选提交。

Auspicious航的博客 1229

2025年普通人转向人工智能运维(AIOps)学习建议(附最新技术实践与资源)

AIOps不仅是技术的叠加,更是运维流程的重构。建议通过“学习-实践-反馈”循环,逐步从工具使用者成长为解决方案设计者。如需完整资源链接,可访问上述推荐的优快云博客及GitHub仓库。

资深全栈架构师,乐于在 优快云 分享技术见解,与大家携手共进,共攀技术巅峰! 3096

目标检测技术的发展:从R-CNN、YOLO到DETR、DINO

OV-DINO的出现标志着在开放域目标检测领域的重大进步,其在处理未见过的物体类别时的能力得到了显著提升。这项技术对于需要适应未知或变化环境的应用具有重要意义,如自动驾驶、机器人视觉、安防监控等。

DeepAIedu的博客 2633

[原创]postgreSQL9.1.2总控walsender.c源码分析

一、程序涉及到的一些知识 1、主服务器是以连续的归档模式操作的,而备用服务器是以连续的恢复模式从主服务器的WAL文件中读取数据。 2、归档进程pgarch就是负责在重做日志文件切换后将已经写满的重做日志文件复制到归档日志文件中,以防止循环写入重做日志文件时将其覆盖。所以说,只有数据库运行在归档模式时,这个pgarch进程才会被启动。 3、日志传送是异步进行的。WAL记录的传送是在事务提交之后...

编程资料大全 336

一种基于改进YOLOv8并与ORB-SLAM3融合的动态环境密集点云同步定位与建图(SLAM)方法

文章提出了一种基于改进 YOLOv8 与 ORB-SLAM3 融合的动态环境稠密点云 SLAM 方法,通过引入GSConv 卷积模块和VoVGSCSP 特征融合模块优化 YOLOv8 的轻量性,结合实时目标检测与语义分割技术去除动态特征点,显著提升了动态场景下的位姿估计精度。

2401_87345388的博客 1943

PostgreSQL WalSender 与 WalReceiver 进程对比

walsender和是 PostgreSQL 主从复制中关键的进程,它们负责WAL日志的传输和应用。

文牧之的博客 1830

C++,使用Qt设计一个登录窗口

使用Qt设计一个登录界面

heyu0311的博客 2991

YOLO26改进策略【Neck】| CVPR2025 LCA轻量交叉注意力 跨层级双向引导 + 分层降噪增强,提升微小目标特征表达

简单相加、拼接融合无法建立深浅层双向约束关系,浅层微小目标易被深层背景覆盖,深层全局信息难以修正浅层噪声;普通单路自注意力仅单一层内建模依赖,缺少跨层级特征互引导机制,深浅特征信息割裂;标准多头跨注意力计算量大、参数量高,轻量化单模态检测/分割网络部署困难,无法区分前景目标与背景噪声。为此设计单模态轻量化交叉注意力LCA,构建浅层细节、深层语义双分支双向引导结构,轻量完成跨层级特征交互,同步降噪并强化单模态微小目标特征。

Limiiiing的博客 523

【Postgresql源码分析之一】主备同步复制介绍

postgresql主备热备 postgresql支持主机和备机以及级联之间的热备,即通过先进行一次基础备份,让其拥有相同的基础数据,然后通过传输XLOG日志的方式,在备机或者级联备机上REDO模拟主机上的操作,保证他们之间数据的一致性。目前热备传输方式有下面两种; 异步复制(async):主机上产生xlog日志,只需要将该xlog日志发送给备机就返回给客户端结果,不关心备机是否接收到该日志

1366

Python爬虫-汽车之家各车系月销量榜数据

本文是该专栏的第41篇,后面会持续分享python爬虫干货知识。本文以某汽车平台为例,基于python采集该平台“各车系月销量”的榜单数据。具体实现思路和详细逻辑,笔者将在正文结合完整代码进行详细介绍。接下来,跟着笔者直接往下看正文详细内容。(附带完整代码)

Python进阶专栏《爬虫实战进阶》,《Pyppeteer从入门到精通》原创作者 1620

数据库修仙炼气篇七——replication

pg_replication 基本概念 逻辑复制 逻辑复制是将数据重新执行一次insert、update或delete。逻辑复制则允许在数据层面复制,并在安全性上提供更细粒度的控制。 流复制(物理复制) 实现方式是将wal日志中记录的内容按照确切的块地址逐字节的拷贝到备库,因此主备之间数据分布是一致的,这意味着在主备机器上,同一条记录的ctid是相同的。 逻辑解码 逻辑解码是提取数据库表的所有永久修改到一个连贯的、容易理解的格式 (不需要详细的数据库内部状态知识就可以解读)的过程。 复制槽

growdu的网络博客 1484

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

PostgreSQL synchronous_standby_names

synchronous_standby_names 语法 [FIRST] num_sync ( standby_name [, ...] ) ANY num_sync ( standby_name [, ...] ) standby_name [, ...] 从上面的语法可以看出,可能的使用方式如下: synchronous_standby_names ="2 (s1,s2,s3)" synchronous_standby_names ="FIRST 2 (s1,s2,s3)" synchronous_s

来啊 快活啊 5143

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

PostgreSQL数据库复制——walsender后端启动

walsender类似于常规后端,连接和walsender process是一对一的关系,但它主要流程是处理一组特殊的复制模式命令,而不是处理SQL查询(代码在src/backend/postmaster/postmaster.c/ProcessStartupPacket(Port*, bool)函数:当strcmp(valptr, “database”)==0时,设置am_walsender为true,在src/backend/tcop/postgres.c/PostgresMain函数处理case Q时

肥叔菌的博客 2724

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

【Postgresql源码分析之四】同步复制源码分析--支持多个同步备机

前面介绍了,在PG9.6之前的同步复制的代码实现过程。我们知道,在前面判断是否取消等待的时候,只管理一个同步备机(优先级最高),其它的备机均为潜在同步备机,这样会降低可靠性。在PG9.6版本中,对同步复制做了增强,支持多个同步备机。 支持多个同步备机说明 首先看下,releasenotes中关于多个同步备机的说明       Support synchronous replication

1069

PostgreSQL 同步复制原理解析

Postgresql 在主备架构的场景下,支持同步流复制功能。本文将以一主一备架构为例,介绍同步流复制(同步备机)的工作方式以及内核代码的相关原理。

zxwsbg的博客 1228

【Postgresql源码分析之三】同步复制源码分析

前面介绍了,在开启同步复制模式后,进程在主机上提交事物之后,需要等待同步备机的响应(确保备机已经接收到这条xlog日志),主要是在函数SyncRepWaitForLSN中等待同步状态的更新(由SYNC_REP_WAITING变为SYNC_REP_WAIT_COMPLETE)。下面介绍状态更新的过程,即主机如何感知到等待的xlog日志发送到备机。 我们知道,在建立正常的流复制关系之后,备机

875

关于postgres数据库流复制原理详细解说

1.流复制三节点架构能保证数据库高可用,保证数据库备节点异常,不影响主库持续对外提供服务。再配合高可用中间件使用,完全能保证数据库对外提供服务。例如patroni+etcd架构、pgpool+wacthdog架构等2.如果流复制应用参数设置为remote_apply,可以保证主备数据具有强一致特征,主备数据实时保持一致状态;但带来的危害就是主库事务提交时间变的更长,导致前端业务等待时间比较长。3.一般数据库流复制应用参数默认为on级别,不能完全保证主备数据具有强一致特征,主备数据可能会有不一致情况;

weixin_44917075的博客 1898

pgsql同步流复制与异步流复制特性简单对比分析

适用于。

qq_44468536的博客 806

PostgreSQL 流复制

PostgreSQL 流复制(Streaming Replication)是 9.0 提供的一种新的 WAL 传递方法。使用流复制时,每当 Primary 节点 WAL 产生,就会马上传递到 Standby 节点,流复制提供 异步 和 同步 两种模式,同步模式可以保障数据 0 丢失。主机名IP地址角色数据目录MasterStandbyPostgreSQL 版本:PostgreSQL 12.2 操作系统:CentOS Linux release 7.8.2003 (Core)

2349

PostgreSQL_主从同步之异步流复制

我们在生产环境使用PostgreSQL数据库时,通常不会采用单实例的部署模式,大多都会采取多个实例部署,配置一主多备的高可用集群架构,这样才能规避单实例故障带来的服务停机隐患,从而尽可能的保障数据库不间断地提供服务。接下来我们就简单学习下PostgreSQL的流复制方式。

weixin_48380416的博客 1681

PostgreSQL同步/异步流复制介绍及相互转换

同步流复制就是当主库发生变化,比如有一条DML语句产生了WAL日志后,通过后台进程传送到备库,备库必须要应用这个日志,然后向主库返回一个成功应用的信号,主库才可以成功的commit;否则主库会一直等待到备库成功应用后,期间的等待就是主库commit后返回成功的时间段。同步流复制是PostgreSQL9.1后才有的。

loveLAxin的博客 2347

【数据库架构】PostgreSQL的最佳群集高可用性方案

如果您的系统依赖PostgreSQL数据库并且您正在寻找HA的集群解决方案,我们希望提前告知您这是一项复杂的任务,但并非不可能实现。我们将讨论一些解决方案,您可以从中选择对您的容错要求。PostgreSQL本身不支持任何多主群集解决方案,例如MySQL或Oracle。尽管如此,仍有许多商业和社区产品提供此实现,以及其他产品,例如PostgreSQL的复制或负载平衡。首先,让我们回顾一些基本概念:什...

全网:架构师研究会 2366

PostgreSQL实战之物理复制和逻辑复制(八)

实际上PostgreSQL支持备库既可接收主库发送的将WAL,也支持WAL发送给其他备库,这一特性称为级联复制(Cascading Replication),本章介绍级联复制的物理架构和部署。

Auspicious航的博客 1448
上一篇: 数据库修仙炼气篇二——postgresql基本操作与基本对象
下一篇: 数据库修仙元婴篇四——openguass dcf启动详解
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值