【0347】Postgres内核 startup XLOG 之 核实 pg_wal 、 pg_wal/archive_status （1）

已于 2024-12-03 15:32:32 修改
阅读量383 收藏 1
点赞数 3
分类专栏： # ▲ 初阶篇 文章标签： pg_wla archive_status
于 2024-11-28 14:13:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lixiaogang_theanswer/article/details/144109573
版权
▲ 初阶篇 专栏收录该内容
343 篇文章 ¥119.90 ¥299.90
订阅专栏

文章目录

1. 核实 pg_wal、pg_wal/archive_status

postmaster 守护进程在真正进入 ServerLoop() 前，会调用 StartChildProcess() 函数启动 postmaster 辅助进程如：bgwriter、walwriter、walreceiver、bootstrapper 和 checkpointer 等。 这里首先初始化的第一个辅助进程是 StartupProcess。 该进程的主入口是 StartupProcessMain() 函数。 在该函数内部执行最重要、最为复杂的一个功能是： StartupXLOG()。

从本文开始将通过一系列的文章来讲解 Postgres内核 startup XLOG 的实现。

1.1 核实 pg_wal

Postgres内核中完成 pg_wal、pg_wal/archive_status 的核实是由函数 ValidateXLOGDirectoryStructure() 完成。

void StartupXLOG(void
了解本专栏 订阅专栏 解锁全文
【0351】Postgres内核 Open WAL segment（包含 WAL 位置 ‘RecPtr’）（2 - 4）
Postgres 数据库内核开发工程师
11-29 267
如果在从流中读取 WAL 时关闭 standby mode ，我们将切换至 XLOG_FROM_ARCHIVE 并重置 lastSourceFailed，以强制从归档或 pg_wal 获取文件（例如，在恢复结束时所需的时间线历史文件）。在经过前面的若干个函数调用、逻辑处理后， 最终来到了函数 WaitForWALToBecomeAvailable() ，该函数的主要功能是 “打开包含 WAL 位置“RecPtr”的 WAL 段。在此情况下，“tliRecPtr”是我们感兴趣的 WAL 记录的位置。
【0356】Postgres内核 XLOG读取之 打开一个 logfile segment （ 3 - 1 ）
最新发布
Postgres 数据库内核开发工程师
12-05 366
本文是作为的下半篇内容。主要上一篇构建的 List 表中循环遍历解析出 TimeLineHistoryEntry 变量。然后根据 tli、begin 成员作进一步的分析处理。主要内容如下：（1） List 表解析 TimeLineHistoryEntry 实体（2） 根据List解析的TimeLineHistoryEntry 中 成员 tli、begin 作进一步的分析处理。（3） 打开 logfile segment ，获取文件描述符 fd。
PostgreSQL数据库头胎——后台一等公民进程StartupDataBase StartupXLOG函数恢复模式和目标
肥叔菌的博客
03-16 977
StartupXLOG函数在PostgreSQL中有两处调用： 后台一等公民进程StartupDataBase子进程主要的活路 postinit.c中的InitPostgres函数中调用，其调用处如下图所示。这种情况说明目前postgres是一个独立的后端（standalone backend）。 无论哪种方式，启动 XLOG 机器，并注册让它在退出时关闭。 我们还没有辅助进程资源所有者，但 StartupXLOG 和 ShutdownXLOG 将需要一个。 因此，创建所述资源所有者（并注册回调以在 Sh
PostgreSQL启动过程中的那些事十六：启动进程二
数据库天地
06-24 412
这节主要讨论启动进程到了StartupXLOG。根据情况，如果需要就排除系统故障引起的数据库不一致状态，做相应的REDO或UNDO，然后创建一个检查点，把所有共享内存磁盘缓冲和提交数据缓冲写并文件同步到磁盘、把检查点插入xlog文件、更新控制文件，使数据库达到一种状态，设置共享内存中XLogCtl、ShmemVariableCache等对象信息；如果不需要，就根据控制文件从xlog文件读取最后的...
postgres 源码解析31 StartupXLOG故障恢复--1
Serendipity_Shy
10-05 864
postgres 源码解析
Postgresql源码（39）备库startup启动和redo流程分析
InternalsOf
03-18 1654
总结 总结 进入备机流程和主库启动流程类似，区别是主库做完xlog归档模式恢复之后就把startup退了，正常启动，而备机不会退startup，持续等待、读取日志。 PG辅助进程都是从AuxiliaryProcessMain调进去的，区别是给AuxiliaryProcessMain不同的-x参数，例如-x2就是startup。 PG的备库、redo函数入口都是StartupXLOG函数 StartupXLOG函数主要分成几步： 解析control文件 解析recovery.conf 找到上一个chk位点
PostgreSQL数据库头胎——后台一等公民进程StartupDataBase StartupXLOG函数初始化
肥叔菌的博客
03-19 744
LastRec = RecPtr = checkPointLoc; /* initialize shared memory variables from the checkpoint record */ ShmemVariableCache->nextFullXid = checkPoint.nextFullXid; ShmemVariableCache->nextOid = checkPoint.nextOid; ShmemVariableCache->oidCount = 0;
【0337】Postgres内核之 walsender shared memory 的分配&初始化
Postgres 数据库内核开发工程师
10-08 204
postmaster 守护进程初始化时候，会通过函数“分配并初始化与walsender相关的共享内存”。
PostgreSQL源码分析——WAL日志（一）
内核思考
06-19 1410
WAL日志对数据库故障恢复，物理备份，事务处理等至关重要，这里我们分析一下WAL日志的相关内容。如果没有WAL日志文件，那么数据库需要在每次更新页面后，刷盘持久化才能提交，频繁的进行刷盘，并且是随机写，而且是整页的写，代价很大。对此，设计了WAL，每次只将对数据页的修改抽象成WAL日志记录，顺序写入WAL日志文件中，这就将随机写变为了顺序写入，并且文件的大小也有所减少，因为绝大部分情况不用整页写入了，减少了刷盘的代价。
19-pg内核之日志管理器（七）故障恢复
mirai_D_zoro的博客
09-25 907
数据库在发生故障时，内存中的脏数据库可能还没有刷入磁盘，所以有部分数据是丢失的，此时直接启动数据库可能就会因为数据的不一致而导致数据库启动失败。但是，由于WAL日志都已经写入磁盘，因此就需要在启动时借助WAL日志恢复数据使数据库处于一致状态。数据库在重启时会调用startupXog函数进行故障恢复。
PG启动流程StartupXlog函数回放日志前处理
07-22 738
启动恢复函数是StartupXLOG，该函数从pg_control文件中读取checkpoint记录，然后从checkpoint记录的redo点开始进行恢复。本章节先列个框架，后续详细解析。 ...
【MogDB/openGauss误删未归档的xlog日志如何解决】
小怪兽的博客
11-07 928
在使用MogDB/openGauss数据库的过程中，有时候大量业务，或者导数据会导致pg_xlog下的日志数量持续增长，此时如果xlog的产生频率太快，而来不及自动清理，极有可能造成pg_xlog目录的打满。如果对数据库的xlog不太了解的时候，可能造成误删未归档的xlog日志，或者更严重地，把对应操作还未写入数据文件的xlog也删除了。
PostgreSQL 为什么Archive 缓慢或不归档,问题的原因在哪里
sql server的专栏
11-25 1307
POSTGRESQL 中是可以对日志进行ARCHIVE 的,但经常会有一个问题就是ARCHIVE 的速度好像经常没有产生WAL 日志的速度快,有的时候很长一段时间WALLOG 都没有被...
如何用好PostgreSQL的备份与恢复？
yunqishequ1的博客
10-24 396
点击有惊喜 如何用好PostgreSQL的备份与恢复？ 作者 赵成 日期 2017-10-22 标签 PostgreSQL , 数据库高可用 ， 备份与恢复 高可用性是数据库的关键指标，简单说就是要做到故障时间短，数据不丢失，能够回退到指定位置（时间/事务）。实现高可用的基础是数据库的备份与恢复技术。 PostgreSQL备
PG数据库内核分析学习笔记_XLOG日志恢复策略
liuhhaiffeng的专栏
02-17 1413
PG数据库内核分析学习笔记_XLOG日志恢复策略 在PostgreSQL中，系统在崩溃后重新启动时会调用StartupXlog入口函数. // xlog.c /* * This must be called ONCE during postmaster or standalone-backend startup */ void StartupXLOG(void) { XLogCtlInser...
PostgreSQL启动过程中的那些事十六：启动进程三：CheckPointGuts刷出共享内存里所有数据 ...
mydownloador的博客
07-12 210
         话说启动进程调用 StartupXLOG 启动 xlog ，根据情况，如果需要就排除系统故障引起的数据库不一致状态，做相应的 REDO 或 UNDO ，然后创建一个检查点，把所有共享内存磁盘缓冲和提交数据缓冲写并文件同步到磁盘、把检查点插入 xlog 文件、更新控制文件，使数据库达到一种状态 。 这节接着讨论启动进程在创建检查点时调用的 ...
XLOG段文件跳号现象分析
帅的数说
10-03 748
一、原理 当执行promote时，我们经常看到的结果是：生成一个新XLOG文件，名称为：时间线加1，段文件名为之前的段文件号。那么做这个动作的时机是什么时候呢？是否只有这一种现象，会不会有其他现象？先透露下，当执行promote动作前，最后一个XLOG日志是SWITCH时，段文件号会加1。下面我们对其流程做详细分析，并通过gdb理解其原理。 做这个动作的函数是exitArchiveRe...
【0111】初始化XLogReader
Postgres 数据库内核开发工程师
08-03 458
本文作为XLOG模块的内容，主要分享PostgreSQL数据库在函数中如何去分配并初始化一个新的XLogReader。XLogReader的数据类型是，该结构体内部的成员主要包含了读取和关闭XLOG文件的回调函数，以及读取到XLOG段文件内容的内存缓冲区。. . . . . . //省略 /* Set up XLOG reader facility */ MemSet(& private , 0 , sizeof(XLogPageReadPrivate));if(!...............
postgresql中pg_log、pg_clog和pg_xlog
热门推荐
Silence Ray的博客
09-26 1万+
pg_log 这个日志一般是记录服务器与DB的状态，比如各种Error信息，定位慢查询SQL，数据库的启动关闭信息，发生checkpoint过于频繁等的告警信息，诸如此类。linux自带的路径一般在/var/log/postgres下面。该日志有.csv格式和.log。个人建议用前一种，因为一般会按大小和时间自动切割，毕竟查看一个巨大的日志文件比查看不同时间段的多个日志要难得多。另外这种日志是可
实现Postgres集群高可用性的pg_auto_failover扩展
这一过程通常需要监控和管理工具来实现，而pg_auto_failover 正是提供此类功能的工具之一。 3. Postgres集群的监控和管理 在pg_auto_failover中，通过设置一个独立的监视节点来监控集群内其他节点的健康状况。监视...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

内核之道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值