PG INTERNAL-进程与内存架构

最新推荐文章于 2024-05-31 16:18:23 发布
最新推荐文章于 2024-05-31 16:18:23 发布
阅读量634 收藏
点赞数
分类专栏： 数据库 文章标签： postgresql
原文链接：http://www.interdb.jp/pg/pgsql02.html
版权
本文深入探讨PostgreSQL的多进程架构，包括Postgres Server Process、Backend Process和Background processes的作用及交互方式，以及其内存架构如何支持高效的数据管理和查询处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PG INTERNAL-进程与内存架构

翻译http://www.interdb.jp/pg/pgsql02.html

1.进程架构

PostgreSQL是运行在单个主机的多进程架构的c/s类型的关系型数据库管理系统.
一组多进程共同管理一个database cluster.这些进程有以下类型:

  • postgres server process:是所有管理database cluster的相关进程的父进程.
  • backend process:处理已连接客户端的所有请求查询和语句.
  • background processes:不同的background processes处理数据库管理的不同方面的任务(比如,VACUUM,CHECKPOINT等).
  • replication associated processes:它们执行流备份任务.
  • background worker process:9.3版本开始支持,它们可以执行任何用户实现的进程,具体可查看官方文档

下面的图描述了pg的进程架构.
在这里插入图片描述

1.1Postgres Server Process

Postgres Server Process是PG所有进程的父进程.在早期的版本中,它被称为postmaster.
通过执行pg_ctl并且附带启动选项,可以启动一个postgres server process.然后它在内存中分配一块共享区域,启动不同的background processes,如果需要也会启动replication processes和background worker processes,然后等待客户端连接请求.只要它接收到一个客户端请求,它就启动一个backend process,然后这个backend process会处理这个已连接的客户端的所有请求.

postgres server process监听一个网络端口,默认是5432.由于在一个主机可以运行多个PostgresSQL server,每个serve必须设置不同的监听端口.

1.2 Backend Process

一个Backend process也被称为postgres.它与客户端通过一个tcp连接交互,当客户端连接断开后结束.

postgres server process监听到了client连接创建了连接的socket,然后postgres server process fork了backend process,backend process有这个socket的副本可以直接使用,而postgres server process也不会关闭socket,所以可以实现backend process直接与client tcp通信,而不是重新建立连接

由于它只允许操作一个数据库,所以在连接之前要显示的指定数据库.
PostgreSQL允许多个客户端同时连接,参数max_connections控制最大客户端连接数量(默认100).

如果许多客户端比如WEB应用经常重复连接与断开连接,会增加建立连接与创建backend process的代价,因为PostgrSQL还没有实现本地连接池.这会对数据库的性能造成不好的影响.为了处理这种情况,可以使用一个pooling中间件,比如pgbouncer,pgpool-II.

1.3 Background processes

下面的表显示了一组background process.与postgres server和backend process不同,每一个的功能都不同,都不能简单的解释.
在这里插入图片描述

下面显示了实际的PostgreSQL server的进程.
在这里插入图片描述

2.内存架构

PostgreSQL的内存架构可以被分为两大块:

  • Local memory area:每个backend process自己分配的内存.
  • Shared memory area:所有PostgreSQL进程共用的内存.

在这里插入图片描述

2.1 Local Memory Area

每个backend process都会分配local memory area用于查询处理.每个area被分为多个sub-area,大小可以使固定或者可变的.下面的显示了一组组要的sub-areas.
在这里插入图片描述

2. Shared Memory Area

一个共享的区域是由PostgreSQL server启动时候创建的.这块区域被分割成几块大小固定的sub-area.下图显示了几个主要的sub-area.
在这里插入图片描述
除了上面所述的,PostgreSQL还会分配下面几个区域:

  • 为了access control机制分配的sub-areas.
  • 不同的background process使用的sub-areas.比如,checkpointer和autovacuum.
  • 事务处理(比如save-point和tow-phase-commit)使用的sub-area.
【0287】Postgres内核在pg_internal.init不存在情况下的relcache cache初始化实现
Postgres 数据库内核开发工程师
06-13 164
在用户未CREATE DATABASE 情况（即initdb创建了Postgres数据库集簇，或有过psql登录数据库动作）下，目录下是还不存在文件的，因此，启动Postgres服务，psql登录数据库时，该Backend进程初始化过程中，再调用函数时，函数调用将返回false。如下所示：本文内容详细讲解再Postgres内核读取init文件不成功情况下，如何使用关键共享目录（critical shared catalogs）去引导缓存的过程。
5.00001 postgresql的辅助线程 - pg_stat架构整理
四库全书的酷
06-19 200
不同类型变量统计的类型和定义,如PgStatShared_Database、PgStatShared_Relation。在服务器启动时将磁盘上的统计信息读入内存，只能由startup进程或在单用户模式下调用。对共享统计项的后端本地标记。只要至少有一个这样的标记存在，共享的统计条目就不会被释放。如果有挂起的统计更新到共享统计，这些将存储在->pending中。为了便于管理，统计数据处理被分割成几个文件。用于特定类型统计的元数据。后端本地统计状态的集合。统计信息项的类型枚举。统计快照条目的哈希表。
The Internals of PostgreSQL——Foreign Data Wrappers
肥叔菌的博客
02-22 416
2003 年，一种访问远程数据的规范，称为外部数据的 SQL 管理 (SQL/MED)，被添加到 SQL 标准中。 从 9.1 版开始，PostgreSQL 一直在开发此功能以实现 SQL/MED 的一部分。In 2003, a specification to access remote data, called SQL Management of External Data (SQL/MED), was added to the SQL standard. This feature has been d
PG INTERNAL-Database Cluster, Databases, and Tables
feeling890712的博客
06-08 528
PG INTERNAL-Database Cluster, Databases, and Tables1.1 database cluster的逻辑结构1.2 database cluster的物理结构1.2.1 database cluster的布局1.2.2 database的布局1.2.3 table和index关联的文件布局1.2.4 Tablespace1.3 Heap table file的内部布局1.4 读写tuple的方法1.4.1 写heap tuple1.4.2 读Heap tuple
postgresql_internals-14 学习笔记（一）
Hehuyi_In的博客
12-05 2290
梳理一下之前理解不太清楚的知识点，重点内容可能会再拆出来单独研究。原书链接：Index of /命名空间，在逻辑上相当于DB中的一个目录。pg自带以下schema： search_path变量用于设置搜索路径，pg_catalog和pg_temp 这两个schema总是包含在其中（因此所有库中都能查到系统表和临时表），但默认不显示。未完待续...
android internal 架构图
weixin_30394333的博客
12-31 75
来源makelinux (?) 具体作者未知，若有某位网友发现了，请告知！ 3ks based on api level 9 转载于:https://www.cnblogs.com/titer1/archive/2011/12/31/2309004.html
postgresql_internals-14 学习笔记（七）—— parallel 并行
Hehuyi_In的博客
06-27 5887
不完全来自这本书，把查到的和之前的文章重新汇总整理了一把。参考：PostgreSQL: Feature Matrix例外命令：以下语句可以在查询部分用到并行 CREATE TABLE ... AS,SELECT INTO,CREATE MATERIALIZED VIEW,REFRESH MATERIALIZED VIEW 计划中可并行部分越多，潜在的性能增益就越大。然而，某些操作仅能由leader进程严格顺序执行，即使它们本身不会干扰并行化。换句话说，它们不能出现在Gather节点下面的计
PG体系结构
三思的博客
10-14 2371
文章目录一、进程结构1.1 主进程1.2 辅助子进程1.3 服务进程二、逻辑架构三、内存结构3.1 共享内存3.2 本地内存四、物理结构4.1 安装目录4.2 参数文件4.3 日志文件4.4 其他一些目录文件五、服务管理5.1 服务启停3.2 单用户模式 一、进程结构 三个进程：主进程、服务进程、辅助子进程 PG数据库启动时会先启动一个postmaster的主进程，然后fork出一些辅助子进程，不同的辅助子进程负责不同的工作。当客户端请求访问时，客户端先与postmaster主进程创建连接并进行身份验证，身
【PG-2】PostgreSQL存储管理器
https://github.com/ZhaoyungZhang
04-27 1033
代表的是存储在表的堆（heap）中的一个数据行（或元组）。堆不是数据结构中的“堆”，而是动态分配的内存区域，用于存储表数据。FSM存储的并不是真是的剩余空间，而是近似值，用一个字节表示剩余空间的大小，也就是说剩余空间分成了256个档次，每8K/256=32为一档，那么，一个字节就足以表示一个block的剩余空间。元素是一个指向数据页面中一条记录的指针，因为page里面的record数量不一定，所以使用这种FLEXIBLE_ARRAY_MEMBER，下面还定义了管理这个结构体的指针。字节空闲空间的槽位。
4.00001Postgresql的内存管理-从哪里开始了解内存管理之架构理解
四库全书的酷
05-31 276
AllocSetContextCreate函数如下介绍，主要作用为创建一个MemoryContext对象,#else#endif判断是否合理：检查参数是否与任意一个可用的自由列表匹配。我们不需要要求maxBlockSize的匹配。else如果存在合适的context_freelists，只需循环使用该上下文。-否则就重新申请。
Internals Of PostgreSQL Wal.pdf
07-03
postgresql大神 代码级讲述WAll文件的构成、产生、使用 是学习postgresql不可缺少的环节 WAL就是预先写入日志，用于数据保全的 跟Oracle的REDO文件是一种意思
1. Linux-riscv内存管理1-11问
Do one thing at a time, and do well.
07-11 591
在匿名页面中：page->index表示在vma中的第几个物理页面(单位是PAGE_SIZE)。可能将vma->vm_pgoff 想成0的话，更好理解。
[2021-06-15]The Internals of PostgreSQL (一)
m15217321304的博客
06-15 570
Chapter 1 Database Cluster, Databases, and Tables This chapter and the next chapter summarize the basic knowledge of PostgreSQL to help to read the subsequent chapters. In this chapter, following topics are described: The logical structure of a database
postgresql_internals-14 学习笔记（二）常规vacuum
Hehuyi_In的博客
12-11 3271
page pruning执行速度很快，但它们的作用范围毕竟只有单页、且不包含索引，因此，我们还需要更有效的清理机制。常规vacuum是最常用的一种，作用范围可以是整张表，清理过期元组及索引项，并且不阻塞读和写。为提高效率，vacuum会结合前面提到的.vm文件，跳过不需清理的页。清理之后，还会更新前面提到的fsm（空闲空间映射）文件。另外还可以用vacuum analyze顺便收集统计信息。
3.pgsql数据类型学习
Lei_Da_Gou的博客
02-11 2056
1.概述 弄好pgsql的环境后，我大概玩了一下，并且数了下里面的数据类型，发现至少有一百多种，WTF？ PostgreSQL 有着丰富的内置数据类型可用。用户还可以使用CREATE TYPE命令增加新的数据类型（摘抄官网）。 PostgreSQL文档地址 https://www.yiibai.com/manual/postgresql/index.html 查看官方文档后发现很...
PostgreSQL-Vacuum
u014440880的博客
07-10 811
Postgresql表中隐藏字段 -oid: 行的对象标识符，创建表的时候使用了with oid，或者是设置了default_with_oids 配置参数时出现； -tableoid：包含本行的表的 OID。 -xmin：插入该行版本的事务的标识（事务 ID）； -xmax：删除事务的标识（事务ID），如果不是被删除的行版本，那么是零； -cmin：插入事务内部的命令标识，从0开始； -cmax：删除...
postgres日志配置方式
m15217321304的博客
09-28 2777
     postgre安装完之后，默认情况下会包含pg_xlog（包含WAL文件的子目录）、pg_clog（事务提交日志，包含事务提交状态数据的子目录),并没有pg_log目录，需要手动创建该目录。 $PGDATA/postgresql.conf中关于log的配置参数如下 #-----------------------------------------------------------...
postgresql_internals-14 学习笔记（六）—— 统计信息
Hehuyi_In的博客
06-24 7330
不完全来自这本书，把查到的和之前的文章重新汇总整理了一把。
【PostgreSQL】从零开始:（六）PostgreSQL-数据库目录文件结构及作用说明
圈小圈DBA的博客
12-16 1385
总体上，FSM采用3-4级多叉树的结构组织FSM page，单个FSM page内部采用完全二叉树的结构进行管理，高级别FSM page的叶子节点关联低级别的FSM page，低级别FSM Page的叶子节点存储着heap、index page的可用空间数目，而非叶子结点依次存储叶子节点的最大可用空间数目，每个节点占用1个字节。PG 10及之后的高版本改目录名为pg_xact，10之前目录名称是pg_clog。1.首先，扫描WAL段文件所写入的目录，并发现最新完成的段文件，作为下一个段文件的开始的起始点。
postgresql的会话服务进程
最新发布
03-25
<think>好的，用户想了解PostgreSQL的会话服务进程的工作原理和技术细节。首先，我需要回忆一下PostgreSQL的架构，特别是关于客户端连接处理的部分。记得PostgreSQL使用的是多进程模型，主进程是postmaster，负责监听连接请求。当有客户端连接时，postmaster会fork一个backend进程来处理这个会话。这个backend进程负责执行查询、事务管理等。 接下来，需要详细说明连接建立的步骤。用户可能想知道从客户端发起请求到backend进程开始工作的整个过程。比如，postmaster如何监听端口，接收到连接后如何验证，然后fork进程。这里可能需要提到pg_hba.conf文件的作用，用于控制客户端的认证方式，如密码验证、SSL等，引用中的信息[^3]提到了密码验证方法，比如SCRAM，可以在这里引用。 然后，关于backend进程的初始化，特别是relcache和syscache的初始化。引用[^2]提到了在InitPostgres函数中的步骤，包括读取pg_filenode.map和pg_internal.init文件。这部分需要解释这些文件的作用，以及为什么需要在进程启动时加载这些缓存，可能会影响性能，尤其是当系统表较多时。 另外，需要讨论进程间通信和隔离。PostgreSQL的每个backend进程都是独立的，这提供了良好的隔离性，但也意味着资源消耗较高。可能需要对比多线程模型，解释为什么PostgreSQL选择多进程，比如稳定性考虑，一个进程崩溃不会影响其他进程。 关于技术细节，可以提到内存管理，每个backend有自己的内存上下文，事务管理，MVCC的实现，以及查询处理的流程，比如解析、优化、执行。同时，进程结束后的资源释放也很重要，比如临时文件、内存的清理。 用户可能还会关心常见问题，比如连接数过多导致资源耗尽，如何优化。这时需要建议调整max_connections参数，使用连接池如pgbouncer。另外，性能瓶颈可能出现在relcache初始化，可以提到pg_prewarm扩展或者调整配置参数。 需要确保回答结构清晰，分点列出连接建立、进程初始化、工作阶段、终止过程，以及相关技术问题。同时，生成的问题要覆盖用户可能进一步询问的方向，比如认证机制、缓存优化、多进程模型优缺点、性能优化工具等。 最后，检查引用是否正确应用，比如引用[^1]提到只读参数和配置，可能在讨论配置参数时提及；引用详细说明了backend进程初始化的步骤和涉及的文件；引用关于认证方法，特别是SCRAM的安全性。确保这些引用自然地融入回答中，帮助增强权威性。</think>### PostgreSQL会话服务进程工作原理及技术细节 #### 一、连接建立与进程创建 1. **Postmaster监听** PostgreSQL主进程（`postmaster`）在启动后监听默认端口（如5432），等待客户端连接请求。其职责包括管理共享内存、协调子进程生命周期[^1]。 2. **客户端连接触发Fork** 当客户端发起连接时，`postmaster`会通过`fork()`系统调用创建子进程（即**backend进程**）。该进程独立服务于当前会话的所有操作，包括SQL解析、执行和结果返回[^2]。 3. **认证与初始化** - 认证阶段依据`pg_hba.conf`配置（如密码认证、SSL证书等），例如SCRAM-SHA-256加密认证[^3]。 - 进程初始化包括： - 加载系统表缓存（`relcache`和`syscache`） - 读取`pg_filenode.map`（系统表文件映射）和`pg_internal.init`（预加载缓存） - 建立私有内存上下文（如`TopMemoryContext`） #### 二、会话服务进程（Backend）工作阶段 1. **查询处理流程** ```text 客户端请求 → 语法解析 → 查询重写 → 优化器 → 执行器 → 结果返回 ``` 2. **关键模块** - **内存管理**：采用层次化内存上下文（MemoryContext），防止内存泄漏 - **事务控制**：通过事务ID（XID）和MVCC实现隔离性 - **锁管理**：行级锁、表级锁与死锁检测 3. **隔离性设计** 每个backend进程拥有独立的内存空间和事务状态，确保会话间互不影响。例如： - 临时表仅在当前会话可见 - 未提交事务的修改对其他会话不可见 #### 三、会话终止与资源释放 1. **正常终止** 客户端断开连接后，backend进程主动释放内存、关闭文件描述符，并向`postmaster`发送状态信息。 2. **异常终止** - `postmaster`监控子进程状态，若检测到崩溃会自动重启 - 通过`SIGTERM`或`SIGKILL`强制终止异常进程 #### 四、相关技术问题与解决方案 1. **连接数限制** - 参数`max_connections`控制最大并发连接数，超限会拒绝新连接[^1] - **解决方案**：使用连接池（如pgbouncer）复用连接 2. **系统表缓存加载性能** - 初始化时读取`pg_internal.init`可能成为瓶颈 - **优化方法**：通过`pg_prewarm`扩展预热缓存 3. **认证安全问题** - 明文密码风险（如`password`认证方式） - **建议**：强制使用SCRAM-SHA-256或证书认证 #### 五、核心代码逻辑（简化） ```c // postmaster主循环 while (true) { int conn_fd = accept(); // 接收新连接 pid_t pid = fork(); if (pid == 0) { // 子进程 close_shared_resources(); // 关闭无关资源 ClientAuth(conn_fd); // 执行认证 PostgresMain(); // 进入查询处理循环 exit(0); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值