postgresql的shared memory

最新推荐文章于 2025-02-08 14:15:00 发布
原创 最新推荐文章于 2025-02-08 14:15:00 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#postgresql #数据结构 #struct #table #each #buffer

本文详细介绍了PostgreSQL数据库中共享内存的使用方式及其内部结构。包括共享内存中的数据结构如hash表、缓冲池、锁表等，以及各种关键组件如PGPROC、XLOG、CLOG等的作用和工作原理。

postgresql是多进程的，这个 shared memory 就是多个进程中进行通信用的，是用共享内存实现的

在 storage/ipc/ipci.c 中的 void
CreateSharedMemoryAndSemaphores(bool makePrivate, int port) 函数中

主要包括

shmem index table 类型是 hash table

在shared memory 里面存了多个数据结构，通过名字查找该数据结构是不是已经存在，方便快速查找用的，下面的项，都在这个 hast table 中有一项

buffer pool 初始化是 8K * 4096

lock tables 类型是 hash table

PGPROC : Each backend has a PGPROC struct in shared memory

XLOG

CLOG

LWLocks

 

 

 

 

SUBTRANS

TwoPhase

MultiXact

LWLocks

 

 

SharedProcArray : Each backend has a PGPROC struct in shared memory

BackendStatus: Each live backend maintains a PgBackendStatus struct in shared memory
showing its current activity

Shared cache invalidation memory segment

PMSignalData

bgwriter-related shared memory

autovacuum-related shared memory

BTreeShmemSize

SyncScanShmemSize

【0419】Postgres内核 buffer pool 所需共享内存（shared memory）大小
Postgres 数据库内核开发工程师
08-25 205
Postgres内核 启动服务后， 在 Postmaster 的主函数 PostmasterMain() 中，会通过 InitializeShmemGUCs() 函数调用完成 Postgres 服务所需共享内存总和的计算与初始化。其中缓冲池（buffer pool）的共享内存大小计算是由函数 BufferShmemSize() 完成，该函数实现于 buf_init.c。其中包括：数据页（data pages）、缓冲区描述符（buffer descriptors）、哈希表（hash tables）等。
【0144】postmaster创建System V Shared Memory（共享内存）的背后机制（1）
Postgres 数据库内核开发工程师
11-22 689
pg_shmem.c/pg_shmem.h是“用于共享内存支持的独立于平台的API”。特别是，内存块不是匿名的，而是具有ID的，我们必须能够判断是否有任何剩余的进程连接(attach)到具有指定ID的块。至于枚举类型：HugePagesType，它同样是来着postgresql.conf配置文件中的参数选项:huge_pages的值（PGShmemType同理）。但是，在EXEC_BACKEND的情况下，我们必须始终禁用此逻辑，并返回到使用System V共享内存分配整个段的旧方法，因为在。
PostgreSQL数据库共享内存——参数shared_memory_type和huge page支持
肥叔菌的博客
07-09 2180
从POSTGRESQL V12 后添加了一个关于内存的参数 shared_memory_type 这个参数在之前的版本是没有的并且这个参数的值为 mmap MMAP 对于我们的POSTGRESQL的shared buffer 的内存使用有什么帮助，首先我们就需要了解MMAP到底是什么。 MMAP 是一种内存的映射文件的方法，我们都知道，我们的数据文件是要映射到内存中进行数据处理的，而数据在处理完毕就是脏页是需要在会写到磁盘上对应的文件块中的。 那么使用这样的方式的好处是什么，mmap对于文件和内存之间的
postgresql.conf shared_memory_type
baidu_24377669的博客
06-23 178
PostgreSQL的内存管理机制十一：初始化共享内存shared memory及其哈希表索引
数据库天地
01-04 368
pg的内存处理AllocSet/MemoryContext外，另一个主要部分就是共享内存shared memory。这一节讨论共享内存（简写shmem）的初始化及其哈希表索引"ShmemIndex"的建立，这是共享内存/shmem管理的基础。 在reset_shared()这个函数里，计算数据缓冲、xlog、clog、共享进程、子事务、并发控制、轻量级锁、backend进程等需要的共享内存，...
PostgreSQL数据库共享内存——概览
肥叔菌的博客
07-11 3881
何为共享内存 我们知道，PostgreSQL是多进程模型，进程间通信(IPC)的方式有很多种，比如管道、消息队列、信号量、Socket和共享内存等。 共享内存的机制，就是拿出一块虚拟地址空间来，映射到相同的物理内存中。这样这个进程写入的东西，另外一个进程马上就能看到了，都不需要拷贝来拷贝去，传来传去，大大提高了进程间通信的速度。所以共享内存可以说是最有效的进程间通信方式，也是最快的IPC形式。假设有两个不同进程A、B，那么会有同一块物理内存被映射到进程A、B各自的进程地址空间。进程A可以即时看到进程B对共享
PostgreSQL 内存架构
zfj321的博客
02-08 695
用于排序操作（如ORDER BY, DISTINCT）和表连接（如merge-join, hash-join）。可用于扩展模块开发，如逻辑复制和pg_prewarm模块。：用于某些维护操作（如VACUUM, REINDEX）。：用于存放WAL数据（事务日志）在写入持久存储前的缓冲。：存储从持久存储加载的表和索引页面，供直接操作。（CLOG）：记录所有事务的状态，用于并发控制。：由PostgreSQL服务器的所有进程共享。内存按需分配和释放，用于进程间通信。（如检查点进程、自动清理进程）。
PostgreSQL共享内存创建相关分析
qq_43687755的博客
03-30 2015
一.、问题背景 最近一个生产库内存告警，告警单个进程内存使用超过25%，发现是一个远程容灾postgres库。告警抓到的进程是wal receiver进程，使用了近85GB内存。top查看后，发现是SHR使用了85GB，核验配置后发现，确实是数据库的共享内存配置了85GB。使用pmap打印内存分布发现85GB占用几乎都在/dev/zero中，那么/dev/zero和共享内存之间有什么关系呢？ 二、...
Postgresql启动失败之 could not map anonymous shared memory: Cannot allocate memory
pp_lan的博客
03-11 3152
现象 启动报错 waiting for server to start....2022-03-11 16:52:05.485 CST [56148] LOG: starting PostgreSQL 12.0 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-4), 64-bit 2022-03-11 16:52:05.485 CST [56148] LOG: listening on IPv4
postgresql数据库错误-FATAL: could not map anonymous shared memory: Cannot allocate memory
junior77的专栏
03-24 2867
由于项目压测需要，对虚拟机的硬件配置信息由(CPU:24C MEM:32G)改为（CPU:8C MEM:16G），然后重启虚拟机后，postgresql数据库启动失败，具体报错信息如下： FATAL: could not map anonymous shared memory: Cannot allocate memory HINT: This error usually means that PostgreSQL's request for a shared memory segment exce..
PostgreSQL OUT OF MEMORY 你拎得清？
sql server的专栏
11-05 3778
当看到上面的这幅图，我想你的心情一定是不怎么美好，当然如果你设置了 SWAP 倒是很难看到这幅图，但估计也不会好受多少，投诉你数据库系统缓慢的唾沫或许可以给你建一个游泳池了。遇到这样的问...
PostgreSQL 配置内存参数
weixin_34378969的博客
11-05 988
对于任何数据库软件，内存配置项都是很重要的配置项。在 PostgreSQL 主要有以下几个内存配置参数。 shared_buffers: integer 类型，设置数据库服务器将使用的共享内存缓冲区数量，此缓冲区为缓冲数据块所用。此缓冲区是放在共享内存中的。每个缓冲区大小的典型值是 8K 字节，默认值通常是 4000，对于 8KB 的数据块则共享内存缓冲区大小为 400*8KB=32MB。这个数...
systemd deletes shared memory segment in postgresql
weixin_34128534的博客
07-11 216
最近在server上部署PostgreSQL9.5(源码安装)， 总是报because another server process exited abnormally and possibly corrupted shared memory， google 发现竟然是systemd问题。 在RHEL7.2中，systemd-logind...
postgres报错无法映射共享内存，could not map anonymous shared memory: Cannot allocate memory，无法启动服务
gf123412的博客
01-29 2565
同原因的报错2：postgresql 数据库启动报错FATAL: could not map anonymous shared memory: Cannot allocate memory。重启pg（重新读取配置文件），一切正常。原文链接：https://blog.youkuaiyun.com/qq_46001933/article/details/129686200。报错原因：内存不够用于分配shared memory大小，即shared memory设置超出了所能分配到的内存大小。2、重启pg服务后报错消失。
PostgreSQL的内存结构
文牧之的博客
06-05 2037
共享内存（Shared Memory）本地内存（Local Memory）会话内存（Session Memory）
2017-04-21 DBA日记，硬解析导致shared pool不足的判定
IT匠人的专栏
04-24 1885
背景： 2017-04-21 14：00 收到用户反馈数据库db1连接不上，报错信息是“ORA-04031: unable to allocate 4120 bytes of shared memory ("shared pool",...)” 问题： 是什么原因导致shared pool内存不足呢？ 分析： 1. shared pool内存不足可能由如下
PostgreSQL 聚合函数共享申请的内存空间
davidzwb的博客
05-06 1859
在编写聚合函数时，对每一行都会重复调用指定同一函数，如果要处理的数据是累加的，那么如果不在每次调用之间共享内存空间，而是不停的申请释放新的内存，那么速度会变得很慢，所以在这时共享内存是十分有用的： 我们只要在 fn_mcxt 这个 MemoryContext 下申请内存，就可以让它保持在整个聚合的过程中，申请到的内存块指针，可以存放到 fn_extra 中，也可以作为返回值和入参传递在每次调用间，最后使用 FINALFUNC 制定的函数进行最终处理。
PostgreSQL中如何配置Huge page的数量
魂醉的一亩二分地
07-28 2796
在了解如在PG中如何配置大页之前，我们先要对大页进行一定的了解，为什么要配置大页，配置大页的好处有哪些。我们日常的操作系统中，程序不直接使用内存，而是使用虚拟内存地址来处理内存分配，避免计算的复杂性和物理地址映射到应用程序内存空间的复杂性。虚拟地址模型在应用程序读取或写入内存时立即将虚拟地址转换为相应的物理内存地址。这种映射结构存储在page tables中，这是一种分层组织的查找表。
could not resize shared memory segment “/PostgreSQL.xx“ to xx bytes: No space left on device
qq_16613311的博客
05-30 4582
修改ShmSize":268435456参数的大小256M。1、找到要修改容器的 ID，及本地存储位置。2、打开hostconfig.json文件。
### Cause: org.postgresql.util.PSQLException: ERROR: could not resize shared memory segment "/PostgreSQL.972095688" to 212896 bytes: No space left on device
最新发布
10-14
当PostgreSQL执行SQL查询时出现`ERROR: could not resize shared memory segment 212896 bytes: No space left on device`错误，可尝试以下解决办法： ### 检查磁盘空间 此错误提示可能是磁盘空间不足导致的，可...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值