聊聊PG的DOUBLE BUFFER问题

PostgreSQL双缓存机制：理解、优化与个性化策略,
最新推荐文章于 2025-04-08 22:31:48 发布
原创 最新推荐文章于 2025-04-08 22:31:48 发布 · 776 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#postgresql #数据库 #运维 #dba

最近有朋友和我们交流PostgreSQL运维的问题，其中交流提纲里提到了关于Double Buffering的问题。对于以往习惯于使用Oracle数据库的人来说，不会体会到Double Buffering这个词的含义。很多Oracle DBA也认为Oracle天生就不需要考虑Double Buffering的问题的，只有PG/MYSQL这样的开源数据库才需要关心。事实上，Oracle也就是最近这十几年才彻底的解决了Double Buffering问题，采用完全绕过文件缓冲区的方法的，在我早期使用的Oracle版本中，如何利用文件缓冲提升大数据量的访问性能还是Oracle DBA能够用来挣钱的独门绝技，我也曾利用这个技能帮助用户做过一些优化项目。既然今天要讨论Double Buffering，那么我们就先用PG的一个IO分层结构图来理解一下PG的这个问题吧。

我们看到最上面的shared buffer是PG的主BUFFER，PG数据库使用bufferd io和OS的文件系统进行交互，因此PG数据库的读写都需要使用OS CACHE作为缓冲，读取的数据可以通过OS CACHE来进行加速，写入的数据先写入OS CACHE中，然后再通过fsync()来强制刷盘。在PG数据库里，我们要访问一个数据块可能会经过两个CACHE，一个是PG自己的SHARED BUFFERS，一个是OS的CACHE，这就是Double Buffering的含义。

Dou

最低0.47元/天 解锁文章
【PostgreSQL的“double buffers“刷脏机制和参数】
小怪兽的博客
12-16 2110
PostgreSQL数据库使用双缓存写数据，shared_buffer + OS page cache,下图是PG与OS内存交互的过程 ,在PostgreSQL中，shared_buffers所代表的内存区域可以看成是一个以8KB的block为单位的数组，即最小的分配单位是8KB。这正好是一个page的大小，每个page以page内部的元数据(Page Header)互相区分。
简单聊聊PostgreSQL buffer与OS cache
Focus on PostgreSQL
07-19 5341
0、概述 缓存可以说是数据库中相当重要的一部分，很多性能相关的问题都与之息息相关。那么我们今天就聊聊在PostgreSQL中的缓存。 1、为什么需要缓存？ 在数据库中似乎我们最关心的是磁盘IO，经常会听到数据库IO存在瓶颈之类的问题。这也是为什么在数据库中我们需要缓存。 打个比方，对于计算机而言，1个CPU周期是0.3ns，如果把这个时间当成是我们平时生活中的1s。那么固态硬盘1次IO的时间大约是50-150μs，这意味着什么呢？相当于我们的2到6天。 这么一对比就可想而知，哪怕你的磁盘IO再快，相较于在内
PG的Buffer的管理，有说明share_buffer设置的原理
wuhen11987的专栏
11-30 1339
Buffer Cache PostgreSQL uses OS calls which make use of OS level disk caching. It does NOT use direct access to disks like Oracle does (except in some cases with writing the WAL logs which can be a
【pg_buffercache安装及使用】
小怪兽的博客
12-27 1217
pg_buffercache模块提供了一种方法实时检查共享缓冲区。默认情况下，使用仅限于超级用户和pg_read_all_stats 角色的成员。可以使用GRANT给其他人授予访问权限。pg_buffercache模块可以用来查看shared buffer cache信息，决定shared buffer cache大还是小。 一、安装 [postgres@localhost pg_buffercache]$ pwd /opt/postgresql-12.1/contrib/pg_buffercache
双缓冲机制（Double Buffering）快速接收处理串口接收到的大量数据帧
wys99999的博客
09-14 1766
这种方式通常称为（Double Buffering），也被称为。在嵌入式系统中，双缓冲机制常用于高效处理连续数据流，例如串口接收、DMA 数据传输等。
5-4 双缓冲技术（Double Buffering）（2、公有函数实现）
嘒彼小星的笔记
04-24 4366
 #include #include using namespace std;#include "plotter.h"以上代码为文件的开头，在这里把std的名空间加入到当前的全局命名空间。这样在使用里的函数时，就不用前缀std::了，如可以直接使用函数floor()，而不用写成std::floor()。 Plotter::Plotter(QWidget *paren
聊聊postgresql的double buffering 问题
DBAIOps的博客
02-01 1013
到时间来说说我们的观点了，对于PG的Double Buffering，网上的很多观点都有些偏颇，可能持这些观点的人面对的都是自己的系统，并没有关注过不同负载的数据库的需求。我们看到最上面的shared buffer是PG的主BUFFER，PG数据库使用bufferd io和OS的文件系统进行交互，因此PG数据库的读写都需要使用OS CACHE作为缓冲，读取的数据可以通过OS CACHE来进行加速，写入的数据先写入OS CACHE中，然后再通过fsync()来强制刷盘。这个开源插件，应该会有一些收获的。
MySQL数据落盘原理(redo、undo、binlog、2PC、double write等。)
weixin_38597669的博客
04-22 3856
本文对MySQL的落盘过程做了由浅到深，由简单到复杂的分析，建议先对redo、undo、binlog、2PC、double write等概念了解后再看本文，会有不一样的收获
5-4 双缓冲技术（Double Buffering）（5、类PlotSettings实现）
嘒彼小星的笔记
04-24 2969
 下面是PlotSettings的实现：PlotSettings::PlotSettings(){    minX = 0.0;    maxX = 10.0;    numXTicks = 5;    minY = 0.0;    maxY = 10.0;    numYTicks = 5;}在构造函数中，把两个坐标轴的初始化为从0到10，分为5个刻度
单缓冲、双缓冲、多缓冲与缓冲池详解
司六米希的博客
04-08 1142
在计算机系统中，缓冲技术用于优化数据交换效率，减少等待时间。以下是四种常见缓冲策略的核心原理、应用场景及对比分析。：通过空间（内存）换时间（性能），平衡效率与资源消耗。
VSync 和 多缓冲
richard9006的专栏
11-27 888
1.只有一个Buff(缓冲区)模式 缺点是经常会闪烁 2.double buffering(双缓冲) 双缓冲背后的想法是，计算机只绘制到一个缓冲区（称为“后”缓冲区）并将另一个缓冲区（称为“前”缓冲区）发送到屏幕。计算机画完后，程序会做一个叫做“交换”的程序，这个交换不会移动任何东西：交换只改变两个缓冲区的名称：前缓冲区变成后缓冲区，后缓冲区变成前缓冲区。 缓冲区交换后，...
MFC 双缓冲(double buffering)
magicsutra的专栏
11-15 4192
  MFC 双缓冲(double buffering)把image显示在monitor上有多种方法，最简单的就是把image直接画出，但这样会导致画面闪烁（Flicker）。因为每次更新图片时计算机要erase然后redraw，在这个时间段内观察者会看到上一次的背景，但这个时候本应该是显示下一个frame。要解决这个问题，就可以使用双缓冲Double buffering技术。先把image
双缓冲（Double Buffering）
weixin_30527551的博客
05-24 111
http://en.wikipedia.org/wiki/Multiple_buffering http://en.wikipedia.org/wiki/Dual-ported_RAM http://www.codeproject.com/KB/graphics/DoubleBuffering.aspx http://en.wikipedia.org/wiki/Compos...
PostgreSQL buffer标签的介绍
2301_78013393的博客
06-11 1838
页面的bufferpool是存放页面，那么肯定需要一个"表"，这个记录这个buffer，记录哪个页面。当页面完成IO，成功加载到磁盘上，此时我们将BM_IO_IN_PROGRESS去除，然后打上BM_VALID标签，代表页面是一个合法的页面。1）当业务进程需要使用某个页面的时候，根据页面tag，查看是否在hashmap中，如果不在的话，那么在hashmap中创建一个键值对，此时就会打上BM_TAG_VALID标签。BM_DIRTY代表脏页，就是页面被改动，相较于磁盘对应的页面，内存中页面就是脏页。
Postgresql中无锁修改buffer状态
InternalsOf
02-28 537
Postgresql使用CAS函数pg_atomic_compare_exchange_u32来做check&swap，兼顾原子性与性能（高并发readonly场景有8倍的性能提升）。
PG数据库之数据类型入门
一个老Java开发的自白
10-27 3010
PostgreSQL（PG）数据库支持多样的数据类型，涵盖整数、浮点数、任意精度数值的数值类型，字符、文本字符串的字符类型，以及日期、时间、时间戳的日期和时间类型。此外，它还支持布尔、二进制数据、数组、JSON/JSONB、UUID、网络地址、几何数据类型等。这些丰富的数据类型使得PostgreSQL在数据存储和处理上具有高度的灵活性和精确性。
PostGreSQL数据库有的为啥找不到数据类型（比如Double）
weixin_44117767的博客
04-15 5634
今天用NavCate建立PostGreSql建标，使用Double发现居然没有这个类型，百度各种博客都表示有Double类型，但是我测试就没了 后来发现，这里面居然有别名 1 . 整数类型 类型 smallint，integer，和 bigint 存储各种范围的全部是数字的数，也就是没有小数部分的数字。 试图存储超出范围以外的数值将导致一个错误。 常用的类型是 integer，因为它提供了...
PostgreSQL-缓存利器
PostgreSQL China
08-04 2286
作者：徐田原 引言 当发起“select * from XXX”时，数据会加载到操作系统缓存然后才到shared buffer。PostgreSQL缓存读顺序share_buffers -> 操作系统缓存 -> 硬盘。同样当将脏页向磁盘刷写时，也是先到操作系统缓存，然后由操作系统调用fsync()将操作系统缓存中数据持久化到磁盘。这样PG实际上由两份数据，看起来有些浪费空间，但是操作系统缓存是一个简单的LRU而不是数据库优化的clock sweep algorithm。一旦在shared_buf
(转)5.4 双缓冲技术(Double Buffering)-3
千月星跡
05-20 2579
以下是Plotter控件的事件处理函数部分  void Plotter::paintEvent(QPaintEvent * /* event */){    QStylePainter painter(this);    painter.drawPixmap(0, 0, pixmap);    if (rubberBandIsShown) {        painter.
pg_buffercache_pages
最新发布
04-16
<think>好的，用户想了解如何使用和分析PostgreSQL的pg_buffercache_pages扩展。首先，我需要回忆一下pg_buffercache扩展的相关知识。根据之前的引用内容，pg_buffercache是用来查看共享缓冲区中的页面信息的。在版本16和17中，新增了pg_buffercache_pages函数，可能用户需要的是这个函数的具体用法。 首先，用户需要安装扩展。引用3提到创建扩展的方法，所以应该先执行CREATE EXTENSION pg_buffercache;。接下来，pg_buffercache_pages可能返回缓冲区的页面信息，比如relfilenode、数据库OID、页面使用情况等。但需要确认这个函数在不同版本中的存在性，引用2指出pg17新增了pg_buffercache_pages，而pg16也有，但pg14、15可能没有。所以用户需要确保使用的是正确版本。 然后，考虑如何分析数据。可能需要结合pg_class或pg_database来关联对象名称。例如，查询哪个表占用了最多的缓冲区页面。此外，引用1和引用3中的示例查询可能有用，比如查看不同数据库的缓存情况，或者缓冲区的使用次数统计。 用户可能还需要了解如何解读结果，比如bufferid表示缓冲区位置，relfilenode对应表的文件节点，usage_count表示使用次数，越高越不容易被替换。这些信息能帮助优化查询，识别频繁访问的数据。 最后，可能需要给出实际应用场景，比如性能调优时分析缓存命中率，或者识别需要索引的大表。同时，注意事项如权限问题、版本差异也需要提及，确保用户正确使用。</think>### 如何使用和分析 PostgreSQL 的 `pg_buffercache_pages` 扩展 #### 1. 扩展安装与基本使用 - **安装扩展**：在目标数据库中执行以下命令： ```sql CREATE EXTENSION pg_buffercache; ``` 该操作需超级用户权限或数据库所有者权限[^3]。 - **调用函数**：`pg_buffercache_pages` 是 PostgreSQL 16+ 版本新增函数，用于返回缓冲池中所有页面的详细信息： ```sql SELECT * FROM pg_buffercache_pages(); ``` 输出字段包括： - `bufferid`：缓冲区唯一标识 - `relfilenode`：表/索引的文件节点编号 - `reltablespace`：表空间OID - `reldatabase`：数据库OID - `usage_count`：页面被访问次数（用于LRU淘汰策略）[^2] #### 2. 典型分析场景 ##### (1) 查看缓存分布 ```sql SELECT d.datname AS 数据库, c.relname AS 对象名称, count(*) AS 缓存页数 FROM pg_buffercache_pages() b JOIN pg_database d ON b.reldatabase = d.oid LEFT JOIN pg_class c ON b.relfilenode = pg_relation_filenode(c.oid) GROUP BY 1, 2 ORDER BY 3 DESC; ``` 此查询显示各数据库对象的缓存占用比例，帮助识别高频访问对象[^1]。 ##### (2) 分析页面使用频率 ```sql SELECT usage_count, count(*) AS 页面数量, pg_size_pretty(count(*) * 8192) AS 占用空间 FROM pg_buffercache_pages() GROUP BY 1 ORDER BY 1; ``` `usage_count` 反映页面活跃度，高值页面更不易被淘汰[^2]。 #### 3. 应用场景 - **性能调优**：识别未有效利用缓存的查询 - **资源监控**：监控热点数据的内存占用 - **索引优化**：验证索引是否被缓存加速 #### 4. 注意事项 - 仅显示共享缓冲区内容（默认约128MB） - 结果实时变化，需结合采样分析 - 需`pg_monitor`角色权限（PostgreSQL 10+）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值