PG缓存理解

缓存层级与性能提升
最新推荐文章于 2025-07-05 00:13:25 发布
原创 最新推荐文章于 2025-07-05 00:13:25 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了多种缓存层级如何共同作用以显著减少数据库访问时间，并降低物理I/O操作次数，包括shared_buffers、操作系统缓存及磁盘缓存等。同时指出了大缓存可能带来的I/O瓶颈等问题。

并不仅仅shared_buffers内存块独自负责缩短响应时间，OS的缓存也通过保持大量的数据随时可用，进而大大缩短了响应时间。

这两个缓存一起明显降低了实际读取次数和物理读取的容量。

除了这两个级别的缓存之外，还存在磁盘控制器缓存、磁盘驱动器缓存等。这些缓存通过减少所需的物理I/O来提高性能。


巨大缓存也存在风险，比如当大量数据从缓冲区写入硬盘时所产生的I/O瓶颈。
【0171】揭晓PG中各种缓存技术的实现原理
Postgres 数据库内核开发工程师
02-02 921
缓存（buffer）是用于速度不匹配的组件之间提高数据吞吐率的技术，在硬件设计、软件系统中都有着广泛的使用，例如常见的 CPU 缓存，数据库缓存，缓存服务（redis, memcached）以及浏览器缓存等等。不支持 UPDATE/DELETE 使用 ring：在更新相关的页面的扫描中，如批量 UPDATE 或 DELETE， ring 中的缓存总是被弄脏，并且 ring 策略有效地退化为正常的替换策略。缓存描述符是一个对缓存池的描述数组，每个描述符与缓存位置有一对一的关系。非常底层，但也非常强大。
03PG缓存-写入写出
qq_29431123的博客
08-04 1109
当后端进程想要访问一个页面时，会调用ReadBufferExtended,一般后端进程访问页面有三种情况。
01PG缓存-缓存结构
qq_29431123的博客
08-04 1075
缓存池规则的排列一个一个的数据页缓存——buffer（在Oracle中数据页在磁盘上称为block,在内存中称为buffer，这里也将缓存在内存中的固定大小的数据称为buffer）,查看缓存池中buffer的数量可以通过 pg_buffercache扩展模块查看。不同的数据库、不同的模块使用的HASH算法不同，但是原理大体一致，最简单的HASH算法是求余，输入一个值：50，以“除以33取余”，得到17。要注意的是，缓存描述符组成的链表，称为freelist,但是和Oracle中的freelist不一样的。
PostgreSQL缓存
weixin_33777877的博客
07-23 193
2019独角兽企业重金招聘Python工程师标准>>> ...
使用pg_buffercache查看缓存区缓存
weixin_30505751的博客
07-20 297
PG提供了一个扩展pg_buffercache来查看缓存区的内容。 create database test; CREATE DATABASE create extension pg_buffercache ; CREATE EXTENSION 创建个测试数据库test,并且添加扩展。 psql -d test test=# select distinc...
PostgreSQL 中如何解决因大量并发读取导致的缓存命中率下降？
技术笔记
07-18 1533
在 PostgreSQL 中，解决因大量并发读取导致的缓存命中率下降问题需要我们综合考虑多个方面的因素。通过优化查询语句、调整缓冲池大小、使用分区表和定期清理缓存等措施，我们可以有效地提高缓存命中率，提高数据库的性能和稳定性。就像我们在生活中解决问题一样，我们需要找到问题的根源，然后采取合适的措施来解决问题。在处理 PostgreSQL 缓存命中率下降的问题时，我们需要根据实际情况进行分析和优化，不断地尝试和改进，才能找到最适合我们的解决方案。🎉相关推荐🍅关注博主🎗️带你畅游技术世界，不错过每一次成长机会。
【Note】《深入理解Linux内核》 Chapter 15 ：深入理解 Linux 页缓存
最新发布
YZJincsdn的博客
07-05 906
页缓存（page cache）是 Linux 内核用于缓存文件内容的内存区域，避免每次文件读写都访问磁盘。修改后的页被标记为 dirty（PG_dirty），需要回写到磁盘以保证数据一致性。某些场景（数据库、日志）不希望缓存数据，直接对磁盘读写，称为 Direct I/O。
清晰的理解pg与pgp之间的关系
pansaky的博客
10-31 3194
这里先说下ceph中PG和PGP使用的一个典型场景，ceph中PG数是可以修改的，但是目前只能从小到大修改 ，那么就会有一种情况PG数修改变大后就会存在PG分裂的场景。如源集群PG为PG1/2/3  修改PG数为PG1/2/3/4/5后ceph为了保证存储数据平滑分裂引入PGP概念，PGP就是用来保存分裂前PG的状态，意为PG初始状态或PG祖先。所以修改PG数后PG分布不回引起太大的变化，但如果同...
理解Postgres中的缓存--深度指南 - 译稿 （朱君鹏校对）1
08-08
总的来说，理解Postgres的缓存机制是提升数据库性能的关键。通过适当配置缓存参数，结合监控工具，可以确保系统资源得到最佳利用，从而提高应用程序的响应速度和整体效率。对于大型数据库系统，优化缓存策略是确保...
pg_buffercache
HighGO
01-02 544
查看缓冲区缓存的内容： create extension pg_buffercache; select c.relname, count(1) as buffers from pg_class c join pg_buffercache b on b.relfilenode=c.relfilenode inner join pg_database d o
gin-cache:gin 框架的小而简单的缓存中间件
06-23
gin-cache gin 框架的小而简单的缓存中间件 用法 package main import ( "time" "github.com/gin-gonic/gin" "github.com/olebedev/gin-cache" ) func main () { r := gin . New () r . Use ( cache . New (cache. Options { // set expire duration // by default zero, it means that cached content won't drop Expire : 5 * time . Minute , // store interface, see cache.go // by default it uses cache.I
针对"因PG和PGCACHE共用镜像，若推库有时间差可导致整系统CI失败”的问题解决流程图
技术积累-LZ
10-21 711
前提条件： pg和pgcache，共用server和broker的镜像，pg的三个蓝图版本号和镜像的版本号一致，pgcache的三个蓝图版本号与镜像的版本号不一致，规律如下。 举例：（读者如果需要用到这个规律，最好再去跟PG的同事确认一下以免有更改） 10.6.0.9.3.xxx pg 10.6.0.9.4.xxx pgcache 3和4是固定...
PostgreSQL数据库缓存配置
abc_xian的博客
08-15 4109
PostgreSQL数据库缓存配置
PostgreSQL缓存管理
weixin_47895938的博客
09-13 1479
主要介绍了postgresql的buffer结构和访问步骤
PG缓冲区管理器以及锁的学习
dnuiking的博客
05-17 504
PG缓冲区管理器为许多不同的目的使用许多锁。锁是缓冲区管理器同步机制的一部分；它们和任何SQL语句和SQL选型都不相关。在PG中，对象在内存中是并发被访问的（其实任何数据块都是），这个时候为了数据块不被破坏，就需要锁。
PostgreSQL 缓存
banjuan3729的博客
05-20 551
PostgreSQL physical storage 和 inter db 值得阅读 数据在物理介质上存储是以page的形式，大小为8K，如下： atuple或anitem是行的同义词 arelation是表的同义词 afilenode是表示对表或索引的引用的id。 ablock和page是等于它们代表存储表的文件的8kb段信息。 Postgre...
PostgreSQL-shared_buffers（双缓存）
PGCCC的博客
12-01 2311
4和5标识极高的使用数据块，高使用可能会保留在shared_buffers中(有空间)，如果需要更高使用率的空间，则低使用率的块将被移除，一般简单的插入或者更新会将使用次数设置为1。3.shared_buffers是一个8KB的数组，postgres在从磁盘中查询数据前，会先查找shared_buffers的页，如果命中，就直接返回，避免从磁盘查询。1.在访问数据时，数据会先加载到os缓存，然后再加载到shared_buffers，这个加载过程可能是一些查询，也可以使用pg_prewarm预热缓存。
《postgresql指南--内幕探索》第八章 缓冲区管理
hmxz2nn的博客
07-12 1906
postgresql中缓冲区管理器，存储和后端进程之间的关系： 概览 缓冲区管理器结构 PostgreSQL缓冲区管理器包括一个缓冲区表、缓冲区描述符和缓冲池，这些将在下一节中介绍。缓冲池存储数据文件的页, 如表和索引，以及自由空间映射和可见性映射的页面。缓冲池是一个数组，数据的每个插槽存储数据文件的一页。缓冲池数组的索引称为buffer_id。 缓冲区标签 在PostgreSQL中，可以为所有数据文件的每个页面分配一个唯一的标记，即缓冲区标签。当缓冲区管理器收到请求时, PostgreSQL使用目标页面
PostgreSQL-缓存利器
PostgreSQL China
08-04 2292
作者：徐田原 引言 当发起“select * from XXX”时，数据会加载到操作系统缓存然后才到shared buffer。PostgreSQL缓存读顺序share_buffers -> 操作系统缓存 -> 硬盘。同样当将脏页向磁盘刷写时，也是先到操作系统缓存，然后由操作系统调用fsync()将操作系统缓存中数据持久化到磁盘。这样PG实际上由两份数据，看起来有些浪费空间，但是操作系统缓存是一个简单的LRU而不是数据库优化的clock sweep algorithm。一旦在shared_buf
PG Exporter：深入理解PostgreSQL监控解决方案
PG Exporter是一种用于监控PostgreSQL数据库的工具，它通过提供各种指标帮助用户深入理解PostgreSQL数据库的运行状态。PostgreSQL是一种流行的开源关系型数据库管理系统，它以高性能、高可靠性著称。普罗米修斯...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值