PostgreSQL Bgwriter 与 checkpoint 性能 与性能测试

最新推荐文章于 2025-07-14 10:06:28 发布
原创 最新推荐文章于 2025-07-14 10:06:28 发布 · 824 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #大数据 #linux #python #数据库

本文探讨了PostgreSQL中BGWriter和Checkpoint的作用与协作，通过pg_stat_bgwriter监控它们的工作状态，以评估和调整参数如bgwriter_delay、bgwriter_lru_maxpages等，以提升系统性能。测试表明，合理调整checkpoint参数对pgbench测试分数有显著影响，而bgwriter参数调整效果较不明显。

话题的从系统性能优化讲起, 熟悉PG的同学都明白PG大部分的与硬件打交道的功能都通过LINUX来进行,如何让PG 与 LINUX 之间更协调的工作就是一个重点.

BGwrite 和 Checkpoint 之间的关系对于数据文件交换就变得有必要搞搞清楚了. 到底他们的分工是什么,之间的联系是什么.

1 checkpoint 主要的功能将内存中的脏页刷新,并且在WAL LOG中创建检查点, 通过这样的操作保证在系统crash时能进行数据回滚.

2  Bgwriter 主要的功能在于是将数据持久化将脏页写入磁盘的.

实际上这两者是合作的关系, 而这两者的合作的关系是通过 pg_stat_bgwriter 的系统表可以进行相关的展现.

1  checkpoints_timed  已经执行的预定进行checkpoint的次数

2  checkpoints_req&nbs

最低0.47元/天 解锁文章
PostgreSQL数据库的性能瓶颈分析与解决方法
2502_91592937的博客
07-16 826
本文旨在为数据库管理员、开发人员和架构师提供一套完整的PostgreSQL性能优化方法论。我们将覆盖从基础诊断到高级调优的各个方面，帮助读者系统性地解决PostgreSQL数据库性能问题。本文首先介绍PostgreSQL的基本架构和工作原理，然后详细分析各种性能瓶颈及其识别方法。接着提供具体的优化技术和实战案例，最后讨论相关工具和未来趋势。执行计划(Execution Plan): PostgreSQL执行查询的具体步骤和方法: PostgreSQL的事务日志机制: 多版本并发控制。
Postgresql杂谈 02—Postgresql体系介绍
Hyman的博客
07-13 1416
一、Postgresql的内存结构 所谓的内存结构，就是Postgresql在运行时的内存构成，即有多少个进程，每个进程的作用是什么。我们先来看一张PG服务器的运行时内存结构图： 接下来，我们分别介绍了Postgresql各个进程的作用。 1.1 主进程PostMaster postmaster进程是PG数据库最主要的管理进程，它的作用主要有两个： （1）可以启动和关闭数据库的实例。 /usr/pgsql-11/bin/post...
PostgreSQL之BgWriter
深海微澜
04-29 2063
最近搞了一个公众号PostgreSQL运维技术，欢迎来踩~ 悄悄放一张： PostgreSQL运维技术 1、bgwriter是什么？ Bgwriter是一个Background Writer进程的简称。 Bgwriter会将缓存中一些已经更改的数据(脏缓冲区)写入到磁盘。 之前我在checkpoint的文章里介绍过，checkpoint也是会将缓存中的脏数据写入到磁盘。 2、那么checkpoint与Bgwriter的区别是什么？ checkpoint是以特定的时间...
checkpoint性能测试
rudy gao
10-16 4784
--checkpoint各参数的值 checkpoint_segments 最多的wal log数量，到达后会激发checkpoint，通常设定在30就好 checkpoint_timeout 一般设置15-20分钟，常的可以设定1天也没关系 checkpoint_completion_target 这个保持不动就好。内建是0.5，意思就是每个checkpoint预计在下个checkpoint完成
PostgreSQL启动过程中的那些事十八：bgwriter进程二
数据库天地
07-27 297
3 这节主要讨论bgwriter进程到了BackgroundWriterMain，设置合适的信号处理句柄，创建一个资源属主以保持对本进程资源的跟踪，创建一个本进程的所有工作都在其内做的内存上下文"Background Writer"，创建这个内存上下文是为了本进程在错误恢复期间能重置context并且因此避免可能的内存泄漏。设置错误跳跃点。接着不堵塞信号（当postmaster进程fork本进...
postgresql 的 checkpoint 初步研究
一名数据库爱好者的专栏
08-24 1518
os:centos 7.4 postgresql:10.4 checkpoint 是数据库库的重要概念，在检查点时刻，所有脏数据页被刷写到磁盘，并且一个特殊的检查点记录将被写入到日志文件（修改记录之前已经被刷写到WAL文件）。在崩溃时，崩溃恢复过程检查最新的检查点记录用来决定从日志中的哪一点（称为重做记录）开始REDO操作。在这一点之前对数据文件所做的任何修改都已经被保证位于磁盘之上。因此，完...
PostgreSQL中的BufferAlloc源码解析
weixin_45549872的博客
09-16 565
BufferAlloc源码解析
PostgreSQL源码分析——CHECKPOINT
内核思考
06-18 1193
在此之前的WAL日志，对应的Buffer中的脏页需要全部刷盘，也就是说，在此位置之前的WAL日志是不需要进行回放的，因为页已经落盘了。关于重做点，重做点其实就是当前WAL日志的插入点，或者说当前WAL日志记录的终点位置，从这个位置开始，之前的所有WAL日志对应的脏页刷盘，然后清理WAL日志，在进行checkpoint的过程中，其实业务是不停的，还会继续源源不断的产生WAL日志，后续产生的WAL日志就是从重做点开始的，而这部分WAL日志对于的脏页并没有被刷盘，所以崩溃恢复时，需要从这个重做点开始进行回放。
PostgreSQL全页写机制深度解析：如何平衡WAL性能与数据可靠性
安呀智数据坊的博客
03-03 1411
在PostgreSQL中，每个数据页的大小默认为8KB。全页写机制规定：在每次检查点（Checkpoint）后的第一次修改中，无论数据变动多小，都会将整个数据页的内容写入WAL日志（而非仅记录增量修改）。默认配置下，该机制通过参数full_page_writes=on启用。1.2. 为什么需要全页写？防止部分页写入（Partial Page Write）当操作系统或存储设备发生崩溃时，可能导致数据页仅部分写入磁盘（例如只写入了4KB）。此时，若WAL仅记录增量修改，恢复时会因基础页损坏而无法修复数据。
17、PostgreSQL性能监控与优化：检查点、真空操作全解析
最新发布
carrot的博客
07-14 75
本文深入解析了PostgreSQL数据库中的检查点和真空操作，介绍了如何通过监控相关统计信息来优化数据库性能。通过分析pg_stat_bgwriter视图中的关键指标，指导如何调整checkpoint_timeout、max_wal_size、bgwriter相关参数以及shared_buffers等配置，以提高数据库的I/O效率和查询响应时间。此外，文章还演示了使用pgstattuple和pgstatindex扩展来识别表和索引膨胀，并通过VACUUM操作回收死元组占用的空间，提升磁盘利用率。通过合理配置
SQL|如何查看bgwriter和checkpoint的执行效率
u011312513的博客
03-17 990
如何查看postgresql bgwriter和checkpoint检查点执行情况的SQL以及分析建议
PostgreSQL的系统视图pg_stat_bgwriter
文牧之的博客
06-28 1451
在 PostgreSQL 数据库中，视图提供了关于后台写进程（Background Writer process）的统计信息。后台写进程的主要任务是将脏数据（dirty data）从共享缓冲区写入磁盘以提高数据库性能，并减少大量写操作对数据库的影响。了解和监控这一视图有助于数据库管理员进行性能调优和问题诊断。
数据库修仙炼气篇三——postgresql进程之BgWriter
growdu的网络博客
04-22 992
BgWriter Bgwriter是一个Background Writer进程的简称，Bgwriter会定时将缓存中一些已经更改的数据(脏缓冲区)写入到磁盘。 BgWriter是postmaster通过fork创建的子进程。 源码分析 启动 主进程fork子进程 #mermaid-svg-MeTM8vpGMQzNuLFf {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-
PostgreSQL的checkpointer进程
好儿郎~志在四方
02-20 1509
bgwriter进程与checkpointer进程，虽然都会写出脏页，但是刷脏的目的、频率、控制参数等，都有不同
说说pg中的检查点(checkpoint)之一
weixin_34110749的博客
05-02 1056
最近一直在使用pgbench对pg进行压测,在压测的过程中,发现checkpoint的发生会对数据库的性能产生极大的影响. 想看到最近有没有发生checkpoint,有两种比较简单的方式: 一个是不停的刷新pg_stat_bgwriter这个视图,这个视图中两个字段checkpoints_timed和checkpoints_req直接反映了PG已经发生...
checkpoint_write_time, checkpoint_sync_time will added in pg_stat_bgwriter
wan_xie2009的专栏
05-31 1391
PostgreSQL的统计信息视图pg_stat_bgwriter中包含如下列的信息 : pg_stat_bgwriter view Column Type Description checkpoints_timed bigint Number of scheduled checkpoints. This value can also be
Postgresql与系统的刷脏原理和参数
InternalsOf
09-10 1577
PG使用双缓冲写数据，shared_buffer + OS page cache OS刷脏 sysctl -a|grep dirty 【后台异步】 vm.dirty_background_bytes = 409600000 # 类似postgresql的bgwriter, 由后台进程而不是用户进程刷 vm.dirty_background_ratio = 0 【前台阻塞刷脏】 vm.dirty_bytes = 0 # 类似postgresql 的 server process刷脏, 用户进程参与,
PostgreSQL的checkpoint简析
qq_43687755的博客
10-20 1202
一、 Checkpoint简介 官方文档对于checkpoint的描述： Checkpoints are points in the sequence of transactions at which it is guaranteed that the heap and index data files have been updated with all information written before that checkpoint. At checkpoint time, all dirty da
进阶数据库系列（二十三）：PostgreSQL 性能优化
民工哥的博客
07-21 2784
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了PostgreSQL基于 Patroni 高可用架构部署及故障切换、基于 repmgr 高可用架构实践、基于 pgpool 实现读写分离实践、数据库备份与恢复、主从数据目录同步工具 pg_rewind、数据库作业调度工具等相关的知识点，今天我将详细的为大家介绍 PostgreSQL 性能优化相关知识，希望大家能够从中收获多多...
PostgreSQL数据库管理与性能优化实战详解
本文标题为《PostgreSQL详解[可运行源码]》，结合描述内容可知，该文档不仅系统性地讲解了 PostgreSQL 的核心知识体系，还提供了可用于实际部署与测试的源码示例，极大增强了学习的实践性和可操作性。从基础语法到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值