PostgreSQL（十二）全页写-full_page_writes

最新推荐文章于 2025-07-31 09:18:22 发布
原创 最新推荐文章于 2025-07-31 09:18:22 发布 · 986 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#postgresql #数据库

本文探讨了PostgreSQL中全页写全页写(WAL)日志记录方式，分析其优点如保护数据完整性和解决块分离问题，同时也指出可能导致的WAL日志膨胀和性能影响。讨论了全页写模式的控制策略以及何时考虑禁用全页写以优化性能。

一、全页写的概述与特点

在PostgreSQL（十一）WAL日志管理中曾提到过，PG默认记录WAL日志的方式，是将原始SQL转换为特定格式后记录在文件中。

但实际上，pg还支持另一种记录WLA日志的方式，那就是全页写-full-page Writes。

全页写模式下，会将一整个数据块的内容写入 WAL文件中，而非只记录日志条目。

1、优点：解决块分离问题，保护数据完整性；

2、缺点：全页写会导致WAL日志膨胀，增加额外I/O，影响数据库整体性能；

3、控制：使用full_page_writes参数控制on/off .

4、模式：

       非强制模式：最后一次检查点之后，第一次修改的数据块会进行全页写，后续再修改时不会进行全页写，直到下一次检查点发生。full_page_writes=on后进入非强制模式。

    &nb

最低0.47元/天 解锁文章
013、full-page-writes(全页写)
细致-专业-实操
05-26 1232
类似于Oracle表空间热备，当把表空间变成备份状态时，由于备份采用的是操作系统cp命令，在备份时数据块还允许修改，会导致备份的数据块前后状态不一致，为了解决整个问题，备份期间修改的数据块会整个块的写入redolog文件中，此时会导致redolog膨胀。块是数据库最小的I/O单位，当数据库写一个数据块时，操作系统需要I/O多次，可能在I/O过程中系统断电、磁盘故障等等原因导致一个数据块没有完整的写入，导致块不一致。操作系统进行I/O操作时，总是以块为单位，比如512字节、1KB等等。
PostgreSQL的full_page_writes
好儿郎~志在四方
01-24 1636
一个page默认为8kb，数据的写入是以page为单位的。而操作系统的一个page往往是4kb或者更小，这将导致PostgreSQL在写一个page到磁盘时，操作系统可能会将PG的一个page，分两次写入到磁盘。 如果系统出现故障，则会出现PG的一个page，操作系统只写了一半到磁盘上，这种现象称之为页折断。
PostgreSQL之FULL_PAGE_WRITES
深海微澜
04-24 1932
1、full_page_write是什么？ 官网中，对它的解释是： 当这个参数打开时，PG服务器在一个检查点之后的页面的第一次修改期间将每个页面的全部内容写到wal中，这么做是因为在操作系统崩溃恢复期间正在处理的一次页写入可能只有部分完成，从而导致在一个磁盘页面中混合有新旧数据。在崩溃后的恢复期间，通常存储在wal中的行级改变数据不足以恢复这样一个页面。存储完整的页面映像可以保证页面被正确的存储，但是代价是增加了必须被写入wal的数据量。 可参考：https://postgresqlco.nf/...
PostgreSQL full_page_writes与checkpoint
Focus on PostgreSQL
06-25 3857
我们都知道数据库中出现故障时都会去从最近一次的checkpoint开始应用wal日志进行恢复。那么checkpoin越频繁我们恢复就会越快，当然checkpoint也会对IO产生一些影响，不过一般在磁盘性能允许的情况下，还是建议checkpoint越频繁越好。 但是在PostgreSQL中却并不如此，相较于其它的一些数据库，PG中会更希望checkpoint越晚越好，这是为什么呢？主要还是和pg中的full_page_writes机制有关了。 full_page_writes是什么呢？简单点来说，因为pg中
postgres 源码解析20 Full Page Write全页写机制
Serendipity_Shy
08-28 1132
full page write全页写机制
postgresql源码学习（34）—— 事务日志⑩ - 全页写机制
Hehuyi_In的博客
07-30 2647
前几天看了阿里云关于全页写的直播，打算重新再整理下关于全页写的内容。
PostgreSQL全页写机制深度解析：如何平衡WAL性能与数据可靠性
安呀智数据坊的博客
03-03 1405
在PostgreSQL中，每个数据页的大小默认为8KB。全页写机制规定：在每次检查点（Checkpoint）后的第一次修改中，无论数据变动多小，都会将整个数据页的内容写入WAL日志（而非仅记录增量修改）。默认配置下，该机制通过参数full_page_writes=on启用。1.2. 为什么需要全页写？防止部分页写入（Partial Page Write）当操作系统或存储设备发生崩溃时，可能导致数据页仅部分写入磁盘（例如只写入了4KB）。此时，若WAL仅记录增量修改，恢复时会因基础页损坏而无法修复数据。
PG技术大讲堂 - 第13讲：PostgreSQL Full-Page Writes 全页写
m0_65303136的博客
04-13 312
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。· 块是数据库最小的I/O单位，当数据库写一个数据块时，操作系统需要I/O多次，可能在I/O过程中系统断电、磁盘故障等等原因导致一个数据块没有完整的写入，导致块不一致。· 全页写会导致WAL日志膨胀，增加额外I/O，影响数据库整体性能。全页写会导致WAL日志膨胀，增加额外I/O。
关于PostgreSQL的full_page_writes
weixin_34367257的博客
06-11 351
前言 full_page_writes用于防范宕机时数据的部分写入导致无法恢复的问题，还有一个好处是加速replay速度，可以避免随机读。但是，full_page_writes对性能的影响也非常大。 和关闭full_page_writes相比，打开full_page_writes可能会使TPS减少30%以上，产生的WAL...
PostgreSQL中的full_page_writes的理解
weixin_33861800的博客
07-01 629
1. full_page_writes的作用 PostgreSQL中的full_page_writes参数用来防止部分页面写入导致崩溃后无法恢复的问题。手册中的相关描述如下： http://postgres.cn/docs/9.3/runtime-config-wal.html#GUC-FULL-PAGE-WRITES ...
PG FULL_PAGE_WRITES MYSQL DOUBLE WRITE LOG
jnrjian的博客
09-19 477
执行begin backup之后，oracle会把将要备份的数据文件都标记为hot-backup-in-progress，锁定所要备份的datafile header的scn，例如此时scn=100，同时redolog中会记住这个scn，其他数据文件正常使用，scn会继续增长。之后在备份所要备份的数据文件过程中，数据文件是允许写入和checkpoint，而且可能不止一次checkpoint，而这个过程中的所有操作和checkpoint也会正常记录到redolog与archivelog中。oracle系统数据
PG 全页写
dnuiking的博客
05-05 824
修改一个块的时候，把块读到内存中，commit后,WAL写进程会触发写，把修改的块写到WAL日志文件，如果再往这个块中插入一条数据，数据缓冲区里面的块有两条数据了，再次commit后，PG会把这个事务写到事务缓冲区，再把事务缓冲区的事务写到WAL 文件中。第一个commit就是全页写1.操作系统进行I/O操作时，总是以块为单位，比如512字节，1kb，4kb（xfs）。
PgSQL · 特性分析 · full page write 机制
rudy gao
11-26 2131
PG默认每个page的大小为8K，PG数据页写入是以page为单位，但是在断电等情况下，操作系统往往不能保证单个page原子地写入磁盘，这样就极有可能导致部分数据块只写到4K(操作系统是一般以4K为单位)，这些“部分写”的页面包含新旧数据的混合。在崩溃后的恢复期间，xlog 里面存储的记录变化信息不够完整，无法完全恢复该页。PG为了解决这类问题，full_page_write机制孕育而生。 什么
postgresql参数full_page_writes详解
DB_su的博客
10-13 2344
full_page_writes作用:是否开启全页写入,此参数是为了防止块折断（块损坏）的一种策略。造成块折断的原因：linux操作系统文件系统一个块一般是4k,而数据库则一般是一个块8k,当数据库的脏块刷新到磁盘上时,由于底层是两个块组成的,比如刷第一个操作系统块到磁盘上了,而当刷第二个操作系统块的时候发生了停电等突然停机事故,则就发生了块折断（数据块是否折断是根据块的checksum值来检查的）
PostgreSQL full_page_write机制
weixin_34032779的博客
12-21 665
title: PgSQL · 特性分析· full_page_write机制 author: 康贤 PG默认每个page的大小为8K，PG数据页写入是以page为单位，但是在断电等情况下，操作系统往往不能保证单个page原子地写入磁盘，这样就极有可能导致部分数据块只写到4K(操作系统是一般以4K为单位)，这些“部分写”的页面包含新旧数据的混合。在崩溃后...
fsync和 full_page_writes
HighGO
02-01 1335
先看一下PG官网关于这两个参数的介绍： fsync (boolean) If this parameter is on, the PostgreSQL server will try to make sure that updates are physically written to disk, by issuing fsync() system calls or various eq
如何理解PostgreSQL全页写？
江河万川
10-28 441
假设没开启全页写的场景下，在checkpoint完成之后，后续数据库持续读写，然后bgwriter的向底层刷脏，某个时刻刷脏异常断电，导致磁盘的页只写了部分，数据页异常不完整了。然后数据库重启之后，从redo点开始回放wal，从上次redo点开始回放，但是磁盘上的数据页本身就不完整，如何能回放成功呢？这样后续即便数据库运行过程中出现部分页写，数据页不完整的情况，那么后续起来后，反正从redo点开始回放，而回放的同时，会发现wal中有备份块，那么就会覆盖页面内容，这样也就能保证数据一致了。
PostgreSQL FPW（Full Page Write）机制解析：保障数据完整性的双刃剑
最新发布
weixin_44161805的博客
07-31 826
PostgreSQL的Full Page Write（FPW）机制通过将首次修改的8KB数据页完整写入WAL，防止操作系统部分写入导致的页面损坏，确保崩溃恢复可靠性。FPW虽然会增加WAL写入量（8.1MB vs 100KB），但能避免数据永久性损坏。除非存储系统能保证8KB原子写并具备完整硬件保护，否则不建议关闭FPW。新版本可通过wal_compression等优化FPW性能。该机制是数据库在非原子写硬件上的关键安全保障。
mysql的double write和postgresql的full_page_writes
归来仍少年
03-21 2400
一、什么是double write(双写) double write它针对的对象是脏数据，在将脏数据刷盘过程中产生。即一份脏数据写到共享表空间，一份写到真正的数据文件永久保存，也就是说写了两次的脏数据。所以称为double write。 二、什么是postgresql的full_page_writes full_page_writes是控制是否开启全页写入，默认开启。作用就是为了防止块折断活动损坏的一种策略。 postgres=# show full_page_writes; full_page_writ
文章目录概况安装PostgreSQL设置主节点设置从节点验证故障处理，主从节点切换从节点扩容概况CentOS Linux release 7.7.1908PostgreSQL13三台服务器，一主两从，实时复制。主节点读写，从节点只读，读写分离不借助插件或第三方中间件，仅使用PostgreSQL自带的流复制功能Replication主节点可建库建表、可读写，两个从节点为只读，程序使用时可以将查询和统计相关服务读取从节点，通过读写分离减少数据库读写压力设置同步复制，为热备份，数据实时同步，对于大多数业务来说，可以认为三个库数据完全相同，当一个库故障时，其他库仍然可提供服务，增加服务可用性当主节点故障时，数据无法更新，只能手动将从节点升格为主节点，需要修改服务的数据库连接配置等，服务短暂不可用（也可提前准备好监控和切换脚本，服务不可用时尽早发现和切换）。需要根据自己业务特点，是否能接受此种情况，来决定是否使用此方式。单点故障，自动切换的集群，可以考虑使用PGPool-II 等第三方中间件搭建，后面研究好我会出一篇文档安装PostgreSQL命令如下，具体可参考我之前的博客《PostgreSQL简介和安装部署》# 安装 repository 源:sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm# 安装 PostgreSQL13:sudo yum install -y postgresql13-server# 初始化数据库，并设置启动命令和开机启动:sudo /usr/pgsql-13/bin/postgresql-13-setup initdbsudo systemctl enable postgresql-13sudo systemctl start postgresql-13# 另外，查看状态，关闭命名和重启命令sudo systemctl status postgresql-13sudo systemctl stop postgresql-13sudo systemctl restart postgresql-13123456789101112131415三个节点安装完成后，就可以开始使用了可以创建用户、赋予权限、修改密码，可以建库建表早一些功能测试等默认安装创建的数据库，没有主从之分，都是主节点，可以使用这条语句验证下是否为从节点，查询结果为"f"表示false，当前数据库节点为主库节点sudo -u postgres /usr/pgsql-13/bin/psql -c "select pg_is_in_recovery()"1下面开始搭建集群，关闭三个PostgreSQL服务，开始改配置文件设置主节点主从节点可以自己规划好，准备好不同机器就行，也可以使用最小集群一主一从主要是修改2个配置文件，都在data目录下，一个是数据库基础配置，一个是访问权限控制默认初始化的数据库，data目录在/var/lib/pgsql/13/data修改文件夹里面的pg_hba.conf，设置 Replication 访问策略，允许流复制# replication privilege.# 追加一条“允许postgres用户，通过全部网络地址使用 Replication ”的策略host replication postgres 0.0.0.0/0 trust123继续修改数据库配置文件postgres.conf，进行一些参数设置，允许流复制# -----------------------------# PostgreSQL configuration file# -----------------------------# - Connection Settings -listen_addresses = '*' # what IP address(es) to listen on;#port = 5432 # (change requires restart)max_connections = 200 # (change requires restart)# - Authentication -#authentication_timeout = 1min # 1s-600spassword_encryption = scram-sha-256 # md5 or scram-sha-256#------------------------------------------------------------------------------# RESOURCE USAGE (except WAL)#------------------------------------------------------------------------------# - Memory -shared_buffers = 1GB # min 128kB 官方推荐内存设置带大小为系统内存的1/4temp_buffers = 64MB # min 800kBwork_mem = 64MB # min 64kBmax_stack_depth = 4MB # min 100kBdynamic_shared_memory_type = posix # the default is the first option#------------------------------------------------------------------------------# WRITE-AHEAD LOG#------------------------------------------------------------------------------wal_level = replica # minimal, replica, or logicalfsync = on # flush data to disk for crash safetysynchronous_commit = on # synchronization level;wal_log_hints = on # also do full page writes of non-critical updates# - Checkpoints -checkpoint_timeout = 10min # range 30s-1dmax_wal_size = 1GBmin_wal_size = 80MB# - Archiving -archive_mode = on # enables archiving; off, on, or always# (change requires restart)archive_command = 'cp %p /data/postgresql/archive/%f' # command to use to archive a logfile segment#-----------------------------------------------------------------------------# REPLICATION#------------------------------------------------------------------------------max_wal_senders = 10 # max number of walsender processes 设置了可以最多有几个流复制的链接# (change requires restart)wal_keep_size = 1024 # in megabytes; 0 disablesmax_slot_wal_keep_size = 10 # in megabytes; -1 disableswal_sender_timeout = 120s # in milliseconds; 0 disables# - Standby Servers -hot_standby = on # "off" disallows queries during recovery#------------------------------------------------------------------------------# REPORTING AND LOGGING#------------------------------------------------------------------------------# - Where to Log -log_destination = 'stderr' # Valid values are combinations oflogging_collector = on # Enable capturing of stderr and csvloglog_directory = 'log' # directory where log files are written,# can be absolute or relative to PGDATAlog_filename = 'postgresql-%a.log' # log file name pattern,log_truncate_on_rotation = on # If on, an existing log file with thelog_rotation_age = 1d # Automatic rotation of logfiles willlog_rotation_size = 50MB # Automatic rotation of logfiles willlog_min_duration_statement = 2000 # 配置数据库慢查询时间，如果超过配置的时间，就会将查询的SQL语句记录到日志# - What to Log -log_connections = onlog_disconnections = onlog_line_prefix = '%m [%p] ' # special values:log_timezone = 'Asia/Shanghai'datestyle = 'iso, mdy'#intervalstyle = 'postgres'timezone = 'Asia/Shanghai'# These settings are initialized by initdb, but they can be changed.lc_messages = 'en_US.UTF-8' # locale for system error message# stringslc_monetary = 'en_US.UTF-8' # locale for monetary formattinglc_numeric = 'en_US.UTF-8' # locale for number formattinglc_time = 'en_US.UTF-8' # locale for time formatting# default configuration for text searchdefault_text_search_config = 'pg_catalog.english'shared_preload_libraries = '' # citus (change requires restart)1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586启动服务，使配置生效，主节点设置完毕sudo systemctl start postgresql-13# 或sudo systemctl restart postgresql-13123设置从节点主从要保持一致，主要是 data 保持一致，我们可以直接将主节点data同步到从节点如果从节点没有关闭，可以先关闭 sudo systemctl stop postgresql-13去默认的data位置，删除所有文件
03-29
### 安装与配置 PostgreSQL 13 在 CentOS 7.7.1908 下的一主两从高可用集群 #### 1. 环境准备 在三台服务器上分别安装 CentOS 7.7.1908，确保每台机器的硬件资源满足需求。以下是各节点的基础信息： - **主节点 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值