postgresql10.4增量备份

postgresql完整备份,增量备份,差异备份详细说明及对比(InsCode AI 创作助手) PostgreSQL 是一款开源的关系型数据库管理系统,为了确保数据的安全性和可恢复性,数据库备份是至关重要的。在这篇博客中,我们将深入探讨 PostgreSQL 备份策略,包括完整备份、增量备份和差异备份,以及它们之间的比较。此外,我们还将提供相应的备份和恢复示例,帮助您更好地理解这些备份策略的工作原理。 阅读详情

Postgresql 版本 10.4
系统平台: contos6.5

1.开启postgres的WAL归档

WAL归档是记录对数据库的一些操作的序列文件,postgres将最近的WAL文件保存在 pg_wal 中,所以我们还需要设置在产生WAL文件时将其持续保存到远程存储或者在本地的另外一个地方。WAL文件每个16MB,postgres自动进行分割。
1.1.在数据目录/opt/pg10.4/data 中找到posstgresql.conf配置文件(数据目录可能不同),这里需要设置参数:
  • wal_level
    设置保存操作日志的具体程度级别,要设置WAL归档至少要设置为replica

  • archive_mode
    是否启用WAL归档 , 设置为on

  • archive_command
    执行本地shell命令来归档已完成的WAL文件段,
    %p表示每一个产生的WAL文件位置,%f表示该文件名,

  • 以下命令表示把新产生的WAL文件转储到指定目录中
    后面的部分表示将正常输出,错误输出重定向到日志文件中,方便查看错误情况
    'cp %p /opt/pg10.4/archivedir/%f > /opt/pg10.4/archive.log 2>&1'
    注意:确保/opt/pg10.4/archivedir里面是空的

  • archive_timeout
    archive_timeout强制服务器定期切换到新的WAL段文件,以至于WAL文件不会太少,这是可选设置,不强求。

  • 演示

[peter@localhost bin]$ cd /opt/pg
pg10.4/  pg11.1/  pg9.6.0/ 
[peter@localhost bin]$ cd /opt/pg10.4/
[peter@localhost pg10.4]$ ls
bin  data  env.sh  include  lib  share
[peter@localhost pg10.4]$ cd data
[peter@localhost data]$ ls
base          pg_ident.conf  pg_serial     pg_tblspc    postgresql.auto.conf
global        pg_logical     pg_snapshots  pg_twophase  postgresql.conf
pg_commit_ts  pg_multixact   pg_stat       PG_VERSION   postgresql.conf~
pg_dynshmem   pg_notify      pg_stat_tmp   pg_wal       postmaster.opts
pg_hba.conf   pg_replslot    pg_subtrans   pg_xact
[peter@localhost data]$ vim postgresql.conf

在这里插入图片描述

在这里插入图片描述

1.2.在成功配置posstgresql之后,在/opt/pg10.4/archivedir下就能看到WAL归档文件,如果看不到,不用急,因为测试数据少,配置之后数据库操作不多,等一会就能看到。
这里新建一个表,里面插入5条数据,做数据备份/恢复验证使用。
create table test(id int,name varchar);
insert into test values(1,'name1');
insert into test values(2,'name2');
insert into test values(3,'name3');
insert into test values(4,'name4');
insert into test values(5,'name5');

2.进行文件系统级别的备份

对postgres的数据库的数据目录 (我的是/opt/pg10.4/data)进行压缩备份,作为系统的base backup
2.1.在开始备份前,首先要在日志文件中做好标签
  • 使用默认账号,登入psql,输入
    select pg_start_backup('fullbackup');

  • 演示:

[peter@localhost Desktop]$ cd /opt/pg10.4/bin/
[peter@localhost bin]$ ./runsql.sh
psql (10.4)
Type "help" for help.
postgres=# select pg_start_backup('fullbackup');
 pg_start_backup
.-----------------
 0/2000028
(1 row)
postgres=#

做完备份开始标志之后我们可以对数据库做一些操作,这里我们再插入一条id为6的数据,到时候验证在备份过程中插入的数据最后是否能通过wal日志还原回来。

insert into test values(6,'name6');
2.2.开始备份文件系统,在另一终端中,压缩备份postgres的数据目录
[peter@localhost pg10.4]$ tar -cvzf /opt/pg10.4/pgdatabp.tar /opt/pg10.4/data/
[peter@localhost pg10.4]$ ls
archivedir   bin   data  include   share
archive.log  env.sh    lib      pgdatabp.tar
2.3.结束备份,在刚刚的数据库连接中输入

select pg_stop_backup();

  • 演示:
postgres=# select pg_stop_backup();
NOTICE:  pg_stop_backup complete, all required WAL segments have been archived
 pg_stop_backup 
.----------------
 0/20003C8
(1 row)
postgres=# 
  • 这时候我们可以看到之前的archivedir里面就有wal的日志文件了。
[peter@localhost archivedir]$ ls
000000010000000000000001  000000010000000000000002.00000028.backup
000000010000000000000002
[peter@localhost archivedir]$ ls -l
total 32772
-rw-------. 1 peter peter 16777216 Mar 20 18:38 000000010000000000000001
-rw-------. 1 peter peter 16777216 Mar 20 18:44 000000010000000000000002
-rw-------. 1 peter peter      294 Mar 20 18:44 000000010000000000000002.00000028.backup
[peter@localhost archivedir]$ 
2.4.到此时已经完成数据库的基本备份(连同整个数据库的配置,数据等),可以进行一些数据库操作,记录这些操作进行的时间,以便之后进行恢复系统可以看到结果
这里我们插入两条数据,id为7和8。这里的两条记录插入的时间我没有记录,待会恢复的时候我可以直接恢复到最新。
insert into test values(7,'name7');
insert into test values(8,'name8');

3.恢复系统

使用之前备份过的data文件夹替换原来的,添加recovery.conf脚本,重启postgres服务
3.1.假设系统意外崩溃
[peter@localhost data]$ kill -9 $(head -1 /opt/pg10.4/data/postmaster.pid)

##### 3.2.先将旧的data目录重命名为data_bad,然后用之前备份的data目录替换.
- 演示:

[peter@localhost pg10.4]$ mv data data_bad
[peter@localhost pg10.4]$ ls
archivedir bin data_bad include share
archive.log env.sh lib pgdatabp.tar
[peter@localhost pg10.4]$ tar -xvzf padatabp.tar
[peter@localhost pg10.4]$ ls
archivedir bin data_bad include opt share
archive.log env.sh lib pgdatabp.tar
[peter@localhost pg10.4]$ mv opt/pg10.4/data/ ./
[peter@localhost pg10.4]$ ls
archivedir bin data_bad include opt share
archive.log data env.sh lib pgdatabp.tar
[peter@localhost pg10.4]$

替换之后,进到data目录,需要删除postmaster.pid文件。这时候可以启动数据库了,但是里面的数据是备份时候的数据,并不包括id是7和8的数据。
##### 3.3.将data_bad内尚未归档的WAL文件手动归档至新的data目录中的pg_wal目录

- 将data_bad中的pg_wal下所有内容放到data目录下的pg_wal。

[peter@localhost data]$ rm -rf postmaster.pid
[peter@localhost data]$ cd pg_wal
[peter@localhost pg_wal]$ cp -Rf /opt/pg10.4/data_bad/pg_wal/** ./
[peter@localhost pg_wal]$ ls
000000010000000000000002 000000010000000000000003
000000010000000000000002.00000028.backup archive_status
[peter@localhost pg_wal]$

##### 3.4.在新的data目录内创建一个recovery.conf配置文件

[peter@localhost data]$ vim recovery.conf
restore_command = ‘cp /opt/pg10.4/archivedir/%f %p > /opt/pg10.4/recovery.log 2>&1’
recovery_target_timeline = ‘latest’ //这里是恢复到最后的日志块。
如果需要恢复到确定的时间点也可以这样写:
restore_command = ‘cp /opt/pg10.4/archivedir/%f %p > /opt/pg10.4/recovery.log 2>&1’
recovery_target_time = ‘2019-03-20 18:44:00’

##### 3.5.最后启动数据库

[peter@localhost bin]$ ./start_db.sh
2019-03-20 19:16:43.677 PDT [13039] LOG: listening on IPv4 address “0.0.0.0”, port 5432
2019-03-20 19:16:43.677 PDT [13039] LOG: listening on IPv6 address “::”, port 5432
2019-03-20 19:16:43.678 PDT [13039] LOG: listening on Unix socket “/tmp/.s.PGSQL.5432”
2019-03-20 19:16:43.700 PDT [13040] LOG: database system was interrupted; last known up at 2019-03-20 18:38:35 PDT
2019-03-20 19:16:43.733 PDT [13040] LOG: starting archive recovery
2019-03-20 19:16:43.764 PDT [13040] LOG: restored log file “000000010000000000000002” from archive
2019-03-20 19:16:43.787 PDT [13040] LOG: redo starts at 0/2000028
2019-03-20 19:16:43.788 PDT [13040] LOG: consistent recovery state reached at 0/20003C8
2019-03-20 19:16:43.788 PDT [13039] LOG: database system is ready to accept read only connections
2019-03-20 19:16:43.790 PDT [13040] LOG: invalid record length at 0/3000360: wanted 24, got 0
2019-03-20 19:16:43.790 PDT [13040] LOG: redo done at 0/3000328
2019-03-20 19:16:43.790 PDT [13040] LOG: last completed transaction was at log time 2019-03-20 18:47:50.812009-07
2019-03-20 19:16:43.802 PDT [13040] LOG: selected new timeline ID: 2
2019-03-20 19:16:43.843 PDT [13040] LOG: archive recovery complete
2019-03-20 19:16:43.949 PDT [13039] LOG: database system is ready to accept connections

从日志中可以看出已经恢复完成,最后查看数据库中的数据。发现全量备份之后添加的7和8两条数据也在其中。
如何在 PostgreSQL 中实现数据的增量备份和恢复? 增量备份是基于上次备份(全量备份或增量备份)以来发生的数据更改进行的备份。这意味着每次增量备份只包含自上次备份以来新插入、更新或删除的数据。 在 PostgreSQL 中,可以通过以下几种方式来实现增量备份: 1. 基于时间点的备份:利用 PostgreSQL 的 WAL(Write-Ahead Logging)日志,根据特定的时间点来提取后续的 WAL 日志进行备份。 2. 基于事务 ID 的备份:通过跟踪事务的 ID,确定自上次备份以来的新事务,并备份相关数据和 WAL 日志 阅读详情

相关推荐

如何在PostgreSQL中实现增量备份

简述在postgres中,能够使用简单的pg_dump做某个数据库的完整备份。 此外,postgres中也同样能够实现增量备份,但针对的是整个数据库集群,即所有数据库都备份下来。这里实现增量备份的思路是 1. 记录数据库系统的操作记录 2. 在某一时刻进行一次完整的数据库备份 3. 需要恢复时,还原上一次完整的数据库备份,根据操作记录恢复数据库至指定的某个时刻(即可以实现PITR

qq_32884717的博客 9076

PostgreSQL数据库系列之六:增量备份和恢复

[概述] 备份是恢复的前提。不发生故障时,世界很太平,但发生故障时,如果不能顺利进行恢复,那将是一场噩梦!甚至可能对于企业是致命打击,这绝对不是危言耸听! 日常的备份有效性的检查就显得尤其重要,一个无效的备份集和没有备份是一样的,例如备份文件无法解压,或者存储备份的介质损坏等等。除了制定备份恢复策略,还应该制定一套定期、定时的恢复测试方案。我们在恢复测试中,应该考量恢复需要花费的时间,日常测试时,...

Eric.zhong 9368

PostgreSQL时间点恢复(增量备份)

PostgreSQL的“时间点恢复”(PITR)也称为增量数据库备份,在线备份或可能是存档备份。 PostgreSQL服务器记录所有用户的数据修改事务,例如插入,更新或删除,并将其写入文件调用预写(WAL)日志文件中。 该机制使用存储在WAL文件中的历史记录来进行自上次数据库完全备份以来所做的前滚更改。 优点 零停机时间–增量数据库备份对于无法承受一分钟停机时间的关键系统非常重要。 使...

一名可爱的技术搬运工 2206

postgresql增量备份系列一

在一些大容量得数据库应用中,采用全量备份得方式,会带来大量时间浪费和开销,此时定期的增量备份可以使得数据存储周期变长。本文讲解几个增量备份工具。

weixin_73350116的博客 2215

Postgresql 9.6.5 文件级备份,全量备份,增量备份及恢复-use

背景 数据存储目录: /pgdata/9.6/poc/data postgresql.conf 配置文件: /pgdata/9.6/poc/data/postgresql.conf 数据库操作: 检查版本: /opt/pgsql-9.6/bin/postgres --version 启动: /opt/pgsql-9.6/bin/pg_ctl -D /pgdata/9.6/poc/data/ start 重启: /opt/pg...

justlpf的专栏 4708

PostgreSQL 增量备份:保护你的数据资产

在这个信息爆炸的时代,数据的安全性变得尤为重要。无论是企业的核心业务系统,还是个人的小型项目,数据丢失都可能带来无法估量的损失。作为一款强大的开源关系数据库管理系统,PostgreSQL 提供了多种备份和恢复策略,其中增量备份因其高效性和灵活性而备受青睐。本文将深入探讨 PostgreSQL 的增量备份,帮助你更好地理解其原理、应用及实施案例。增量备份是一种只备份自上次备份以来发生变化的数据的方法。这种备份方式相较于全量备份,可以节省存储空间和备份时间。

喵手的博客 1368

Postgres备份总结

除了基本的转储文件之外,更复杂的 Postgres 备份方法都依赖于保存数据库的预写日志 (WAL) 文件。在安全复制数据库之前,必须开始归档WAL流的文件,然后执行生成“基本备份”(即pg_basebackup)的过程。由于 Postgres 用于实现并发的方法(多版本并发控制),长时间运行的备份可能会导致 Postgres 的性能下降,直到转储完成。通常建议客户除了连续归档 WAL 文件外,每周进行一次完整的基本备份,并考虑其他增量备份形式—甚至可能是 pg_dump。这是一个非常强大的备份工具。

hezhou876887962的博客 1176

PostgreSQL:如何制定备份策略(全量+增量+差异备份)

PostgreSQL备份策略是保障企业数据安全与业务连续性的关键。文章系统介绍了备份类型(逻辑/物理/WAL归档)、核心机制(WAL日志与连续归档)及实现方法。物理备份(如pg_basebackup)支持时间点恢复(PITR),而逻辑备份适用于特定场景。通过WAL归档可实现增量备份效果,pgBackRest等工具可优化备份效率。文章还详细阐述了备份策略设计要点(RPO/RTO)、典型场景模板和恢复操作流程,强调定期验证备份有效性的重要性。完善的备份方案需结合业务需求,平衡恢复速度与存储成本。

数据知道的博客 2260

PostgreSQL实战之增量备份

因此,从理论上讲,如果我们有一个数据库的基础备份(也称为全备),再配合WAL日志,是可以将数据库恢复到任意时间点的。在较低的PostgreSQL版本中,使用pg_start_backup和pg_stop_backup这些低级API创建基础备份,从PostgreSQL9.1版开始有了pg_basebackup实用程序,使得创建基础备份更便捷,pg_basebackup用普通文件或创建tar包的方式进行基础备份,它在内部也是使用pg_start_backup和pg_stop_backup低级命令。

Auspicious航的博客 2233

ROS2通过ros2_socketcan实现CAN总线高效数据过滤与多节点通信

本文详细解析了ROS2通过ros2_socketcan实现CAN总线高效数据过滤与多节点通信的技术方案。文章重点探讨了CanFilterList的工作原理、多过滤器组合使用及动态配置策略,有效解决了工业应用中CAN总线数据过载问题,显著降低了CPU负载并提升了系统实时性。

n4o5p6q7r的博客 216

用户行为数据分析 User Behavior Data from Taobao for Recommendation

一、提出问题 二、理解数据 数据来源 阿里云天池数据集:(https://tianchi.aliyun.com/dataset/dataDetail?dataId=649) 本文选取的数据集为UserBehavior.csv,共有5242880条数据。数据的具体类别如下表所示: 用户行为种类有四种,如下表所示 对于数据维度的说明如下: 在本文选取的2017年11月25日到2017年12月3日的时间范围内,不重复的用户数量为10202,不重复的商品ID数为412369,不重复的商品类目ID数为5859,

cccxxxqq的博客 5208

pgbackrest 简要使用说明

测试环境:CentOS Linux release 7.4.1708 (Core) X64PostgreSQL: 10.1(Source)pgbackrest: pgbackrest-release-1.27.tar.gz1.Test-Simple-1.302120.tar.gz# perl Makefile.PL# make# make test............A...

weixin_34220623的博客 825

【分享】ArcGIS实现分子分母等标注实用技巧

前言 标注是显示在地图上的文字信息,是出图中不可或缺的重要元素,为了标注的样式丰富,摆放的位置灵活,因此给制图出图带来不少难度,以下分享几种本人在ArcGIS中的标注方法,实现上下标注、换行标注或分式标注的实用技巧。 普通模式与高级模式 默认为普通模式,勾选高级开启高级模式。 普通二分式标注(普通模式) [DLBM] & vbnewline & [DLMC] 标注效果展示 分行二分式标注(普通模式) [DLBM]& vbnewline & "——————" &

杨港 3万+

PostgreSQL 17增量备份

PostgreSQL 17使用pg_basebackup工具支持全备和增备

多米爸比的专栏 1665

深入浅出一文搞懂Raft协议

前言 在分布式的世界里,要说最核心最复杂的功能,一致性的实现无出其右,之前的paxos算法堪称经典,被认为是同类算法中效果最好的,基本上成为分布式一致性的代名词,但是paxos算法也是出了名的难理解,而且相当不好实现。本人也花了很多时间、看了很多材料也没有真正理解。所以基于paxos的思想进行的一致性算法的简化和实现就成为了现实的需求,在此背景下,本文的主角Raft就出现了。 Raft算法的头号目标就是容易理解(UnderStandable),这从论文中就可以看出来。当然,R...

microGP的专栏 6490

Cygwin安装教程

简介 cygwin是一个在windows平台上运行的unix模拟环境,是cygnus solutions公司开发的自由软件 Cygwin就是一个windows软件,该软件就是在windows上仿真linux操作系统 简言之,cygwin是一个在windows平台上运行的 linux模拟环境,使用一个Dll(动态链接库)来实现 这样,我们可以开发出Cygwin下的UNIX工具,使用这个DLL运行在W...

Errol's Blog 13万+

postgresql13定时备份,增量备份 liunx/windows10

postgresql定时备份,增量备份 ** 注: 1. 以下命令大都是root用户登录输入,有问题请查看是否是权限问题 2.中文为方便理解,实际操作不要在里面写中文 3.路径请根据对应数据库安装位置修改 ** 一: 开启日志归档 1: 配置文件修改 vim /home/postgresql/bin/postgresql.conf #开启日志归档 wal_level = replica archive_mode = on #归档日志压缩存入 /home/postgresql/db/back/ %f是文件

qingjiu6664的博客 2165

手机也能跑!5.6MB的AnimeGANv3模型部署实战:从PyTorch到ONNX再到移动端推理

本文详细介绍了如何将轻量级动画生成器AnimeGANv3从PyTorch模型转换为ONNX格式,并部署到移动端进行实时推理。通过5.6MB的极简模型设计和优化策略,实现在手机等边缘设备上的高效动漫风格转换,涵盖模型准备、格式转换、移动端优化及性能调优全流程。

weixin_33724059的博客 385

PostgreSQL增量备份

首先了解下什么是增量备份,按照百度百科Copy如下: 增量备份   增量备份是针对于上一次备份(无论是哪种备份):备份上一次备份后,所有发生变化的文件。   (增量备份过程中,只备份有标记的选中的文件和文件夹,它清除标记,既:备份后标记文件,换言之,清除存档属性。)说白了就是:只备份当天有变化的数据,并且是带标记的数据,当备份完后还要清除标记,总之他占用空间小,恢复起来麻烦。

djf_1985的专栏 4695

无线通信基础:调制与解调技术_(42).7.3.2多进制频移键控解调(MFSK解调)

MFSK解调是一种通过频谱分析和频率检测来恢复数字信号的技术。本文介绍了MFSK解调的基本原理,包括信号接收、频谱分析、频率检测和符号判决。在实际应用中,噪声会对解调性能产生影响,因此引入了信噪比优化和多步判决方法来提高解调的准确性。通过性能评估,可以更好地理解MFSK解调在不同噪声环境下的表现。这些方法和技术为MFSK在实际通信系统中的应用提供了理论和实践基础。

2401_87715305的博客 1320

OpenHarmony开发一个App,安装到BearPi-HM Micro开发板

建议先阅读我们这篇,这里面详细介绍了,以及hap包安装的全过程。本篇是介绍如何开发一个App,然后安装到开发板上,比如hap包,无法安装等问题。

Halifax 1030

PostgreSQL定期备份和增量备份

定期备份是指在规定的时间间隔内对数据库进行完整备份,以保证数据的可靠性和完整性。PostgreSQL提供了多种方式来实现定期备份,包括使用pg_dump命令和使用命令。增量备份是指在上一次完整备份之后,只备份数据库中发生变化的部分数据,以减少备份的时间和存储空间。PostgreSQL提供了多种方式来实现增量备份,包括使用pg_dump命令结合命令和使用命令结合命令。

互联网知识分享 2487

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Postgresql备份和增量恢复

最近工作上使用的数据库一直是Postgresql,这是一款开源的数据库,而且任何个人可以将该数据库用于商业用途。在使用Postgresql的时候,让我最明显的感觉就是这数据库做的真心好,虽然说数据库的安装包真的很小,但是性能和操作的便捷是一点也不输给其他商业的大型数据库,另外在命令行界面下对该数据库直接进行操作的感觉真的是很爽。在使用数据库的时候,我们作为小公司的数据库管理员有一项工作是不可能避免...

Linux中文社区 1379

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

PostgreSQL 数据库备份策略:CloudNativePG 增量与全量备份

你是否经历过数据库故障后恢复时间长达数小时?或者因备份存储成本过高而被迫减少备份频率?在 Kubernetes 环境中管理 PostgreSQL 备份时,这两个问题尤为突出。根据 CNCF 2024 年调查报告,73% 的数据库运维团队将**备份恢复效率**列为容器化数据库管理的首要挑战。CloudNativePG 作为 Kubernetes 原生的 PostgreSQL operator,通过...

gitblog_00146的博客 782

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

postgresql增量备份系列二 pg_probackup

`pg_probackup` 是一个用于管理 PostgreSQL 数据库集群备份与恢复的实用工具,截止2.5.15版本,支持 PostgreSQL 11-16 及以上版本。它能够执行定期备份,并在故障发生时帮助恢复服务器。

weixin_73350116的博客 914
上一篇: postgresql主从流复制搭建
下一篇: pg最新源码安装插件
codepeter
博客等级 码龄6年 11粉丝 47原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值