Postgres流式备份（6）备份和恢复

最新推荐文章于 2025-11-13 05:17:37 发布
原创 最新推荐文章于 2025-11-13 05:17:37 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍使用Barman工具进行PostgreSQL数据库的备份与恢复流程，包括定时维护、全量备份、流复制状态检查、本地及远程恢复操作，以及如何处理特定错误。

备份

定时维护

定时维护，强制执行保留策略、WAL文件管理
Barman如通过rpm安装将自动添加定时配置文件/etc/cron.d/barman，内容如下，设置每分钟进行一次定时维护

# m h  dom mon dow   user     command
  * *    *   *   *   barman   [ -x /usr/bin/barman ] && /usr/bin/barman -q cron

全量备份

手动执行备份

# 备份133，133为配置的服务名称
barman backup 133

如果备份报错：WAL archive: FAILED (please make sure WAL shipping is setup)
在数据库上执行

select pg_switch_xlog() ; -- for 9.6 and earlier 
or
select pg_switch_wal() ; -- for 10

在barman上执行

# 执行维护，强制开始收取WAL
barman cron; 
# 检查是否可以开始备份
barman check 133;
# 开始备份
barman back_up 133;

# 备份所有服务
barman backup all

可以使用cron配置定时执行备份，修改/etc/cron.d/barman，添加全量定时备份

# m h  dom mon dow   user     command
  0 1    *   *   *   barman   [ -x /usr/bin/barman ] && /usr/bin/barman -q backup all

重新加载定时配置
systemctl reload crond

检查当前流复制状态

barman replication-status 133

恢复

查询已有备份

# 133为配置的服务名称
barman list-backup 133

返回结果例如

133 20190104T012032 - Fri Jan  4 01:20:39 2019 - Size: 48.6 MiB - WAL Size: 0 B
133 20190103T232839 - Thu Jan  3 23:28:42 2019 - Size: 48.5 MiB - WAL Size: 320.0 MiB

第二列为backup id，第四列为备份时间

本机还原

需要先安装与备份数据库相同版本的PostgreSQL

Barman需要对还原的目标文件夹具备权限

chown -R barman:barman /home/pg
chmod -R 700 /home/pg

恢复备份到指定时间点，可以大于当前时间，表示恢复到最新时间

su barman
barman recover --target-time "2019-01-04 01:07:30" 133 20190103T232839 /home/pg

Postgres对还原的目标文件夹具备权限

chown -R postgres:postgres /home/pg
chmod -R 700 /home/pg

修改服务器配置文件postgresql.conf,检查以下配置

  • listen_addresses：改为本机IP
  • port：改为本机端口
  • shared_buffers：改为本机合适的内存配置
  • shared_preload_libraries：选择本机已安装的插件

修改pg_hba.conf,设置合适的访问权限

检查Barman备份的streaming目录下是否有.partial后缀的文件，如果将该文件拷贝到恢复目录的pg_wal下，并删除.partial后缀

启动Postgres

查看Postgre日志，如出现以下内容，表示恢复到了指定的2019-01-04 01:07:30.563802+08时间点

2019-01-14 10:09:12 CST [30671]: [140-1] user=,db=,app=,client= LOG:  recovery stopping before commit of transaction 23584393, time 2019-01-04 01:07:30.563802+08
2019-01-14 10:09:12 CST [30671]: [141-1] user=,db=,app=,client= LOG:  recovery has paused
2019-01-14 10:09:12 CST [30671]: [142-1] user=,db=,app=,client= HINT:  Execute pg_wal_replay_resume() to continue.

此时数据库是只读的，可以打开数据库查看数据是否恢复正确

  1. 如果正确，使用超级管理员用户执行select pg_wal_replay_resume()，让数据库从只读变为可读写
  2. 如果不正确，停止数据库，修改恢复目标，再次重启恢复
    参考：https://www.postgresql.org/docs/current/recovery-target-settings.html

远程还原

还原目标服务器需要先安装与备份数据库相同版本的PostgreSQL

还原前需要先对被还原服务器做SSH免秘钥登录，否则还原将出错

恢复备份到指定时间点，可以大于当前时间，表示恢复到最新时间

barman recover --remote-ssh-command "ssh root@192.168.220.133" --target-time "2019-01-04 01:07:30" 133 20190103T232839 /home/pg

Postgres对还原的目标文件夹具备权限

chown -R postgres:postgres /home/pg
chmod -R 700 /home/pg

修改服务器配置文件postgresql.conf,检查以下配置

  • listen_addresses：改为本机IP
  • port：改为本机端口
  • shared_buffers：改为本机合适的内存配置
  • shared_preload_libraries：选择本机已安装的插件

修改pg_hba.conf,设置合适的访问权限

检查Barman备份的streaming目录下是否有.partial后缀的文件，如果将该文件拷贝到恢复目录的pg_wal下，并删除.partial后缀

启动Postgres

查看Postgre日志，如出现以下内容，表示恢复到了指定的2019-01-04 01:07:30.563802+08时间点

2019-01-14 10:09:12 CST [30671]: [140-1] user=,db=,app=,client= LOG:  recovery stopping before commit of transaction 23584393, time 2019-01-04 01:07:30.563802+08
2019-01-14 10:09:12 CST [30671]: [141-1] user=,db=,app=,client= LOG:  recovery has paused
2019-01-14 10:09:12 CST [30671]: [142-1] user=,db=,app=,client= HINT:  Execute pg_wal_replay_resume() to continue.

此时数据库是只读的，可以打开数据库查看数据是否恢复正确

  1. 如果正确，使用超级管理员用户执行select pg_wal_replay_resume()，让数据库从只读变为可读写
  2. 如果不正确，停止数据库，修改恢复目标，再次重启恢复
    参考：https://www.postgresql.org/docs/current/recovery-target-settings.html
MySQL在线通过xtrabackup流式热备份，恢复，并开启重库复制的脚本
weixin_44009427的博客
09-05 420
数据无价，谨慎操作，风险自担。 在MySQL日常管理中，需要快速的创建数据库副本进行DBA的工作。因此阅读xtrabackup等参考手册，编写以下脚本，提升了生产力。引以为抛转，如有更好，可分享。
barman备份的配置使用（备份+恢复）
wx370092877的博客
12-08 4523
前言 上次分享了barman备份的安装部署过程，这次将继续分享一下barman备份恢复工具的使用过程。 barman是目前postgreSQL数据库的比较成熟的一款备份工具，是基于postgresql的一款物理备份工具。与oracle数据库中的rman较为类似。 其简单的工作原理即为： 物理全备+归档备份（WAL日志备份），从而达到任意时间点的恢复。即恢复全备后，通过指定WAL日志的时间点、LSN等即可恢复到数据库的任意时间点。 barman备份主要分为三类： 1.仅流复制； 2.ssh/rsync; 3.
Postgres流式备份（1）Barman概述
supermancoke的博客
03-02 832
参考文档：http://docs.pgbarman.org/release/2.5/index.html 概述 Barman是使用Python编写的PostgreSQL开源备份和恢复管理器 功能 多种备份方式集成 备份文件的管理 流备份技术和工具 pg_basebackup：用于数据库全量备份 pg_receivewal/pg_receivexlog:用于基于全量对WAL增量备份，可实现很低...
Barman - 备份与恢复管理器 for PostgreSQL 指南
gitblog_00966的博客
11-13 639
**Barman** 是一个用于 PostgreSQL 数据库灾难恢复的开源工具，特别适用于对业务连续性要求高的环境。它由 Python 编写，允许组织远程备份多个服务器，并简化了恢复过程，从而减少风险。Barman 在 GNU GPL v3 许可下发布，并由 EnterpriseDB 维护。通过利用 PostgreSQL 的强健的即时恢复技术，Barman 支持点到时间的数据库恢复，是确保关键数
Postgres流式备份（5）主要命令
supermancoke的博客
03-02 533
语法 barman [OPTIONS] COMMAND OPTIONS -v, –version 显示barman版本并退出 -q, –quiet 不输入任何内容.用于定时脚本. -h, –help 显示帮助信息不能退出 -c CONFIG, –config CONFIG 使用指定的配置文件 COMMAND 所有命令均支持查看帮助 barman COMMAND -h archive-wal SE...
Postgresql的三种备份方式_postgresql备份
2401_84563605的博客
05-16 7416
把这个标志设置为true后，如果在备份期间时有其他事务修改数据库，那么系统会把被修改的数据页在修改前的完整页面都记录到WAL中，而不仅仅是记录页面中的变化的部分。当需要恢复时，我们先恢复文件系统级别的备份，然后重放备份的WAL文件，把系统恢复到之前的某个状态。如果你没有足够的空间，你至少要保存集簇的pg_xlog子目录的内容，因为它可能包含在系统垮掉之前还未被归档的日志。2. 对数据库进行一次文件系统级别的备份。假如你的数据库出现了故障，需要恢复到之前的某个时刻的一致的状态，就需要进行基于时间点的恢复。
如何将流式备份还原到其他服务器
weixin_34236497的博客
03-11 93
如何将流式备份还原到其他服务器 您可以通过创建名称与数据库源自的 Exchange Server 服务器相同的存储组和数据库名称将邮箱数据库还原到其他服务器。 重要事项： 公用文件夹数据库通常包含其他公用文件夹存储上的文件夹副本。将公用文件夹数据库的较早版本还原到替代服务器可能会导致副本问题。 开始之前 若要在安装了邮箱服务器角色的...
postgresql备份数据库-pg_dump在线热备
08-29 801
pg_dump 只备份数据库集群中的某个数据库的数据，它不会导出角色和表空间相关的信息，因为这些信息是整个数据库集群共用的，不属于某个单独的数据库。 pg_dumpall 对集群中的每个数据库调用pg_dump来完成该工作,还会还转储对所有数据库公用的全局对象（pg_dump不保存这些对象）。 目前这包括数据库用户和组、表空间以及适合所有数据库的访问权限等属性。 举例-数据库信息： 数据库名：pgdb01 用户：pgsql/123456 pg_dump备份： pg_dump -p5432 -d pgd
mysql等数据库的流式备份XtraBackup
weixin_34163553的博客
05-19 365
https://www.percona.com/software/percona-xtrabackup ...
postgres数据备份及恢复终结版
软体疯子专栏
12-03 1192
 一．POSTGRESQL数据库备份策略。1. 一种是SQL 转储备份，SQL 转储是创建一个文本文件，这个文本里面都是 SQL 命令，当把这个文件回馈给服务器时，将重建与转储时状态一样的数据库。这种备份特点备份文件小。2. 另一种备份是PITR，这个技术支持即时恢复是最大的特点。我们可以把数据库恢复到你开始备份以来的任意时刻的状态，持续把 WAL文件序列填充给其它装载了同样的基础备份文件
爱数备份--新建备份计划
lyfhehe的博客
04-16 1063
目的 为爱数备份数据库创建备份计划。 第一步，创建备份名称，填写备份目的地。 第二步，选择备份详细策略。 第三步，选择数据库服务器集群中的备份节点。点击设置，填写sys用户信息 将所有的实例都设置sys用户的备份信息 添加备份计划 备份计划做好后的状态 ...
PostgreSQL pgBackRest 是最好的PG备份工具 ？ （小试牛刀 1）
sql server的专栏
10-20 535
开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可以加群，群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共1540人左右 1 + 2 + 3 + 4） ，新人会进4群(160),另欢迎 OpenGauss...
PostgreSQL自带的命令行工具10- pg_basebackup
文牧之的博客
05-06 1213
是 PostgreSQL 中用于创建服务器的基本备份（即数据目录的完整备份）的命令行工具。它通过复制数据库集群的文件系统级数据来创建备份，包括数据库文件、配置文件和事务日志。提供了一种简单且安全的方式来创建数据库的备份，这对于灾难恢复和主从复制设置非常有用。
PostgreSQL 备份恢复工具之 Barman
Tony.Dong的专栏
05-31 2794
文章目录Barman 简介 Barman 简介 Barman（Backup and Recovery Manager，备份与恢复管理器）是一个用于 PostgreSQL 数据库灾难恢复的开源管理工具，使用 Python 编写。Barman 使得企业能够执行多个关键业务数据库的远程备份，并且协助 DBA 执行灾难时的数据恢复。 Barman 用于 PostgreSQL 数据库的物理备份，与 Ora...
Barman备份方案介绍
肥叔菌的博客
02-28 844
Barman 是一款开源的基于Python开发的集备份和恢复为一体的优秀PG数据库备份工具，它可以对单个/多个PG数据库进行远程/本地备份，用以增强业务数据的安全性，为DBA提供恢复数据库提供可靠的帮助。 Barman 优点 支持对多版本PG的备份, 已知支持PG 8.2及之后的所有版本 基于数据库全量的备份和WAL的实时备份，有效的满足RPO≈0的需求 支持对数据库文件级的增量备份，依赖于rysnc和hard link 从PG 9.2之后，支持并发（一致性）模式的备份方式，避免排他模式下数据文件中数据不
推荐使用Barman：PostgreSQL的备份与恢复管理神器
gitblog_00039的博客
11-13 810
Barman（Backup and Recovery Manager）是一款专为PostgreSQL数据库设计的开源灾难恢复工具，由Python编写。它提供了一种高效的方式，帮助企业在关键业务环境中实现远程备份多个服务器，以降低风险，并在恢复阶段为DBAs提供有力支持。Barman遵循GNU GPL 3许可证，由EnterpriseDB维护。 ## 项目技术分析 Barman的核心功能包括：
Barman安装及备份PostgreSQL
一只努力的微服务
08-22 3648
barman特点 零数据丢失备份。保证用户在只有一台备份服务器的情况下达到零数据丢失。 与备份服务器合作。允许备份服务器在与主服务器的流式复制不可用时，从barman获取wal文件。 可靠的监控集成。用于监控和创建有关Barman配置状态的报告。 可并行的备份和恢复。以更快的速度执行拷贝，加快了整个备份和恢复过程。 备份目录。允许用户在同一界面中列出、保留、删除、存档和恢复多个完整备份。 支持多...
使用 barman的备份和归档PostgreSQL
international24的博客
10-16 946
使用 barman的备份和归档PostgreSQL 1 前言 1.1 Barman简介 barman（备份和恢复管理器）是用于PostgreSQL服务器进行灾难恢复的开源管理工具，是以Python编写的。它支持对多台服务器执行远程备份，以降低风险并帮助DBA进行数据库恢复。 1.2 Barman的备份方式 本文假定读者熟悉理论上的灾难恢复概念，并且具有在PostgreSQL物理备份和灾难恢复方面的基础知识。 我们知道 PostgreSQL 的连续备份包含一个或多个基础备份和连续归档的WAL日志。
使用 Barman 的 PostgreSQL 备份和恢复管理
allway2的博客
05-21 753
在某些情况下，配置 Barman 涉及设置与 PostgreSQL 的标准连接以进行管理、协调和监控，以及 pg_basebackup 和 pg_receivewal 分别用于备份和 WAL 流的流复制连接。Barman 支持备份保留策略，允许用户建立有关备份持续时间和相关存档日志（预写日志段）的准则，以满足未来的恢复需求。replication-status 命令报告当前连接到 PostgreSQL 服务器的任何流客户端的状态，包括 Barman 服务器的 receive-wal 进程（如果已配置）。
pgsql全量备份数据库
最新发布
12-18
<think>首先，用户查询是：“我想查找pgsql全量备份数据库的方法”，这翻译成“I want to find the method for full backup of PostgreSQL database”。 系统级指令要求： - 所有行内数学表达式使用$...$格式，但这里可能不涉及数学表达式。 - 独立公式使用$$...$$，但可能不需要。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在引用段落末尾添加引用标识，如[^1]。 用户可见层要求： - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 参考的站内引用： - [^1]: 提到MySQL和PostgreSQL备份，但用户指定pgsql。 - [^2]: Postgresql 9.6.5文件级备份，全量备份，增量备份及恢复。包括停止数据库、使用rsync备份数据、压缩等。 - [^3]: Postgresql16全量备份，增量备份与故障恢复。使用pg_basebackup进行全量备份。 - [^4]: 自动备份pgsql数据库，使用pg_dump进行模式备份。 - [^5]: Pgsql全量+增量迁移tidb7.5，但似乎不直接相关。 用户明确问pgsql全量备份数据库的方法，所以我需要聚焦于PostgreSQL。 关键方法从引用中： - 引用[2]：文件级全量备份，使用rsync或tar压缩数据目录。 - 引用[3]：使用pg_basebackup进行全量备份。 - 引用[4]：使用pg_dump进行逻辑备份。 我需要解释全量备份的方法： 1. **物理备份（文件级备份）**：直接复制数据库文件。需要确保数据库处于一致状态，可能需要停止数据库或使用归档模式。 - 例如，从引用[2]：停止数据库，然后使用rsync或tar备份数据目录。 2. **逻辑备份**：使用工具如pg_dump导出数据库为SQL文件。 - 例如，从引用[4]，使用pg_dump命令。 引用[3]提到pg_basebackup，这是PostgreSQL的工具用于物理备份，支持流式复制。 所以，回答结构应该清晰： - 介绍全量备份。 - 解释两种主要方法：物理备份和逻辑备份。 - 给出具体步骤和命令，参考引用。 - 添加引用标识。 步骤： 1. 物理备份（文件级）： - 停止数据库（可选，但确保一致性）。 - 备份数据目录（如/var/lib/postgresql/data）。 - 使用rsync或tar压缩。 - 从引用[2]。 2. 使用pg_basebackup： - 一个工具用于创建基础备份，支持热备份。 - 从引用[3]。 3. 逻辑备份使用pg_dump： - 导出数据库为SQL文件。 - 可以备份整个数据库或特定模式。 - 从引用[4]。 确保回答可靠：基于标准PostgreSQL文档和实践。 生成相关问题： - 在末尾添加相关问题，如示例。 最终回答结构： - 简要介绍。 - 详细步骤。 - 代码块（如果需要）。 - 相关问题。 使用中文。 </think> ### PostgreSQL 全量备份数据库的方法 PostgreSQL（简称 pgsql）的全量备份是指备份整个数据库实例或特定数据库的所有数据，确保在故障时可以恢复。主要有两种方法：**物理备份（文件级备份）** 和 **逻辑备份（SQL转储）**。物理备份直接复制数据文件，速度快、适合大规模数据，但需要处理数据库状态一致性；逻辑备份使用工具导出为SQL脚本，灵活、可移植，但可能较慢。以下是详细步骤，基于PostgreSQL官方文档和最佳实践，确保真实可靠。 #### 1. **物理备份（文件级全量备份）** 物理备份直接复制数据库的数据目录（包含表、索引、事务日志等文件）。需确保备份时数据库处于一致状态，推荐在数据库停止或使用归档模式下操作。 - **步骤详解**: - **停止数据库（可选，确保一致性）**：如果允许停机，停止PostgreSQL服务以避免写入操作。 ```bash # 停止PostgreSQL服务（Linux示例） sudo systemctl stop postgresql ``` - **备份数据目录**：复制整个数据目录到备份位置。PostgreSQL默认数据目录通常为`/var/lib/postgresql/<version>/data`（Linux）或类似路径。 ```bash # 使用rsync备份数据目录（Linux示例） rsync -avz /var/lib/postgresql/16/data/* /backup/path/full_backup_$(date +%Y%m%d_%H%M%S) ``` - **压缩备份文件（可选）**：减少存储空间占用。 ```bash # 压缩备份目录 tar -zcvf /backup/path/full_backup_$(date +%Y%m%d_%H%M%S).tar.gz /backup/path/full_backup_* ``` - **重启数据库（如果停止）**： ```bash sudo systemctl start postgresql ``` - **热备份（不停机）方法**：使用PostgreSQL的连续归档（WAL归档）模式。启用`archive_mode = on`后，结合`pg_basebackup`工具创建基础备份。 ```bash # 使用pg_basebackup进行热备份（示例，适用于PostgreSQL 16） pg_basebackup -D /backup/path/full_backup -Ft -Xs -P -U postgres -h localhost ``` - `-D` 指定备份目录。 - `-Ft` 使用tar格式输出。 - `-Xs` 启用流式WAL传输（确保增量一致性）。 - 此方法无需停止数据库，适合生产环境[^2][^3]。 优点：备份速度快、支持增量恢复；缺点：需处理文件权限和目录结构。 **适用场景**：大型数据库、高可用系统，需快速恢复。 #### 2. **逻辑备份（SQL转储全量备份）** 逻辑备份使用`pg_dump`或`pg_dumpall`工具导出数据库为SQL脚本，包含表结构、数据和权限。 - **步骤详解**: - **备份单个数据库**：使用`pg_dump`导出指定数据库。 ```bash # 导出整个数据库（示例） pg_dump -h localhost -p 5432 -U postgres -d mydatabase -Fc -f /backup/path/full_backup_$(date +%Y%m%d).sql ``` - `-d` 指定数据库名。 - `-Fc` 使用自定义格式（压缩输出）。 - `-f` 指定输出文件。 - **备份所有数据库**：使用`pg_dumpall`备份整个实例（包括全局对象如角色）。 ```bash pg_dumpall -h localhost -p 5432 -U postgres -f /backup/path/all_databases_$(date +%Y%m%d).sql ``` - **仅备份结构（可选）**：使用`--schema-only`导出表结构。 ```bash pg_dump -h localhost -p 5432 -U postgres -d mydatabase --schema-only -f /backup/path/schema.sql ``` - **恢复备份**：使用`psql`执行SQL文件恢复。 ```bash psql -h localhost -p 5432 -U postgres -d newdb -f /backup/path/full_backup.sql ``` 优点：备份文件小、可跨版本迁移、支持选择性恢复；缺点：备份和恢复较慢，尤其大数据量[^4]。 **适用场景**：中小型数据库、开发环境、数据迁移。 #### 最佳实践建议 - **备份频率**：全量备份建议每周一次，结合每日增量备份（如WAL归档）确保数据安全。 - **验证备份**：恢复测试确保备份有效性。 - **自动化**：使用cron或脚本定时备份（参考自动备份方法[^4]）。 - **安全**：加密备份文件，避免存储敏感信息。 通过以上方法，您可以可靠地实现PostgreSQL全量备份。如需增量备份或高级配置（如PITR），请参考PostgreSQL官方文档。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值