源码编译安装配置Postgres-XC集群并使用pg_basebackup配置Datanode热备PostgreSQL

XwlyVue

于 2023-09-17 19:30:49 发布

阅读量179

点赞数

CC 4.0 BY-SA版权

文章标签： postgresql 数据库

本文链接：https://blog.youkuaiyun.com/XwlyVue/article/details/132950403

PostgreSQL 专栏收录该内容

123 篇文章 ¥59.90 ¥99.00

订阅专栏

本文详述了如何从源代码编译安装Postgres-XC，包括安装依赖、配置编译、初始化集群、创建配置文件、启动集群等步骤。同时，还介绍了使用pg_basebackup创建Datanode热备的过程，涉及创建备份目录、修改配置、创建基础备份、配置热备服务器等操作，以确保数据库的高可用性和容错性。

Postgres-XC是一个支持分布式数据库的开源项目，它基于PostgreSQL构建而成。在本文中，我们将介绍如何从源代码编译安装Postgres-XC集群，并使用pg_basebackup工具配置Datanode节点的热备。

一、编译安装Postgres-XC集群

下载Postgres-XC源代码

首先，我们需要下载Postgres-XC的源代码。你可以在Postgres-XC的官方网站或者相关的代码托管平台上获取最新的源代码。

安装依赖项

在编译之前，确保你的系统中已经安装了以下依赖项：

GCC编译器
GNU Make工具
Flex解析器生成器
Bison语法分析器生成器
OpenSSL库

你可以使用适合你的操作系统的包管理器来安装这些依赖项。

解压源代码

解压下载的源代码包，并进入解压后的目录。

配置编译选项

执行以下命令来配置编译选项：

./configure --prefix=/usr/local/pgsqlxc

这里我们指定了安装路径为/usr/local/pgsqlxc，你可以根据实际情况进行修改。

编译和安装

执行以下命令进行编译和

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

XwlyVue

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

PostgreSQL之pg_basebackup命令详解

AiFlutter的博客

08-23

1319

PostgreSQL之pg_basebackup命令详解

PostgreSQL 中pg_basebackup物理备份和恢复过程

最新发布

liumangtuzi888的博客

09-19

798

PostgreSQL物理备份与恢复指南本文详细介绍了使用pg_basebackup工具进行PostgreSQL数据库物理备份和恢复的全过程。主要内容包括：备份前的必要配置（修改postgresql.conf和pg_hba.conf文件）、执行备份命令的参数说明及示例、两种恢复场景（原服务器恢复和迁移到新服务器）的具体操作步骤。文章强调了关键参数-Xs和-R的重要性，并提示了备份的局限性（全量备份、占用空间等）。最后总结了pg_basebackup的常见用途，包括灾难恢复、搭建备库、数据迁移和创建测试环境。

参与评论您还未登录，请先登录后发表或查看评论

Postgres-XC搭建过程

06-27

Postgres-XC搭建过程

Postgres-XC

monk_sky的博客

04-05

890

Postgres-XC 是读写可伸缩的同步多主 PostgreSQL 集群。特性：读/写可伸缩对称 (多主，同步) 集群事物管理和一致性元组可视化集群节点之间的并行事物执行集群原理初级介绍 1、GTM (Global Transaction Manager) 2、Coordinator XC VS HS 个人理解，有点类似redis cluster 这个有点类似mysql的主从 XL 它与XC很相近，架构几乎是一样的，只是比XC多了一个MPP功能；什么是MPP架构呢？单条SQL提供了多数

centos6.5下postgres-XC集群安装与配置（两台）

weixin_34008784的博客

07-28

212

一、系统环境系统平台:centos 6.5postgres-XC版本:pgxc-v1.2.1.tar.gz防火墙关闭 selinux设置SELINUX=disabled主机名IP地址角色端口nodename数据目录postgresql01172.16.0.134GTM6666gtm/gtmCoordinator1921coord1/coordinator/cd1Coordinator1925coo...

postgres-xc postgres 分布式数据库的一种

weixin_34349320的博客

05-03

510

2019独角兽企业重金招聘Python工程师标准>>> ...

PostgreSQL-XC 源码编译安装

Captains-Felix的专栏

10-20

1589

PGXC 熟悉pg的人对pgxc都不陌生，pgxc最初由stromdb公司开发，应用于商业，后来被TransLattice收购并将其开源，也就是现在的pgxl。Pgxc是基于pg的非常成熟的分布式架构，是一款混合负载的htap数据库。国内也有很多基于pgxc来做的分布式数据库，例如华为GaussDB-A，腾讯Tbase，苏宁易购，亚信antdb等或多或少都借鉴了pgxc的架构理念。pgxc的总体架构大家都很清晰了，不再赘述。 pgxc的架构特点如下： ①gtm保证全局读一致性，两阶段提交保证全局写一致

PostgresXC：从源码编译、安装、配置数据库集群以及用pg_basebackup配置Datanode的热备份

竹林听雨

03-15

1236

1、下载源码首先下载源码，下载命令为： git clone http://git.code.sf.net/p/postgres-xc/postgres-xc postgres-xc-postgres-xc 2、编译安装下载完成后，开始编绎。进入到源码目录，执行命令： ./configure --prefix=/home/wslu/pgsql --enable-d

Postgresql实战：使用pg_basebackup或pg_start_backup方式搭建Postgresql主从流复制

lusklusklusk的博客

03-27

2761

Postgresql实战：使用pg_basebackup或pg_start_backup方式搭建Postgresql主从流复制

postgres-xc

bielidefeng的专栏

05-30

4272

Postgres-XC:http://blog.youkuaiyun.com/huguangshanse00/article/details/9636621http://blog.163.com/digoal@126/blog/static/1638770402013332335933/http://blog.163.com/digoal@126/blog/static/1638770402013310018

Postgres-XC Concept, Implementation and Achievements

01-28

Postgres-XC Concept, Implementation and Achievements 不可多得讲Postgres-XC细节的电子书，完整目录

分布式两大流派 POSTGRESQL -XC 了解一下

sql server的专栏

07-14

1277

分布式数据库有两大流派，NEW SQL VS POSTGRESQL -XC ，NEW SQL 的分布式主流的理论来源自 GOOGLE 的分布式数据库spanner，以及相关理论的白皮书，...

PostgreSQL-XC 使用详解及维护

Captains-Felix的专栏

10-20

3045

参考： http://postgres-xc.sourceforge.net/docs/1_2_1/ https://www.postgres-xl.org/documentation/index.html 建表详解根据数据的分布方式，pxc可以创建以下两种类型的表 Replicated Tables: 各个底层节点数据库上表中的数据完成相同。插入数据时，会分别在各个底层节点数据库上插入相同的数据。值需要读取任意一个节点的数据。 Distributed Tables: ...

PostgreSQL修炼之道之Postgres-XC的安装（十五）

Auspicious航的博客

05-30

1012

上面列出的可执行程序并没有Coordinators 和 Datanodes的主程序，实际上Coordinators和Datanodes的主程序都是postgres，只是通过不同的启动参数来表示不同的角色。Postgres-XC项目托管在sourceforge网站上，其网址为: http://sourceforge.net/projects/postgres-xc/，可以到此网站下载Postgres-XC的源码包，然后编译安装。下载下来的源码包与PostgreSQL的源码包很相似，安装方法也很相似。

Postgre-XC搭建

小伟的博客

03-29

789

下载地址: http://sourceforge.net/projects/postgres-xc1.安装依赖包yum -y install zliblg-dev libreadine6-dev bison flex libperl-devel gcc perl-ExtUtils-Embed readline-devel zlib-devel python python-devel2.安装 ...

Postgres-XC集群环境搭建

weixin_34294649的博客

12-16

913

2019独角兽企业重金招聘Python工程师标准>>> ...

在linux （CentOs7）上安装Postgres-xc

thwykb的专栏

05-16

769

Postgres-xc 的工作方式就不再说了，百度上有很多详细的说明，或者阅读文章末尾的参考资料。Postgres-xc 与Postgres-xl 其实很类似，安装时也可以参考 Postgres-xl 的资料。这里我们用的是5台机子，安装规划见下表 Postgre-xc规划表注：表参自唐成老师《PostgreSQL 修炼之道》一书 1、安装首先，

最佳实践 | 源码编译安装配置 Postgres-XC 集群并用 pg_basebackup 配置 Datanode 热备

dbkernel 的博客

07-09

403

注意：本篇文章成文时 Postgres-XC 还未改名为 Postgres-X2 。 2. 安装依赖对于 Ubuntu/Debian：对于 CentOS： 3. 编译安装 4. 初始化、启动 4.1. 初始化 GTM 4.2. 初始化数据库节点初始化所有数据库节点（CO、DN）： 4.3. 编辑配置文件编辑 data/co1/postgresql.conf：编辑 data/co2/postgresql.conf：编辑 data/dn1/postgresql.conf：编辑 data/dn2

postgresql xc 的安装配置过程

Silence Ray的博客

01-22

3589

一、什么是postgresql xc Postgres-XC是基于PostgreSQL的SHARED NOTHING的分布式关系型数据库集群，它可以管理和处理分布在多个不同主机上的海量数据。对于Postgres-XC来说，一个实例实际上是由多个独立的 PostgreSQL 实例组成，它们分布在不同的物理（或虚拟）主机上协同工作，呈现给用户的是一个数据库实例的效果。每一个Coordinator都可

pg_basebackup -h 10.10.180.251 -p 4815 -U postgres -D /backup/pg_basebackup_wal -Fp -v -X stream 这个命令生成的日志流文件位置

06-21

### pg_basebackup 日志流文件位置 `pg_basebackup` 命令在使用 `-X stream` 参数时，会通过流式传输的方式从主服务器获取事务日志（WAL）[^4]。这种方式不会在备份过程中生成单独的 WAL 文件，而是直接将 WAL 数据流式传输到客户端。因此，`-X stream` 模式下，事务日志并不会保存为独立的文件，而是被实时处理并应用于备份中。如果需要查看或存储这些流式传输的日志数据，可以通过以下方式实现： 1. **日志记录**：确保 PostgreSQL 的 `wal_level` 参数设置为 `replica` 或更高，并且 `max_wal_senders` 配置足够支持流式传输的需求[^2]。此外，可以通过 PostgreSQL 的日志配置（如 `log_min_messages` 和 `logging_collector`）捕获相关操作的日志信息。 2. **手动保存 WAL 流**：如果希望保存流式传输的 WAL 数据，可以结合管道命令将输出重定向到文件。例如： ```bash pg_basebackup -D - -Ft -X stream | gzip > backup_wal.gz ``` 这样可以将流式传输的 WAL 数据压缩并保存到指定文件中。 3. **默认位置**：在 `-X stream` 模式下，WAL 数据不会保存到特定目录，而是直接应用于备份过程中。如果需要后续恢复，可以通过 `recovery.conf` 或 `postgresql.auto.conf` 文件配置恢复路径和方法[^3]。 ### 示例代码以下是一个完整的备份示例，包含流式传输 WAL 数据的保存： ```bash pg_basebackup -U repl -D /home/postgres/backup -Ft -X stream -z -Z5 -R -Pv | gzip > /home/postgres/wal_stream.gz ``` 此命令将备份数据保存到 `/home/postgres/backup` 目录，并将流式传输的 WAL 数据压缩后保存到 `/home/postgres/wal_stream.gz` 文件中。 ### 注意事项 - 如果未使用管道或其他方式保存流式传输的 WAL 数据，则这些数据在备份完成后将不可用。 - 确保备份目标目录具有足够的磁盘空间以存储备份文件和可能的 WAL 数据[^1]。