PostgreSQL集群篇——2、PG环境安装准备

最新推荐文章于 2025-04-24 17:11:58 发布

CN華少

最新推荐文章于 2025-04-24 17:11:58 发布

阅读量851

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据 linux java redis

https://creativecommons.org/licenses/by-nc/4.0/

本文链接：https://blog.youkuaiyun.com/csde12/article/details/118722766

PostgreSQL集群篇——2、PG环境安装准备

作者

CN華少

背景QQQ

PostgreSQL官方文档中讲到了多种高可用、负载均衡和复制特性解决方案，如下图所示：

特性	共享磁盘故障转移	文件系统复制	预写式日志传送	逻辑复制	基于触发器的主-备复制	基于语句的复制中间件	异步多主控机复制	同步多主控机复制
最通用的实现	NAS	DRBD	内建流复制	内建逻辑复制，pglogical	Londiste，Slony	pgpool-II	Bucardo
通信方法	共享磁盘	磁盘块	WAL	逻辑解码	表行	SQL	表行	表行和行锁
不要求特殊硬件		•	•	•	•	•	•	•
允许多个主控机服务器				•		•	•	•
无主服务器负载	•		•	•		•
不等待多个服务器	•		with sync off	with sync off	•		•
主控机失效将永不丢失数据	•	•	with sync on	with sync on		•		•
复制体接受只读查询			with hot	•	•	•	•	•
每个表粒度				•	•		•	•
不需要冲突解决	•	•	•		•			•

我们在集群环境中使用这些技术，首先需要考虑的是我们目前面临的是什么问题，例如我现在面临的就是高并发问题如何来解决，按照上述图表中我选择了流复制解决方案。

在流复制解决方案中分为同步、异步两种，异步流复制通常采用的是基于wal日志来传送的方式进行，从节点通常比主节点要少一个wal日志块的数据，这给我们并发查询造成了影响，因此这里我们需要采用同步流复制解决方案，其采用的是数据流的方式，就像小溪一样，水一直流淌着，多条分支最终汇总到一处，同时接收处也在一直存储着。

流复制是从2010年推出pg9.0版本以后开始的，其版本到目前经历的阶段如下：

版本	方式	描述
PostgreSQL9.0	流式物理复制	开始支持流式物理复制，用户可以通过流式复制构建只读备库
PostgreSQL9.1	同步流复制	开始支持同步复制，只支持一个同步流复制节点，同步流复制能保证数据的0丢失
PostgreSQL9.2	级联流复制	开始支持联流复制，备库下面还可以再连接备库，形成级联架构
PostgreSQL9.2	流式虚拟备库	开始支持虚拟备库，即备库中没有数据文件，只包含wal文件。
PostgreSQL9.4	逻辑复制	开始支持逻辑复制，逻辑复制可以应对部分表复制的功能。
PostgreSQL9.6	同步流复制改版	同步流复制允许多个备用服务器以提高可靠性。
PostgreSQL10		使用发布/订阅进行逻辑复制
PostgreSQL11-13		持续优化

本次我们将采用PostgreSQL13.1版本进行搭建同步流复制环境，数据库安装我们采用了编译安装，如不清楚怎样安装，请查看之前的文章《PostgreSQL集群篇——1、PG环境安装准备》

环境

PostgreSQL集群篇整体采用3台虚拟机进行搭建，相关情况如下：

服务器IP	端口号	CPU	内存	存储	作用
10.28.1.181	5100	4核	8G	200G	主master节点，
10.28.1.182	5100	4核	8G	200G	从slave节点，

前期准备

1、修改内核参数

sudo vim /etc/sysctl.conf

kernel.shmmni = 4096
 kernel.sem = 250 32000 100 128
 fs.file-max = 65536      # 系统最大打开文件描述符数
 net.ipv4.ip_local_port_range = 1024 65000
 net.core.rmem_default = 1048576
 net.core.rmem_max = 1048576
 net.core.wmem_default = 262144
 net.core.wmem_max = 262144

sudo sysctl -p

master主节点内容：

1、在master与slave节点上面设置全局Host

sudo vim /etc/hosts

在内容顶部增加如下配置

10.28.1.181 master
10.28.1.182 slave
10.28.1.210 vip</pre>

2、对master节点的访问配置文件进行修改设置

su postgres
 cd /pg/data
 vim pg_hba.conf

在host all all 127.0.0.1/32 trust下面添加两行信息

# IPv4 local connections:
 host    all             all             127.0.0.1/32            trust
 # 放开全局访问，任何IP都可以使用md5加密的方式，使用任何账号访问任何数据库
 host    all             all             0.0.0.0/0               md5
 # 放开repuser用户，可以通过slave主机名(IP)通过md5的效验方式进行访问replication
 host    replication     repuser         slave                   md5

3、进入master数据库中，创建一个账号，用于我们同步过程中使用，这个账号可以自定义，这里我们使用repuser

postgres@pgserver:/pg$ psql -p5100 -h127.0.0.1
 psql (13.1)
 Type "help" for help.
 
 postgres=# CREATE USER repuser replication LOGIN CONNECTION LIMIT 3 ENCRYPTED PASSWORD 'repuser';
 CREATE ROLE

4、修改postgresql.conf文件使其具备主节点所需条件

当然你也可以采用如下方式进行简单配置，完成简单的复制设置。

vim postgresql.conf
 # - Connection Settings -
 listen_addresses = '*'
 port = 5100

注意：在PostgreSQL12及以上版本，我们如果要实现一个简单的复制设置仅需修改一下监听即可，其他均可使用默认设置，直接就具备主节点条件。

当然我们也可以采用另一种方式，在其postgresql.conf底部找到#include_dir = '...' 参数，更改为include_dir = 'conf.d' ，并在其配置文件所在目录下创建conf.d文件夹，使用本文中提供的配置文件上传至该目录中，则需要设置的复杂参数均完成替换，这里面包含了多个文件，对其8G环境下的优化后的配置参数，通常使用这套配置后的端口是5100，可根据自己需要进行修改。这里我们推荐按照上方步骤逐渐进行。本集群篇中整个完成后我们将获得到和配置仓库中提供的配置文件一样的配置。

5、重启master主节点

systemctl restart postgresql
# 或
pg_ctl restart

6、验证主节点是否已完成

postgres@pgserver:/pg$ psql -p5100 -h127.0.0.1
psql (13.1)
Type "help" for help.

postgres=# select pg_is_in_recovery();
 pg_is_in_recovery 
-------------------
 f
(1 row)

postgres=#

pg_is_in_recovery显示为f，代表着我们的主节点设置完毕了，下面我们开始进行从节点的设置。

我是一个明显的分割线

slaver从节点内容：

1、在slave节点中备份master的数据目录

注：在第一篇时，我们已经初始化了slave节点，这里我们需要先做一个删除$PGDATA目录的操作，让其重新根据master备份过来。

rm -rf $PGDATA

主要命令：

pg_basebackup -h master -p 5100 -U repuser -D $PGDATA -Fp -Xs -R -P -v

pg_basebackup被用于获得一个正在运行的PostgreSQL数据库集簇的基础备份。

-D directory

将输出写到哪个目录。如果必要，pg_basebackup将创建该目录及任何父目录。

-Fp

把输出写成平面文件，使用和当前数据目录和表空间相同的布局。

-X stream

在备份被创建时通过流复制传送预写式日志。这将开启一个到服务器的第二连接并且在运行备份时并行开始流传输预写式日志。

-R

--write-recovery-conf

在输出目录中(或者当使用 tar 格式时在基础归档文件中)建立 standby.signal 并附加连接设置到postgresql.auto.conf 来简化设置一个后备服务器。postgresql.auto.conf文件将记录连接设置(如果有)以及pg_basebackup所使用的复制槽，这样流复制后面就会使用相同的设置。

-P

--progress

启用进度报告。

-v

--verbose

启用冗长模式，可以理解为输出备份过程数据。

查看postgresql.auto.conf配置文件，检查是否包含了以下配置信息：

# Do not edit this file manually!
# It will be overwritten by the ALTER SYSTEM command.
primary_conninfo = 'user=repuser password=repuser channel_binding=disable host=master port=5100 sslmode=disable sslcompression=0 ssl_min_protocol_version=TLSv1.2 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

如果不包含，则修改postgresql.conf文件中primary_conninfo参数。

注：任何在数据库中执行命令修改参数的操作，都将存储在postgresql.auto.conf配置文件文件中

2、修改本机的postgresql.conf文件中以下参数，这里可根据自己需求进行修改。

# - Connection Settings -

listen_addresses = '*'          # what IP address(es) to listen on;
                                        # comma-separated list of addresses;
                                        # defaults to 'localhost'; use '*' for all
                                        # (change requires restart)
port = 5100                             # (change requires restart)
max_connections = 2000                  # (change requires restart)

3、启动slave节点，并连接数据库测试

systemctl start postgresql
或
pg_ctl start

如果找不到pg_ctl，可以执行source /etc/profile让其在当前用户下生效系统环境变量。

postgres@pgserver:/pg/data$ psql -p5100 -h127.0.0.1
psql (13.1)
Type "help" for help.

postgres=# select pg_is_in_recovery();
 pg_is_in_recovery 
-------------------
 t
(1 row)

postgres=#

pg_is_in_recovery显示为t，表示其已经是从节点数据库了，这时我们去master节点中连接数据库并确认一下是否可见该节点。

postgres@pgserver:/pg$ source /etc/profile
postgres@pgserver:/pg$ psql -p5100 -h 127.0.0.1
psql (13.1)
Type "help" for help.

postgres=# select * from pg_stat_replication;
  pid  | usesysid | usename | application_name | client_addr | client_hostname | client_port |         back
end_start         | backend_xmin |   state   | sent_lsn  | write_lsn | flush_lsn | replay_lsn | write_lag |
 flush_lag | replay_lag | sync_priority | sync_state |          reply_time           
-------+----------+---------+------------------+-------------+-----------------+-------------+-------------
------------------+--------------+-----------+-----------+-----------+-----------+------------+-----------+
-----------+------------+---------------+------------+-------------------------------
 68980 |    16384 | repuser | walreceiver      | 10.28.1.182 | slave           |       52046 | 2021-01-25 0
9:53:57.757238+00 |              | streaming | 0/50009E0 | 0/50009E0 | 0/50009E0 | 0/50009E0  |           |
           |            |             0 | async      | 2021-01-26 03:13:15.806144+00
(1 row)

postgres=#

这里我们可以看到slave节点已经上线，并正常运行了。

至此我们搭建完成了主备流复制环境，可以开始我们下一步的学习了。