PostgreSql-学习05-逻辑解码

已于 2024-12-18 17:13:52 修改
阅读量953 收藏 19
点赞数 31
分类专栏： # PostgreSQL日常学习 文章标签： 学习 数据库 postgresql linux
于 2024-09-20 09:30:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45111959/article/details/141678082
版权

目录

一、环境

二、什么是逻辑解码

三、SQL接口控制逻辑解码

1、配置参数wal_level为logical

2、重启PG

3、验证参数wal_level

4、验证参数max_replication_slots

5、超级用户连接数据库

6、创建逻辑复制槽

7、查看逻辑复制槽

8、查看逻辑复制槽是否接收到数据变化

9、建表

10、查看逻辑复制槽是否接收到数据变化

11、查看逻辑复制槽是否接收到数据变化

12、插入多条数据

13、查看逻辑复制槽是否接收到数据变化

14、插入数据

15、逻辑复制槽预读数据变化

16、options参数改变格式

17、销毁逻辑复制槽

四、解码准备好的事务的SQL接口

1、设置参数max_prepared_transactions

2、重启PG

3、验证参数max_prepared_transactions

4、逻辑解码提交的准备事务

5、逻辑解码回滚的准备事务

五、逻辑解码插入多列多行

六、逻辑解码更新多行

七、逻辑解码删除多行

八、逻辑解码COPY

九、总结

一、环境

名称描述
PGPostgreSQL 16.3
CPUIntel(R) Core(TM) i5-1035G1 CPU @ 1.00GHz
OSCentOS Linux release 7.9.2009 (Core)

二、什么是逻辑解码

逻辑解码是一种将对数据库表的所有持久更改抽取到一种清晰、易于理解的格式的处理，这种技术允许在不了解数据库内部状态的详细知识的前提下解释该格式。

在PostgreSQL中，逻辑解码通过解码预写式日志的内容来实现，预写式日志描述了存储层面上的更改，而逻辑解码则会把更改解码成一种应用相关的形式，例如一个元组流或者 SQL 语句流。

三、SQL接口控制逻辑解码

1、配置参数wal_level为logical

[postgres@czg2 ~]$ cat /opt/Postgresql/PG_16_3/Data/postgresql.conf |grep wal_level
wal_level = logical                     # minimal, replica, or logical

2、重启PG

[root@czg2 ~]# service PG_16_3 restart
Restarting PostgreSQL: ok

3、验证参数wal_level

postgres=# \x
Expanded display is on.

postgres=# SELECT * FROM PG_CATALOG.PG_SETTINGS WHERE NAME = 'wal_level';
-[ RECORD 1 ]---+--------------------------------------------------
name            | wal_level
setting         | logical
unit            | 
category        | Write-Ahead Log / Settings
short_desc      | Sets the level of information written to the WAL.
extra_desc      | 
context         | postmaster
vartype         | enum
source          | configuration file
min_val         | 
max_val         | 
enumvals        | {minimal,replica,logical}
boot_val        | replica
reset_val       | logical
sourcefile      | /opt/Postgresql/PG_16_3/Data/postgresql.conf
sourceline      | 211
pending_restart | f

4、验证参数max_replication_slots

max_replication_slots必须至少被设置为 1。

czg=# SELECT * FROM PG_CATALOG.PG_SETTINGS WHERE NAME = 'max_replication_slots';
-[ RECORD 1 ]---+---------------------------------------------------------------------
name            | max_replication_slots
setting         | 10
unit            | 
category        | Replication / Sending Servers
short_desc      | Sets the maximum number of simultaneously defined replication slots.
extra_desc      | 
context         | postmaster
vartype         | integer
source          | default
min_val         | 0
max_val         | 262143
enumvals        | 
boot_val        | 10
reset_val       | 10
sourcefile      | 
sourceline      | 
pending_restart | f

5、超级用户连接数据库

czg=# \c
You are now connected to database "czg" as user "postgres".

6、创建逻辑复制槽

czg=# SELECT * FROM PG_CREATE_LOGICAL_REPLICATION_SLOT('czg_slot', 'test_decoding', false, true);
-[ RECORD 1 ]---------
slot_name | czg_slot
lsn       | 0/5985F468
名称描述
slot_name逻辑（解码）复制插槽名
plugin输出插件
temporary当设置为true时，指定插槽不应永久存储到磁盘，仅供当前会话使用。临时插槽也会在任何错误发生时释放。
twophase当设置为true时，指定为此插槽启用已准备事务的解码。

7、查看逻辑复制槽

czg=# SELECT * FROM PG_REPLICATION_SLOTS WHERE SLOT_NAME = 'czg_slot';
-[ RECORD 1 ]-------+--------------
slot_name           | czg_slot
plugin              | test_decoding
slot_type           | logical
datoid              | 16387
database            | czg
temporary           | f
active              | f
active_pid          | 
xmin                | 
catalog_xmin        | 1072
restart_lsn         | 0/5985F430
confirmed_flush_lsn | 0/5985F468
wal_status          | reserved
safe_wal_size       | 
two_phase           | t
conflicting         | f

8、查看逻辑复制槽是否接收到数据变化

czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
(0 rows)
名称描述
slot_name逻辑（解码）复制插槽名。
upto_lsn如果upto_lsn为非 NULL，解码将只包括那些在指定 LSN 之前提交的事务。
upto_nchanges如果upto_nchanges为非 NULL，解码将在其产生的行数超过指定值后停止。
options官方手册中没有解释。

如果upto_lsn和upto_nchanges为 NULL，逻辑解码将一直继续到 WAL 的末尾。 
不过要注意，被返回的实际行数可能更大，因为对这个限制的检查只会在增加了解码每个新的提交事务产生的行之后进行。

因为我们现在还没有做数据改变，所以没有查到数据。

9、建表

czg=# CREATE TABLE TEST (A INT);
CREATE TABLE

10、查看逻辑复制槽是否接收到数据变化

czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]-----
lsn  | 0/5985F4B8
xid  | 1072
data | BEGIN 1072
-[ RECORD 2 ]-----
lsn  | 0/59873558
xid  | 1072
data | COMMIT 1072

DDL 不会被复制，因此只会看到事务。

11、查看逻辑复制槽是否接收到数据变化

czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
(0 rows)

读取更改后，它们将被使用，并且不会在后续调用中发出。

因为我们上面设置的读取到WAL的结尾。

12、插入多条数据

czg=# BEGIN;
BEGIN
czg=*# INSERT INTO TEST VALUES(1);
INSERT 0 1
czg=*# INSERT INTO TEST VALUES(2);
INSERT 0 1
czg=*# COMMIT;
COMMIT

13、查看逻辑复制槽是否接收到数据变化

czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]---------------------------------
lsn  | 0/59873678
xid  | 1073
data | BEGIN 1073
-[ RECORD 2 ]---------------------------------
lsn  | 0/59873678
xid  | 1073
data | table public.test: INSERT: a[integer]:1
-[ RECORD 3 ]---------------------------------
lsn  | 0/598736F0
xid  | 1073
data | table public.test: INSERT: a[integer]:2
-[ RECORD 4 ]---------------------------------
lsn  | 0/59873760
xid  | 1073
data | COMMIT 1073

捕获DML正常。

14、插入数据

czg=# INSERT INTO TEST VALUES(3);
INSERT 0 1

15、逻辑复制槽预读数据变化

czg=# SELECT * FROM PG_LOGICAL_SLOT_PEEK_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]---------------------------------
lsn  | 0/59873880
xid  | 1074
data | BEGIN 1074
-[ RECORD 2 ]---------------------------------
lsn  | 0/59873880
xid  | 1074
data | table public.test: INSERT: a[integer]:3
-[ RECORD 3 ]---------------------------------
lsn  | 0/59873978
xid  | 1074
data | COMMIT 1074

PG_LOGICAL_SLOT_PEEK_CHANGES函数和PG_LOGICAL_SLOT_GET_CHANGES函数的参数和返回内容一样，只是预读数据变化，可以多次读。

16、options参数改变格式

czg=# SELECT * FROM PG_LOGICAL_SLOT_PEEK_CHANGES('czg_slot', NULL, NULL, 'include-timestamp', 'on');
-[ RECORD 1 ]----------------------------------------
lsn  | 0/59873880
xid  | 1074
data | BEGIN 1074
-[ RECORD 2 ]----------------------------------------
lsn  | 0/59873880
xid  | 1074
data | table public.test: INSERT: a[integer]:3
-[ RECORD 3 ]----------------------------------------
lsn  | 0/59873978
xid  | 1074
data | COMMIT 1074 (at 2024-08-29 17:25:07.957535+08)

17、销毁逻辑复制槽

czg=# SELECT PG_DROP_REPLICATION_SLOT('czg_slot');
-[ RECORD 1 ]------------+-
pg_drop_replication_slot |

四、解码准备好的事务的SQL接口

三中的1-6都需要执行。

1、设置参数max_prepared_transactions

[postgres@czg2 ~]$ cat /opt/Postgresql/PG_16_3/Data/postgresql.conf |grep max_prepared_transactions
max_prepared_transactions = 2           # zero disables the feature
# Caution: it is not advisable to set max_prepared_transactions nonzero unless

max_prepared_transactions至少为1。

2、重启PG

[root@czg2 ~]# service PG_16_3 restart
Restarting PostgreSQL: ok

3、验证参数max_prepared_transactions

czg=# SELECT * FROM PG_CATALOG.PG_SETTINGS WHERE NAME = 'max_prepared_transactions';
-[ RECORD 1 ]---+-----------------------------------------------------------------
name            | max_prepared_transactions
setting         | 2
unit            | 
category        | Resource Usage / Memory
short_desc      | Sets the maximum number of simultaneously prepared transactions.
extra_desc      | 
context         | postmaster
vartype         | integer
source          | configuration file
min_val         | 0
max_val         | 262143
enumvals        | 
boot_val        | 0
reset_val       | 2
sourcefile      | /opt/Postgresql/PG_16_3/Data/postgresql.conf
sourceline      | 137
pending_restart | f

4、逻辑解码提交的准备事务

czg=# \x
Expanded display is on.
czg=# BEGIN;
BEGIN
czg=*# INSERT INTO TEST VALUES(11);
INSERT 0 1
czg=*# PREPARE TRANSACTION 'TEST_PREPARED1';
PREPARE TRANSACTION
czg=# SELECT * FROM PG_LOGICAL_SLOT_PEEK_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]-----------------------------------------
lsn  | 0/59875048
xid  | 1085
data | BEGIN 1085
-[ RECORD 2 ]-----------------------------------------
lsn  | 0/59875048
xid  | 1085
data | table public.test: INSERT: a[integer]:11
-[ RECORD 3 ]-----------------------------------------
lsn  | 0/59875340
xid  | 1085
data | PREPARE TRANSACTION 'TEST_PREPARED1', txid 1085

czg=# COMMIT PREPARED 'TEST_PREPARED1';
COMMIT PREPARED
czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]-----------------------------------------
lsn  | 0/59875048
xid  | 1085
data | BEGIN 1085
-[ RECORD 2 ]-----------------------------------------
lsn  | 0/59875048
xid  | 1085
data | table public.test: INSERT: a[integer]:11
-[ RECORD 3 ]-----------------------------------------
lsn  | 0/59875340
xid  | 1085
data | PREPARE TRANSACTION 'TEST_PREPARED1', txid 1085
-[ RECORD 4 ]-----------------------------------------
lsn  | 0/598753C0
xid  | 1085
data | COMMIT PREPARED 'TEST_PREPARED1', txid 1085

czg=# SELECT * FROM TEST WHERE A = 11;
-[ RECORD 1 ]
a | 11

5、逻辑解码回滚的准备事务

czg=# BEGIN;
BEGIN
czg=*# INSERT INTO TEST VALUES(12);
INSERT 0 1
czg=*# PREPARE TRANSACTION 'TEST_PREPARED1';
PREPARE TRANSACTION
czg=# SELECT * FROM PG_LOGICAL_SLOT_PEEK_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]-----------------------------------------
lsn  | 0/59875880
xid  | 1087
data | BEGIN 1087
-[ RECORD 2 ]-----------------------------------------
lsn  | 0/59875880
xid  | 1087
data | table public.test: INSERT: a[integer]:12
-[ RECORD 3 ]-----------------------------------------
lsn  | 0/598759C0
xid  | 1087
data | PREPARE TRANSACTION 'TEST_PREPARED1', txid 1087

czg=# ROLLBACK PREPARED 'TEST_PREPARED1';
ROLLBACK PREPARED
czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]-----------------------------------------
lsn  | 0/59875880
xid  | 1087
data | BEGIN 1087
-[ RECORD 2 ]-----------------------------------------
lsn  | 0/598759C0
xid  | 1087
data | PREPARE TRANSACTION 'TEST_PREPARED1', txid 1087
-[ RECORD 3 ]-----------------------------------------
lsn  | 0/59875A40
xid  | 1087
data | ROLLBACK PREPARED 'TEST_PREPARED1', txid 1087

czg=# SELECT * FROM TEST WHERE A = 12;
(0 rows)

回滚准备事务开始之前看到的逻辑解码和之后看到的逻辑解码，少了INSERT语句。

五、逻辑解码插入多列多行

czg=# INSERT INTO TESTTAB(B,C) SELECT 99.1,'SUN_CZG';
INSERT 0 1
czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987D7F0
xid  | 1093
data | BEGIN 1093
-[ RECORD 2 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987D7F0
xid  | 1093
data | table public.testtab: INSERT: a[integer]:2098670 b[double precision]:99.1 c[character varying]:'SUN_CZG' d[text]:null e[bytea]:null f[bytea]:null g[date]:null h[timestamp without time zone]:null i[numeric]:null
-[ RECORD 3 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987D8B8
xid  | 1093
data | COMMIT 1093

看一下解析出的数据，这个输出插件test_decoding编写的已经很好了，但可以稍微压缩一下数据，一个是方便解析，二是减少数据包的大小，减少网络压力。

六、逻辑解码更新多行

czg=# UPDATE TEST SET A = 2 WHERE A < 2;
UPDATE 3
czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]---------------------------------
lsn  | 0/5987D9D8
xid  | 1094
data | BEGIN 1094
-[ RECORD 2 ]---------------------------------
lsn  | 0/5987D9D8
xid  | 1094
data | table public.test: UPDATE: a[integer]:2
-[ RECORD 3 ]---------------------------------
lsn  | 0/5987EA80
xid  | 1094
data | table public.test: UPDATE: a[integer]:2
-[ RECORD 4 ]---------------------------------
lsn  | 0/5987EAC8
xid  | 1094
data | table public.test: UPDATE: a[integer]:2
-[ RECORD 5 ]---------------------------------
lsn  | 0/5987EB40
xid  | 1094
data | COMMIT 1094

解析出的结果，我们不能断定是哪行数据变成为2，这个会影响CDC的实现。

七、逻辑解码删除多行

czg=# DELETE FROM TEST WHERE A <= 2;
DELETE 6
czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]------------------------------------
lsn  | 0/5987EC60
xid  | 1095
data | BEGIN 1095
-[ RECORD 2 ]------------------------------------
lsn  | 0/5987EC60
xid  | 1095
data | table public.test: DELETE: (no-tuple-data)
-[ RECORD 3 ]------------------------------------
lsn  | 0/5987FD28
xid  | 1095
data | table public.test: DELETE: (no-tuple-data)
-[ RECORD 4 ]------------------------------------
lsn  | 0/5987FD60
xid  | 1095
data | table public.test: DELETE: (no-tuple-data)
-[ RECORD 5 ]------------------------------------
lsn  | 0/5987FD98
xid  | 1095
data | table public.test: DELETE: (no-tuple-data)
-[ RECORD 6 ]------------------------------------
lsn  | 0/5987FDD0
xid  | 1095
data | table public.test: DELETE: (no-tuple-data)
-[ RECORD 7 ]------------------------------------
lsn  | 0/5987FE08
xid  | 1095
data | table public.test: DELETE: (no-tuple-data)
-[ RECORD 8 ]------------------------------------
lsn  | 0/5987FE70
xid  | 1095
data | COMMIT 1095

解析出的结果，我们不能断定是哪行数据被删除，这个会影响CDC的实现。

八、逻辑解码COPY

czg=# COPY PUBLIC.TESTTAB(B,C,D,E,F,G,H,I)
czg-#     FROM '/home/postgres/PgData.txt'
czg-# WITH(
czg(# 

czg(# FORMAT    CSV,
czg(# 

czg(# DELIMITER '|',
czg(# 

czg(# NULL      '',
czg(# 

czg(# QUOTE     '"',
czg(# 

czg(# ESCAPE    '\');
COPY 10
czg=# SELECT * FROM PG_LOGICAL_SLOT_GET_CHANGES('czg_slot', NULL, NULL);
-[ RECORD 1 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FF90
xid  | 1096
data | BEGIN 1096
-[ RECORD 2 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098671 b[double precision]:9.1 c[character varying]:'1LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:null h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 3 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098672 b[double precision]:9.1 c[character varying]:'2LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 4 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098673 b[double precision]:9.1 c[character varying]:'3LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 5 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098674 b[double precision]:9.1 c[character varying]:'4LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 6 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098675 b[double precision]:9.1 c[character varying]:'5LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 7 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098676 b[double precision]:9.1 c[character varying]:'6LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 8 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098677 b[double precision]:9.1 c[character varying]:'7LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 9 ]------------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/5987FFF8
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098678 b[double precision]:9.1 c[character varying]:'8LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 10 ]-----------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/59882338
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098679 b[double precision]:9.1 c[character varying]:'9LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 11 ]-----------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/59882338
xid  | 1096
data | table public.testtab: INSERT: a[integer]:2098680 b[double precision]:9.1 c[character varying]:'0LXG''ZXJ|"CLX' d[text]:'HAHHAHAH' e[bytea]:'\x41414141
4141' f[bytea]:'\x424242424242424242424242' g[date]:'2024-08-19' h[timestamp without time zone]:'2024-08-19 00:00:00' i[numeric]:8.00
-[ RECORD 12 ]-----------------------------------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------------------------
lsn  | 0/59882F08
xid  | 1096
data | COMMIT 1096

九、总结

从上面的测试结果来看，如果想用输出插件test_decoding进行逻辑解码来实现CDC，是有一定的问题的，在删除和更新的时候。PG_LOGICAL_SLOT_PEEK_CHANGES支持OPTION选项，来改变一些输出格式，不知道能不能达到想要的效果，主要的问题还是没有找到OPTION相关的介绍，如果大家有了解的欢迎分享。

PostgreSQL：逻辑复制与物理复制
在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。
04-12 1757
PostgreSQL的复制体系就像生物进化的活化石，记录着数据同步技术从简单镜像到智能分发的演化轨迹。在物理复制的确定性世界与逻辑复制的概率宇宙之间，我们看到了数据库技术应对不同场景的智慧平衡。随着PostgreSQL 16引入的逻辑复制并行应用（max_logical_replication_workers）和双向逻辑复制实验特性，这场复制革命正开启新的篇章。掌握这些技术，就如同获得在数据洪流中冲浪的智慧桨板，助您在数字时代的浪潮中破浪前行。
人大金仓数据库KingbaseES prepared transactions相关总结
arthemis_14的博客
01-16 504
在数据库系统中，事务是一组操作序列，包含了至少一条对数据库的操作。在提交整个块之前，该块中语句的结果对其他事务不可见。为了将事务与其他的数据库语句区分开来，通常事务以BEGIN开始，以COMMIT或ROLLBACK结束。如果事务失败或回滚，则对数据库完全没有影响。事务依附于会话的，但是prepared transaction是一种独立于会话的事务。
SQL代码解密工具
08-04
针对SQL存储过程加密进行解密的工具，可以浏览查看加密过的代码。
PG逻辑解码
weixin_73350116的博客
09-01 663
在postgresql中，库级别的复制，通常使用主从复制，但是主从暂时不支持跨大版本复制，使用跨版本复制以及表级别的复制通常使用发布订阅。postgresql15在逻辑订阅上做了一些修改，对于使用者的便利性更高。
PostgreSQL10 逻辑复制实战：构建高可用数据同步架构！
pitt1997的博客
02-28 871
逻辑复制（Logical Replication）是PostgreSQL10复制功能中又添加的一个重要特性。PostgreSQL有两种复制方法，一个是，或者简称流复制/物理块复制，是针对实例级别做的数据复制。另一个是，是一种复制粒度更细，更灵活的复制机制。逻辑复制依赖于逻辑解码插件并在备库上执行。
SQL Server Base64编码、解码
stupid_leilei的专栏
03-15 4968
--BASE64编码 CREATE FUNCTION [dbo].[FnBase64Encode](@src varchar(max)) 　　RETURNS VARCHAR(max) as begin 　　declare @bin varbinary(max) 　　set @bin=Convert(varbinary(max), @src) 　　return cast(N'' as xml).value('xs:base64Binary(xs:hexBinary(sql:variable("@bin")).
sql表值函数解码(,1,2,3,4,5)
hn8158的专栏
07-24 623
create FUNCTION [dbo].[FT00解码餐宿交通人员]() returns @jiema table(餐宿交通记录代码 int,餐宿交通人员代码 varchar(500)) AS begin DECLARE @餐宿交通记录代码 int DECLARE @餐宿交通人员代码 int  declare @餐宿交通人员 varchar(500) DECLARE @记录数量
sqlserver sql 实现 escape 解码
12-09
用sql实现js的unescape，方便做套打报表的朋友，自己刚写的，有问题请联系：94741441
探索PostgreSQL中间层客户端库postgresql-simple
该库还具备扩展性，开发者可以通过添加自定义的类型编码和解码器来支持PostgreSQL的特定数据类型。这意味着postgresql-simple库不仅适用于简单的应用场景，也可以在需要复杂数据交互的场景中使用，如处理大型的JSON...
fluent-plugin-pg-logical:流利的输入插件可使用逻辑解码来跟踪PostgreSQL服务器上的更改
05-17
流利的输入插件，可使用逻辑解码来跟踪PostgreSQL上的更改（插入/更新/删除）事件。 该插件可以用作PostgreSQLWAL接收器，并且需要在上游PostgreSQL服务器上安装逻辑解码插件。 安装 使用gem或fluent-gem命令安装为...
r2dbc-postgresql：Postgresql R2DBC驱动程序
02-03
逻辑解码 二进制数据传输 执行带有绑定的准备好的语句 没有绑定的批处理语句的执行 对除LOB类型（例如BLOB ， CLOB ）以外的所有数据类型的读写支持 获取的REFCURSOR使用io.r2dbc.postgresql.api.RefCursor 用于...
PostgreSQL 17深度解析（从17.0-17.4）
最新发布
一个老Java开发的自白
04-11 1044
通过深度解析PostgreSQL 17的演进，我们可以看到其在**高并发处理、数据安全、Oracle兼容性**等方面的显著提升。对于技术团队而言，及时升级并调优PostgreSQL 17，将大幅提升系统性能和可靠性，为业务增长提供坚实支撑。
基于Patroni+etcd+流复制搭建PostgreSQL高可用——筑梦之路
筑梦之路
05-29 3626
是一个基于zk、etcd、consul等的pg ha模板，可以使用python来创建和定制高可用性解决方案。Patroni使用分布式key-value数据库作为数据存储，主节点故障时进行主节点重新选举。通过PG内置的流复制，支持同步和异步复制。由于数据库信息记录在ETCD中，
pg内核之事务管理器（三） 两阶段提交
mirai_D_zoro的博客
12-29 1270
两阶段提交主要用于分布式数据库中，分布式数据库本质上是将数据分布到不同的主机上，以实现大数据量的存储。例如greenplum数据库就是基于pg的分布式分析型数据库。分布式数据库主要有两个关注点：分布式执行计划，分布式事务。而分布式事务就是本章要将的两阶段提交。读操作需要保证在不同的主机上读到一致的数据。需要保证事务在不同主机上的原子性，不能出现某个主机上写数据成功，另一个主机上写数据失败的情况。两阶段提交就是针对写操作，将事务的提交分为两个阶段，当数据写入不同的主机时，要么全部提交，要么全部回滚。
PostgreSQL中的逻辑解码
HighGO
11-15 1819
PostgreSQL 提供了将所执行的修改通过 SQL 以流的方式传送给外部消费者的方法。这种功能可以被用于复制方案以及审计。在流中被送出的更改通过逻辑复制槽标识。 流式传输这些更改的格式由使用的输出插件决定。每一个输出插件都能访问每一个由 INSERT产生的新行以及每一个由 UPDATE创建的新行版本。UPDATE和DELETE 的旧行版本的可用性取决于配置的复制标识。 逻辑解码的概念 逻...
postgresql之base64编解码
happytree001的博客
10-04 2877
pg中的base64
PG的复制
一名数据库爱好者的专栏
09-13 1677
pg的解码器 解码器是把WAL日志解析成逻辑数据的过程，将用户定阅的数据变化（即对某些表的insert/update/delete操作来带的数据变化）输出成特定的数据格式 decoderbufs 需要安装一堆插件,在centos上非常难于安装,官方给出的例子也是基于debein操作系统 wal2json debezium 对wal2json的支持不好,他自己官网说的 pgoutput postgres-10 纳入了内核 以下为pgoutput解析出来的逻辑数据 连接为 复制 pg即可以逻辑复制,也可以物理复
PostgreSQL数据库参数
SMRshy的博客
08-11 956
postgresql数据库参数介绍
Greenplum优化实战
笑看云飞处 - 专注于:互联网 电子商务 大数据 欢迎来访!
11-20 7457
GP优化方案   一、   参数调整 1、块I/O参数 1)参数描述 此参数用来设置块设备参数。 2)现参数： 现没有设置块I/O参数。 3)加入参数： #vi /etc/rc.d/rc.local blockdev --setra 16384 /dev/sdb 注：master、standby节点不需修改。 2、I/O调度算法      由于数据仓库属于IO敏感性应用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值