Debezium PostgreSQL 连接器捕获 PostgreSQL 数据库模式中的行级更改。有关与连接器兼容的 PostgreSQL 版本的信息,请参阅Debezium 版本概述。
第一次连接到 PostgreSQL 服务器或集群时,连接器会拍摄所有模式的一致快照。在该快照完成后,连接器会持续捕获插入、更新和删除数据库内容以及提交到 PostgreSQL 数据库的行级更改。连接器生成数据更改事件记录并将它们流式传输到 Kafka 主题。对于每个表,默认行为是连接器将所有生成的事件流式传输到该表的单独 Kafka 主题。应用程序和服务使用来自该主题的数据更改事件记录。
概述
PostgreSQL 的逻辑解码功能是在 9.4 版本中引入的。它是一种机制,允许提取提交到事务日志的更改,并在输出插件的帮助下以用户友好的方式处理这些更改。输出插件使客户端能够使用更改。
PostgreSQL 连接器包含两个主要部分,它们协同工作以读取和处理数据库更改:
- 一个逻辑解码
本文深入探讨了如何使用Debezium PostgreSQL连接器捕获和流式传输数据库的行级更改。连接器首次启动时执行一致性快照,随后持续监听并生成事件。文中详细介绍了快照的工作流程,包括ad hoc快照和增量快照,以及如何处理冲突。此外,还讲解了连接器如何处理数据更改事件,生成元数据,并提供了配置PostgreSQL和Kafka Connect的指导,以及监控和故障处理策略。
订阅专栏 解锁全文
607

被折叠的 条评论
为什么被折叠?



