FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

本文介绍了使用FlinkCDC来实现实时同步Postgresql数据库所有表字段的通用方法,通过配置文件轻松管理多个库和表的同步,并利用DDL触发器跟踪表结构变化。项目源码包含启动类、日志解析、时间戳转换和触发器创建等关键部分。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flinkcdc sql的方式同步PG数据库在之前已经详细介绍过,但是有一个问题就是每个表需要占用一个slot ,如果表比较多的情况用这种方法就不妥,于是我们开发了一套通用的PG数据库表同步工具。

关键点:通过简单配置实现表数据实时同步,DDL表结构同步功能。

完整的项目代码在我介绍完后放到git上 ,供大家参考纠正。

配置文件介绍:只需要一个配置文件可以实现多个库 多个表的实时同步,简单吧 !!

DDL 数据同步的原理是 创建一个触发器,当原表结构有变化时会将结构变化的语句保存到触发器创建的表中,再利用Flinkcdc的数据同步方法,把变化的sql语句在结果库创建一遍。

#pg数据库源库表配置信息
source_hostname=172.*******
source_port=65**
source_database=db_****test
# 模式列表,多个模式逗号隔开
source_schemaList=*****e,public
# 表列表,要加上模式名字,多个表用逗号隔开
source_tableList=public.hwdrs_ddl_info
source_username=s**
source_password=67*****
#源表
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lg4546

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值