NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056

添柴程序猿

于 2023-06-12 16:39:20 发布

阅读量337

点赞数

CC 4.0 BY-SA版权

分类专栏：移动&低代码&区块链文章标签： nifi 指定多表 nifi指定表同步 nifi指定表 nifi配置多表同步 nifi配置增量同步

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/131171109

移动&低代码&区块链专栏收录该内容

97 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

该博客详细介绍了如何使用NIFI 1.21.0版本通过Postgresql 11的逻辑复制槽进行增量数据同步。流程包括从GenerateTableFetch获取CDC SQL，ExecuteSql执行查询，ConvertAvroToJSON转换数据格式，SplitJson进行分页，EvaluateJsonPath提取特定字段，并通过updateAttribute和RouteOnAttribute处理器实现指定表或全库的同步配置。博客还讨论了如何通过开关(alltable)控制同步部分表或全部表的操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先我们来看一下整体的流程:

这里分成几个图进行截图展示,因为流程太长了.上面的部分就是,首先通过GenerateTableFetch获取Postgresql的cdc数据对应的查询sql语句,然后sql语句执行,通过ExecuteSql处理器,执行以后结果经过ConvertAvroToJSON处理器,将数据由avro格式转换成JSON格式,然后,因为分页我们是2条数据一页,这里再用SplitJson处理器进行分割,分割以后,

然后从flowfile的内容中,首先提取$.data部分的数据,使用EvaluateJsonPath处理器

{
    "lsn": "0/16EFFC0",
    "xid": "630",
    "data": "{\"xid\":630,\"change\":[{\"kind\":\"insert\",\"schema\":\"public\",\"table\":\"nifiinfo\",\"columnnames\":[\"id\",\"name\",\"mobile\",\"email\",\"son_json\"],\"columntypes\":[\"integer\",\"character varying(255)\",\"character varying(255)\",\"character varying(255)\",\"character varying(255)\"],