NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增加修改实时同步_使用JsonPath及自定义Python脚本_03---大数据之Nifi工作笔记0055

添柴程序猿

已于 2023-06-12 16:11:03 修改

阅读量415

点赞数

CC 4.0 BY-SA版权

分类专栏：移动&低代码&区块链文章标签： nifi cdc nifi postgresql nifi修改数据增量同步 nifi新增数据增量同步 nifi增量同步

于 2023-06-12 14:40:13 首次发布

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/131167661

移动&低代码&区块链专栏收录该内容

97 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

本文介绍了如何使用NIFI 1.21.0结合Postgresql 11的CDC（Change Data Capture）逻辑复制槽，实现指定表的多表增量同步。文章详细讲解了处理新增和修改数据的流程，包括使用EvaluateJsonPath处理JSON数据，自定义Python脚本转换数据，以及通过ReplaceText拼接SQL语句。过程中遇到的问题和解决方案也一并分享。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

然后接着上节再来看插入:

可以看到我们要使用ReplaceText处理器,拼接insert语句的话,要知道一下内容:

table表名 columnnames 列名集合 columnnames列值集合

所以这里我们来写一下:

首先配置insert对应的EvaluateJsonPath处理器,设置对应的,

{"xid":571,"change":[{"kind":"insert","schema":"public","table":"userinfo","columnnames":["id","name","mobile","email","son_json"],"columntypes":["integer","chara