NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054

添柴程序猿

于 2023-06-12 14:15:32 发布

阅读量226

点赞数

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/131088716

移动&低代码&区块链专栏收录该内容

97 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

本文介绍了如何使用NIFI 1.21.0结合PostgreSQL 11的逻辑复制槽，实现指定表的多表增量同步。详细讲述了通过EvaluateJsonPath和RouteOnAttribute处理器解析CDC数据，以及构建并执行删除SQL的过程，同时讨论了处理变更记录过大问题的分页解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先我们接着上一节,我们获取到了:

{"lsn":"0/16CDCB8","xid":"570","data":"{\"xid\":570,\"change\":[]}"}

{"lsn":"0/16CDE18","xid":"571","data":"{\"xid\":571,\"change\":[{\"kind\":\"insert\",\"schema\":\"public\",\"table\":\"userinfo\",\"columnnames\":[\"id\",\"name\",\"mobile\",\"email\",\"son_json\"],\"columntypes\":[\"integer\",\"character varying(255)\",\"character varying(255)\",\"character varying(255)\",\"character varying(255)\"],\"columnvalues\":[1,\"zhangsan\",\"13256716189\",\"11\",\"11\"]}]}"}

{"lsn":"0/16CE000","xid":"572","data":"{\"xid\":572,\"change\":[{\"kind\":\"delete\",\"schema\":\"public\",\"table\":\"userinfo\",\"oldkeys\":{\"keynames\":[\"id\"],\"keytypes\":[\"integer\"],\"keyvalues\":[1]}}]}"}

{"lsn":"0/16CE318","xid":"573","data":"{\"xid\":573,\"change\":[{\"kin