超级会员免费看
本文详细介绍了如何使用NIFI1.21.0进行Mysql到Mysql的增量CDC同步，并在数据插入时遇到目标表已有相同数据时自动转为更新，以确保数据一致性。流程包括EvaluateJsonPath、UpdateAttribute、ExecuteSql等处理器的使用，以及针对特定数据库的路由和操作。
首先关于通过使用NIFI1.21.0最新版本,来进行Mysql数据增量同步的具体细节,之前两个文章都写过了,这里只是做细化和功能补充:
之前的文章去参考:
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现update数据实时同步_实际操作05---大数据之Nifi工作笔记0044
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
这里数据在插入的时候,如果源表的字段中,有字段是日期类型的,并且如果有null的,上面这两篇文章都写了如何解决了.
但是还有问题,就是如果插入的时候,这个时候对应id的数据在目标表中已经有了,那么这个时候就应该转为更新,数据自动变成更新数据,才能保持数据的一致性.
先来看一看整体的流程,内容多一些:
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
