NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059

最新推荐文章于 2024-04-03 22:47:25 发布
最新推荐文章于 2024-04-03 22:47:25 发布
阅读量266 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 移动&低代码&区块链 文章标签： nifi 指定多表 nifi配置增量同步 nifi配置多表同步 nifi过滤表 过滤数据库
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/131259988
本文介绍了使用NIFI 1.21.0实现Mysql到Mysql的增量CDC同步过程，当目标表中记录不存在时自动转为插入操作。流程包括数据处理、UpdateAttribute、ExecuteSQL等处理器配置，确保数据一致性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

     先来看一下,整体的流程,现在这个流程,针对一张表,已经可以实现自动的,监控数据库变化增量同步数据,数据中存在空值,以及日期类型数据也能处理,如果插入时目标表中已存在对应主键数据,就自动变为更新,如果更新时目标表中不存在要更新的数据就自动改为插入.

 

 

可以看到流程有点长,这次主要是说,更新这个部分,主要把重要的,处理器中的属性,以及拼接sql的内容记录下来,都是测试通过的.

然后 来看

 <

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_插入时如果目标表中已存在该数据则自动改为更新数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0058
添柴程序猿的专栏
06-17 422
但是还有问题,就是如果插入的时候,这个时候对应id的数据在目标表中已经有了,那么这个时候就应该转为更新,数据自动变成更新数据,才能保持数据的一致性.这里数据在插入的时候,如果源表的字段中,有字段是日期类型的,并且如果有null的,上面这两篇文章都写了如何解决了.对应的更新 删除的话,如果想过滤对应的数据库,以及添加,比如要需要更新的数据在目标表中不存在就 变成插入,也是可以做的.这里19号ReplaceText处理器是用来拼接删除的sql的,很简单之前的博文也有不多说了,然后。
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056
添柴程序猿的专栏
06-12 335
提取以后,然后,继续再提取:$.change[0].kind 这个change里面的数据包括,insert,update,delete这种数据,然后提取$.change[0].table表名.这里也是用EvaluateJsonPath处理器实现,然后继续,使用updataAttribute处理器,添加一个alltable 属性是1...后面先不说,继续看一下下面的流程,如果alltable配置成了2,那么就是需要全量表同步,那么就是,直接就是所有表同步了,其他值,判断不通过,就是不同步.
Nifi 自定义控件，数据插入 使用 merge into 方式
u012450976的专栏
02-27 979
可以看到 这个 PutDatabaseRecordMerge是 没有版本号的，是我自己开发的控件。 因为系统提供的这个PutDatabaseRecord 只有insert、update、delete之类的处理，没有 merge into 这个方式的处理。 因此就只能自己开发这个控件了。写篇文章记录下 遇到的问题 <!-- 必须要有这个，不然 这个控件就不会有 注...
nifi mysql to mysql_【NiFi csv to mysql系列】三写入数据库
weixin_29325515的博客
01-19 440
Abstract:本文章将展示如何将一个包含多条数据的文本文件保存到数据库中，每条数据对应数据库中的一条记录整体流程下面将依次详细说明每个核心processor的配置以及完成的功能每一行为一条记录，包含三个部分，并用双分号分割ExecuteScript就是一个执行特定脚本文件的处理器，脚本内容在Script body中指定，同时可以指定脚本的语言。我选用的是groovy编写的脚本，跟java非常类...
NIFI添加数据库连接
Mr_Tanga的博客
07-26 6641
首先打开我们的nifi网页。我们自定义一个PROCESSOR 我打开一个executor_sql 然后打开链接 点这个后面的箭头 然后点这个 之后说是让我们添加数据库， 在这搜索 DBCP,然后会出现一个返回 点这个设置 这个name主要是这个数据库链接的名字，类似与这个数据库的注释 真正的数据库链接在PROPERtIES 我们要添加的一共就4个类似，最后一个...
nifi探索之写入数据库
qinqinyijia的博客
09-06 5435
Abstract:本文章将展示如何将一个包含多条数据的文本文件保存到数据库中，每条数据对应数据库中的一条记录整体流程
NiFi 学习 — kafka入库mysql
草原孤狼的专栏
11-01 2813
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 介绍下从kafka中获取数据，然后放入到 mysql 的操作！ 目录 目标 一、准备工作 1.kafka集群 2.zookeeper集群 3.数据表 4. 造数程序 5.发送程序 二、NIFI UI配置 1.kafka的处理器 2.EvaluateJsonPath处理器配置 3.Spl...
ETL工具-nifi干货系列 第八讲 处理器PutDatabaseRecord 写数据库（详细）
最新发布
zhangjin1222的博客
04-03 1709
4、处理器PutDatabaseRecord将数据写入数据库，此处理器需要配置两个控制器，Record Reader和Database Connection Pooling Service 两个控制器。如下流程通过处理器GenerateFlowFile 生成数据，然后通过处理器JoltTransformJSON转换结构，最后通过处理器PutDatabaseRecord将数据写入数据库。3、处理器JoltTransformJSON转换结构，将结构转换成适合表字段的结构，此时有两种方式驼峰和下划线两种方式。
NIFI-实现从FTP服务器拉取文件入到clickhouse数据库
qq_21305943的专栏
03-17 4990
一、需求梳理： 1、FTP服务器上有定时新增的csv文件，文件名按照固定格式命名。 2、提取文件名上的一些字符串信息合并到数据流中，入库。 3、替换文件流中的一些字段值。 实现ETL的功能，其流程图如下： 二、文件流数据替换 选用UpdateRecord处理器、选用Schema Text格式。 Schema Access Strategy：Use 'Schema Text' Property Schema Text：{ "type":"record", "name":"nifiRecord
NIFI从MySql中离线读取数据再导入到MySql中_不带分页处理_01_QueryDatabaseTable获取数据_原0036---大数据之Nifi工作笔记0064
添柴程序猿的专栏
04-20 918
我们的sql语句起取了1条对吧,因为我们设置了run schedule,是3秒钟执行一次,所以这里出现了,一堆的数据,但是每个数据好像都是一样的.然后再看convertavrotojson处理器,拖拽过来一个,因为querydatabasetable处理器,查询过来的数据是avro格式的,然后我们设置querydatabasetable处理器的run schedule,大一点,因为这里去查询数据,查一次就可以了,因为我们的sql是写死的这里,所以,如果重复查的话,那么数据是重复的.
NIFI1.21.0_Postgresql和Mysql同时指定库_指定多表_全量同步到Mysql数据库以及Hbase数据库中---大数据之Nifi工作笔记0060
添柴程序猿的专栏
06-20 692
首先上面这个文章已经写过了,但是,那个时候仅仅是把mysql导入到mysql了,现在增加扩展,让postgresql和mysql数据库的数据,通过指定数据库,指定多表,然后直接同步到mysql数据库,同时往hbase原始库也同步一份.然后下面的GenerateTableFetch处理器,这里配置上面的部分,tablename可以看到是从flowfile的属性中获取的,这里是动态的。这是剩余的属性,这个是mysql的入库的部分,然后再看hbase的入库部分。
NIFI入门 CSV文件处理及Mysql入库
u012261499的博客
11-11 2850
NIFI CSV文件处理流程
Nifi从入门到精通（一）之 数据存储
qq_42209718的博客
07-28 1778
nifi接口连接和数据存储，数据库表的设计！
【NIFI】1.11插入/迁移数据爬坑问题记录
为什么简介是必填项？
04-29 1429
Nifi 数据迁移 无法插入数据问题记录
NIFI实现JSON转SQL并插入到数据库表中
浩瀚蓝天dep的博客
09-04 2243
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
NIFI实现数据库数据增量同步
浩瀚蓝天dep的博客
09-05 3776
nifi版本：1.23.2（docker镜像）
第二章 Apache NiFi 入门指南
Felix_CB的博客
01-08 1648
Apache NiFi 入门指南 文章目录Apache NiFi 入门指南本指南适用于谁？本指南中使用的术语下载并安装NiFi启动NiFi对于Windows用户对于Linux / Mac OS X用户服务安装总结 本指南适用于谁？ 本指南是为从未使用过NiFi或仅接触过NiFi或仅完成特定任务的用户编写的。本指南无意作为详尽的说明手册或参考指南。《 用户指南》提供了大量信息，旨在成为更详尽的资源，并且作为参考指南也非常有用。相比之下，本指南仅向用户提供所需的信息，以便他们了解如何使用NiFi，以便快速，
NiFi数据流实践：Mysql CDC To Hive
邢为栋
07-13 2038
NiFi数据流实践：实时获取Mysql CDC数据，写入HDFS/Hive。NiFi版本：1.22.0。NiFi官方文档提供了详细的概念说明和使用说明，耐心通读一遍，就可以快速上手开发NiFi数据流。
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
添柴程序猿的专栏
06-15 1165
具体的,之前已经写过,如何在NIFI中实现MySQL的增量数据同步,但是写的简单了,因为,比如在插入的时候,更新的时候,仅仅是写死的某个表,也就是针对某个表,指定好字段进行插入操作,或者更新操作,这样就有些局限了,比如我想同步一整个库,注意是增量同步,那么,难道我要一张一张表的去创建好了以后,然后我再去一个的同步嘛,比较麻烦,一点点解决.主要是这里的内容,可以看到有一列是日期类型的,那么,需要通过STR_TO_DATE。将日期格式转换可以插入到数据库中的就可以了.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值