NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现update数据实时同步_实际操作05---大数据之Nifi工作笔记0044

已于 2023-05-06 17:09:13 修改
阅读量638 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 移动&低代码&区块链 文章标签： nifi大数据 nifi增量同步 nifi update nifi binlog nifi mysql
于 2023-05-06 14:15:47 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/130523551
本文介绍了如何使用NIFI结合Mysql的binlog功能，实现数据的增量同步，特别是针对UPDATE操作，详细展示了配置和测试过程，确保了增删改查的全量同步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先我们来看一下源数据表,我们在172.19.126.123数据库中的nifibase数据库,

的userinfo表中的id=1的这个数据,我们来更新这个数据

我们先去写一个sql试试.

 执行以后我们看看:

可以看到数据被修改成功了.然后我们去

启动captureChangeMySQL处理器,可以看到有3条数据过来了,我们看看

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现数据实时delete同步_实际操作04---大数据之Nifi工作笔记0043
添柴程序猿的专栏
05-06 510
然后我们再去启动RouteOnAttribute处理器,这个时候,可以看到数据没有去insert,update分支,而是去了delete分支.好,然后我们接着之前的那个,调试好insert数据增量同步的地方,继续进行添加处理器.可以看到这个时候有数据过来了,然后我们先去刷新看看,目标数据库中的这个数据id为1的数据。写了,只更新一个email字段,我,先做个测试,后面再想办法怎么弄,需要测试一下.这里...就比较尴尬了,因为,更新的话,不一定更新几个字段,所以这里我暂时,先。
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置binlog_使用处理器抓取binlog数据_实际操作01---大数据之Nifi工作笔记0040
添柴程序猿的专栏
04-27 893
1.首先我这里重新安装了一个mysql8.0.33 ,安装的是windows版本的,如果你是linux版本的,这里也说一下,如何开启binlog功能,首先要开启binlog才行.我们基于之前做的从mysql中获取数据,然后同步数据到mysql中,基于这个案例来做,可以看到上面是,这个案例的所有处理器,我们基于这个来改造.从172.19.126.123的mysql8.0的数据库表userinfo中,实时的捕获增量数据,然后再实时的,导入到。执行一下可以进来....我的天,怎么回事 ,弄一天了,急了急了~
NIFI实现数据库数据增量同步
浩瀚蓝天dep的博客
09-05 3791
nifi版本：1.23.2（docker镜像）
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
添柴程序猿的专栏
04-17 535
这里的hive configuration也需要配置一下hadoop的配置文件,后面操作的时候我们会说,多个xml文件之间可以使用,号分割。这里是因为nifi,现在已经是支持2版本的hive了,因为我们的hive是1版本的所以要替换一下jar包.然后我们再来看这个puthiveql,其实就是执行hive的ql的,可以看到,也需要一个数据库连接池。再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行。然后再来看这里提供通过套接字访问的映射缓存,这个意思就是。
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
热门推荐
alanchanchn的专栏
05-11 7万+
Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mysql数据到HDFS中 7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中 8、NIFI综合应用场景-NiFi监控MySQL bin
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_实现数据插入数据到目标数据库_实际操作03---大数据之Nifi工作笔记0042
添柴程序猿的专栏
05-06 396
但是现在我们仅仅是把insert数据和delete数据 都拼接成了 insert语句对吧,然后把 读取的数据 都插入到了数据库中去了,实现了增量同步,那么。先来看一下这个整体的一个修改后的,支持,增量同步insert数据,update数据,delete数据的,整体流程样式.从172.19.126.123的mysql8.0的数据库表userinfo中,实时的捕获增量数据,然后再实时的,导入到。同样我们看一下内容,要注意,这个时候我们把insert,update,delete的数据都给。
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_生成插入Sql语句_实际操作02---大数据之Nifi工作笔记0041
添柴程序猿的专栏
05-05 456
然后我们再去创建一个表,这个时候要知道,因为我们现在binlog只有,insert的,实际上我们把insert,update,delete 现在都指向,RouteOnAttribute,都路由到一个地方了,这里可以看到Sql语句,中就是带有,从EvaluateJsonPath处理器的属性中,获取到的数据,比如id,name,mobile,email,son_json等。去看看数据,可以看到时候,已经把json字符串中的,id,email database,mobile,name等都获取了。
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_02---大数据之Nifi工作笔记0034
添柴程序猿的专栏
04-17 331
对于update,是上面那样,也就是说,当是insert的时候,走RouteOnAttribute的insert的路由。然后这里我们再看,我们要获取json中的id,name,table_name等属性,可以看到,这里的。然后再来设置,根据不同的捕获的结果,比如insert 还是 update 等,来进行路由。可以看到这里对于insert,来说这里,就是用,从flowfile中,获取的这个。可以看到对应的,内容获取方式,都是通过jsonpath表达式从json中获取的。
Apache NIFI 安装 ● 操作 ● 文件同步 ● oracle 数据库增量同步实例讲解
往事知多少？
09-11 4741
nifi简介nifi背景 NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。 NiFi概念 Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻...
Nifi实时同步mysql_【NIFI】 实现数据库到数据库之间数据同步
weixin_31201555的博客
01-27 1789
数据同步界面如下： 具体流程：1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据3、使用ConvertJSONToSQL把json数据转化为sql语句4、使用PutSQL把数据存入数据库。5、同步的数据重复插入数据库，需要对数据进行更新操作，Spl...
基于nifi将mysql数据导入clickhouse
03-04
基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_插入时如果目标表中已存在该数据则自动改为更新数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0058
添柴程序猿的专栏
06-17 422
但是还有问题,就是如果插入的时候,这个时候对应id的数据在目标表中已经有了,那么这个时候就应该转为更新,数据自动变成更新数据,才能保持数据的一致性.这里数据在插入的时候,如果源表的字段中,有字段是日期类型的,并且如果有null的,上面这两篇文章都写了如何解决了.对应的更新 删除的话,如果想过滤对应的数据库,以及添加,比如要需要更新的数据在目标表中不存在就 变成插入,也是可以做的.这里19号ReplaceText处理器是用来拼接删除的sql的,很简单之前的博文也有不多说了,然后。
大数据NiFi（十八）：离线同步MySQL数据到HDFS
Lansonli（蓝深李）的博客
02-13 890
案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
【NIFI】实现MySQL-＞ORACLE数据同步
最新发布
weixin_43159039的博客
12-25 1159
实现MySQL->ORACLE数据同步。
使用nifi将mysql数据全量后增量的数据同步到Elasticsearch 中
linxuehh的博客
08-15 542
本文详细介绍了如何使用NiFi将MySQL中的数据全量后增量地同步到Elasticsearch。文章提供了模板获取链接，并具体说明了将MySQL的test_addition表数据全量导入到Elasticsearch中的land_aoi索引，然后每小时增量同步一次的过程。文章还附带了流程截图，并重点说明了表结构、建索引语句，以及使用ExecuteScript通过轮廓数据计算中心点来获取location的处理方法。
用NIFI 实现数据库之间数据同步-方法一
wawzc1s13的专栏
06-08 1805
流程化数据治理工具NIFI的使用-针对具体应用场景
nifi 实现数据库到数据库之间数据同步
sinat_28371057的博客
11-21 2539
数据同步 　　界面如下： 　　　　 　　具体流程： 　　　　1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据 　　　　2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据 　　　　3、使用ConvertJSONToSQL把json数据转化为sql语句 　　　　4、使用PutSQL把数据存入数据库。 　　　　5、同步的数据重复插入数据库，需要对数据进行更新操作，SplitJson对json进行
用NIFI 实现数据库之间数据同步-方法二
wawzc1s13的专栏
06-08 970
当前使用Mysql数据库作为例子，本文不涉及NIFI的安装，可以自行搜索两个数据源表结构要事先建好NIFI版本 1.20.0。
nifi配置mysql_binlog读取
cclovezbf的博客
08-05 1087
因为我之前有很多的binlog，最开始好像设置的statement 后面改为row了，在使用nifi读取的时候，发现读第一个binlog01的时候开始还能读7w条数据，然后就一直报错，没法，只能删除了前面所有的binglog，保留了最新的binlog。高级版本 /usr/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v /var/lib/mysql/mysqlbin.000102。//删除所有binlog日志，新日志编号从头开始。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值