
Flink CDC
文章平均质量分 74
依赖Flink CDC sql和DataStream俩种方式进行实时同步有主键的表和无主键的一次性数据同步。源端库有Oracle和Mysql。目标库有Mysql和 hudi on hive。
彩虹豆
欢迎各种T友交流相关大数据技术问题
展开
-
Flink DataStream 基于Select方式一次性同步Mysql表到Mysql
代码写的很菜,各位大佬如有优化的点子,还请提出,如有问题,也请反馈,只想跟大佬们一起进步,加油,奥里给。mysql 版本5.7 注意:不需要开启。MysqlReader:读取源mysql数据。MysqlWriter:写入目标Mysql。windows11 IDEA 本地运行。数据一批次性同步非CDC功能哈。MysqlCdcMysql:主类。,因为是基于表数据查询获取数据。目标表:user_new。原创 2023-06-19 09:14:02 · 559 阅读 · 0 评论 -
Flink SQL方式一次性同步单表Mysql数据到Mysql
注意:insert into 程序执行一次,数据就会重复一次哦,现在还没有实现overwrite功能,想要插入前清空表数据还得再拿JDBCDriver 去写一个sql执行。(同步多次时,只有第一次成功,其余程序不报错,数据是进不去的,主键冲突。源表没有主键但有重复的数据,目标表没有主键,数据会完整同步过去。源表没有主键,目标表没有主键,数据会完整同步过去。源表没有主键但有重复的数据,目标表有主键,程序运行没有报错但是数据同步不过去。源表有主键,目标表没有主键,数据会完整同步过去。原创 2023-06-16 16:21:09 · 1543 阅读 · 1 评论