MySQL-Flink CDC-Hudi综合案例

思路分析：

 

操作步骤

（1）在MySQL中准备数据库、表，表数据

（2）在FlinkSQL中创建MySQL oe_course_tpye的映射表mysql_bxg_oe_course_type（源表）

（3）在FlinkSQL中创建Hudi的映射表hudi_bxg_oe_course_type（目标表） （hudi不需要创建物理表，但是Doris需要创建物理表）

（4）使用FlinkSQL拉起任务 insert into hudi_bxg_oe_course_type select col1,col2,col3,col4... from mysql_bxg_oe_course_type

（5）验证结果 首先验证hudi的数据（HDFS之上是否有数据） 验证Hive中是否有数据（登录hive客户端去查看）

在FlinkSQL中创建MySQL源表的映射表

 

--设置checkpoint时间
set execution.checkpointing.interval=30sec;

--创建源表的映射表
CREATE TABLE if not exists mysql_bxg_oe_course_type (
      `id` INT,
      `type_code` STRING,
      `desc` STRING,
      `creator` STRING,
      `operator` STRING,
      `create_time` TIMESTAMP(3),
      `update_time` TIMESTAMP(3),
      `delete_flag` BOOLEAN,
      PRIMARY KEY (`id