MySQL-Flink CDC-Hudi综合案例

最新推荐文章于 2024-12-04 23:33:05 发布

原创

最新推荐文章于 2024-12-04 23:33:05 发布 · 707 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #flink #hive

该文描述了如何使用FlinkSQL从MySQL数据库通过变更数据捕获(CDC)创建源表映射，然后将数据插入Hudi表，同时配置Hudi表参数以优化写入和读取性能，并启用Hive同步。最后，验证Hudi和Hive中的数据迁移结果。

思路分析：

操作步骤

（1）在MySQL中准备数据库、表，表数据

（2）在FlinkSQL中创建MySQL oe_course_tpye的映射表mysql_bxg_oe_course_type（源表）

（3）在FlinkSQL中创建Hudi的映射表hudi_bxg_oe_course_type（目标表）（hudi不需要创建物理表，但是Doris需要创建物理表）

（4）使用FlinkSQL拉起任务 insert into hudi_bxg_oe_course_type select col1,col2,col3,col4... from mysql_bxg_oe_course_type

（5）验证结果首先验证hudi的数据（HDFS之上是否有数据）验证Hive中是否有数据（登录hive客户端去查看）

在FlinkSQL中创建MySQL源表的映射表

--设置checkpoint时间
set execution.checkpointing.interval=30sec;

--创建源表的映射表
CREATE TABLE if not exists mysql_bxg_oe_course_type (
      `id` INT,
      `type_code` STRING,
      `desc` STRING,
      `creator` STRING,
      `operator` STRING,
      `create_time` TIMESTAMP(3),
      `update_time` TIMESTAMP(3),
      `delete_flag` BOOLEAN,
      PRIMARY KEY (`id