FlinkCDC 接入多表或整库 (支持 MySQL,Oracle,PostgreSQL,SQLServer)

如何一键实现MySQL万表整库同步？

 

一、 环境信息

1.1 硬件信息

1. CPU ：48C
2. CPU型号：x86_64
3. 内存 ：185GB

1.2 软件信息

1. 系统 ：CentOS
2. Apahce Doris版本 ：2.0.2
3. Mysql版本：5.7.36
4. Flink版本：1.17.1
5. Flink-Doris-Connector版本：1.5

二、 功能介绍

Mysql万表存量+增量同步至Doris/SelectDB，主要是通过Flink计算引擎、基于Mysql CDC Connector和Doris社区研发的Flink Doris Connector 实现的。

无需提前建表，当Flink任务启动后，Flink Doris Connector 会自动识别对应的Doris表是否存在，不存在则自动创建Doris表，如果存在则直接启动同步任务。

并且能够支持Mysql源表Schema增删列自动变更至Doris，不需要手动变更Doris表的Schema或重启Job，便利之极。

三、 前提概要

3.1 安装部署

Doris/Flink/Mysql的安装部署流程可以根据版本自行Google。

1. Doris下载地址：Doris下载地址
2. Flink下载地址：Flink下载地址
3. MySQL包下载地址：MySQL包下载地址

3.2 JAR包准备

3.2.1 数据源

Flink源端读取MySQL数据的连接器，可通过该地址下载flink-sql-connector-mysql-cdc-2.4.1.jar：
mysql-cdc-2.4.1下载地址