【Flink CDC（一）】实现mysql整表与增量读取

最新推荐文章于 2025-06-17 16:34:40 发布

roman_日积跬步-终至千里

最新推荐文章于 2025-06-17 16:34:40 发布

阅读量3.9k

点赞数 17

CC 4.0 BY-SA版权

分类专栏： # flink 实战文章标签： flink mysql

本文链接：https://blog.youkuaiyun.com/hiliang521/article/details/136299132

本文详细介绍了如何使用Flink的MySQLCDC连接器从MySQL数据库获取快照数据和增量数据，涉及运行前准备、启动模式、无主键表处理以及实战示例，包括全表同步和增量同步的配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MySQL CDC 连接器允许从 MySQL 数据库读取快照数据（比如：flink任务消费时刻的整表数据）和增量数据。本文描述了如何设置 MySQL CDC 连接器来对 MySQL 数据库运行 SQL 查询。

本篇只关注mysql整表与增量读取的实现，对于并发读取等能力后续再探索。

一. 运行前准备

1. 依赖

1.1. Maven dependency

<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-mysql-cdc</artifactId>
  <!-- 请使用已发布的版本依赖，snapshot版本的依赖需要本地自行编译。 -->
  <version>2.4.0</version>
</dependency>

1.2. SQL Client JAR（推荐）

下载 flink-sql-connector-mysql-cdc-2.4.0.jar 到 <FLINK_HOME>/lib/ 目录下。

2. 配置 MySQL 服务器（必须）

你必须定义一个 MySQL 用户，该用户对 MySQL CDC 连接器监视的所有数据库都应该具有所需的权限。

# 创建用户
mysql> CREATE USER 'user'@'localhost' IDENTIFIED BY 'password';

# 赋权
mysql> GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user' IDENTIFIED