<think>我们正在使用
Flink 1.17版本，并且需要配置
MySQL CDC连接器来
实现实时
数据同步。根据引用[
1]的信息，我们知道在
Flink 1.17.1中，需要两个关键jar包：
mysql-connector-java（JDBC驱动）和
flink-sql-connector-
mysql-
cdc（
CDC连接器）。同时，引用[
1]也提到了
flink-sql-connector-
mysql-
cdc是一个fat jar，包含了所有依赖，方便在SQL客户端使用。
步骤：
1. 下载所需jar包：
-
mysql-connector-java-8
.0
.27
.jar（根据引用[
1]，版本为8
.0
.27）
-
flink-sql-connector-
mysql-
cdc-2
.4
.2
.jar（注意：2
.4
.2版本对应
Flink 1.17，但需确认兼容性。根据
Flink CDC官方文档，
Flink CDC版本与
Flink版本有对应关系，这里我们使用2
.4
.x版本支持
Flink 1.17）
2
. 将这两个jar包放入
Flink安装目录的lib文件夹下。
3. 重启
Flink集群：
```bash
./bin/stop-cluster
.sh
./bin/start-cluster
.sh
```
4
. 使用
Flink SQL客户端或者编写程序来使用
MySQL CDC。
下面分别介绍两种方式：SQL客户端方式和DataStream API方式（使用
Flink SQL的Table API）。
### 方式一：使用
Flink SQL客户端
启动SQL客户端：
```bash
./bin/sql-client
.sh
```
然后，在SQL客户端中执行以下DDL语句来创建
MySQL CDC源表：
```sql
CREATE TABLE
mysql_
cdc_source (
id INT,
name STRING,
email STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
&#
39;connector&#
39; = &#
39;
mysql-
cdc&#
39;,
&#
39;hostname&#
39; = &#
39;localhost&#
39;,
&#
39;port&#
39; = &#
39;
3306&#
39;,
&#
39;username&#
39; = &#
39;root&#
39;,
&#
39;password&#
39; = &#
39;yourpassword&#
39;,
&#
39;database-name&#
39; = &#
39;testdb&#
39;,
&#
39;table-name&#
39; = &#
39;user_table&#
39;
);
```
这样就可以像查询普通表一样查询这个
CDC表，它会实时捕获
MySQL中`user_table`表的变更（插入、更新、删除）。
### 方式二：使用DataStream API（Java示例）
如果需要编写程序，可以使用
Flink的DataStream API。但注意，引用[2]中提到了一个过时的包（com
.alibaba
.ververica），这是老版本的
Flink CDC（由阿里开源，现在已进入Apache项目）。在
Flink 1.17中，我们应该使用官方的`
flink-connector-
cdc`包。
首先，在项目的pom
.xml中添加依赖（如果使用Maven）：
```xml
<dependency>
<groupId>com
.ververica</groupId>
<artifactId>
flink-connector-
mysql-
cdc</artifactId>
<version>2
.4
.2</version>
</dependency>
<dependency>
<groupId>
mysql</groupId>
<artifactId>
mysql-connector-java</artifactId>
<version>8
.0
.27</version>
</dependency>
```
然后，编写Java程序：
```java
import org
.apache
.flink.streaming
.api
.environment
.StreamExecutionEnvironment;
import org
.apache
.flink.streaming
.api
.functions
.source
.SourceFunction;
import com
.ververica
.cdc.debezium
.JsonDebeziumDeserializationSchema;
import com
.ververica
.cdc.connectors
.mysql.MySqlSource;
public class
MySqlCDCExample {
public static void main(String[] args) throws Exception {
SourceFunction<String> sourceFunction =
MySqlSource
.<String>builder()
.hostname("localhost")
.port(
3306)
.databaseList("testdb") // 设置
数据库
.tableList("testdb
.user_table") // 设置表
.username("root")
.password("yourpassword")
.deserializer(new JsonDebeziumDeserializationSchema()) // 将变更事件转换为JSON字符串
.build();
StreamExecutionEnvironment env = StreamExecutionEnvironment
.getExecutionEnvironment();
env
.addSource(sourceFunction)
.print()
.setParallelism(
1); // 设置并行度为
1，方便输出
env
.execute("
MySQL CDC Example");
}
}
```
注意：这里使用了`JsonDebeziumDeserializationSchema`，它将变更事件转换为JSON字符串，方便我们查看。
### 注意事项
- 确保
MySQL的binlog已启用。在
MySQL配置文件中（如my
.cnf）添加：
```
server-id =
1
log_bin = /var/log/
mysql/
mysql-bin
.log
binlog_format = ROW
binlog_row_image = FULL
expire_logs_days =
10
```
然后重启
MySQL服务。
- 确保
MySQL用户有复制权限（REPLICATION SLAVE, REPLICATION CLIENT）。
### 实时
数据同步示例
假设我们要将
MySQL中的表实时
同步到另一个
数据库（如ClickHouse）或消息队列（如Kafka），可以在
Flink作业中定义源表（
MySQL CDC）和目标表，然后通过INSERT INTO语句将
数据实时写入目标表。
例如，
同步到Kafka：
```sql
CREATE TABLE kafka_sink (
id INT,
name STRING,
email STRING
) WITH (
&#
39;connector&#
39; = &#
39;kafka&#
39;,
&#
39;topic&#
39; = &#
39;user_topic&#
39;,
&#
39;properties
.bootstrap
.servers&#
39; = &#
39;localhost:9092&#
39;,
&#
39;format&#
39; = &#
39;json&#
39;
);
INSERT INTO kafka_sink SELECT * FROM
mysql_
cdc_source;
```
这样，任何对
MySQL源表的变更都会实时写入Kafka。
### 总结
通过以上步骤，我们可以在
Flink 1.17中配置并使用
MySQL CDC连接器
实现实时
数据同步。关键点包括：下载正确的jar包、启用
MySQL的binlog、创建
CDC源表、将
数据同步到目标系统。
[^
1]:
Flink1.17.1本地单节点部署，并支持连接
mysql-
cdc。根据
Flink官方文档，要使用
mysql-
cdc连接器，需要配置的JDBC Driver的版本为8
.0
.27。从maven仓库中下载
mysql-connector-java-8
.0
.27
.jar，上传到
Flink的lib目录。下载
flink-sql-connector-
mysql-
cdc-2
.4
.2
.jar，上传到lib目录。重启
flink集群。
[^2]:
mysql cdc_
Flink之
Mysql数据CDC。介绍了使用
MySQLSource构建DataStream源。
§§相关问题§§
1. 如何验证
Flink MySQL CDC连接器是否正常工作？
2
. 在
Flink CDC中如何处理
MySQL表结构变更（如添加列）？
3. Flink CDC支持哪些类型的
数据库？
4
. Flink CDC在
同步数据时如何保证Exactly-Once语义？</think>###
Flink 1.17 MySQL CDC 配置与实时
数据同步指南
#### **
1. 环境准备**
- **下载依赖包**（需与
Flink 1.17兼容）：
-
MySQL JDBC驱动：[
mysql-connector-java-8
.0
.27
.jar](https://mvnrepository
.com/artifact/
mysql/
mysql-connector-java/8
.0
.27)
-
MySQL CDC连接器：[
flink-sql-connector-
mysql-
cdc-2
.4
.2
.jar](https://mvnrepository
.com/artifact/com
.ververica/
flink-sql-connector-
mysql-
cdc/2
.4
.2)
- **部署到
Flink**：
```bash
# 将JAR包放入
Flink的lib目录
cp
mysql-connector-java-8
.0
.27
.jar
flink-sql-connector-
mysql-
cdc-2
.4
.2
.jar /path/to/
flink-
1.17.1/lib/
# 重启集群
./bin/stop-cluster
.sh
./bin/start-cluster
.sh
```
#### **2
. MySQL 配置**
- **启用Binlog**（在
MySQL配置文件 `my
.cnf` 中）：
```ini
server-id =
1
log_bin = /var/log/
mysql/
mysql-bin
.log
binlog_format = ROW
binlog_row_image = FULL
```
- **创建
MySQL用户并授权**：
```sql
CREATE USER &#
39;
flink_user&#
39;@&#
39;%&#
39; IDENTIFIED BY &#
39;Password
12
3!&#
39;;
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *
.* TO &#
39;
flink_user&#
39;@&#
39;%&#
39;;
FLUSH PRIVILEGES;
```
#### **
3. Flink SQL 实时
同步示例**
```sql
-- 创建
MySQL CDC源表（捕获变更
数据）
CREATE TABLE
mysql_source (
id INT PRIMARY KEY,
name STRING,
email STRING
) WITH (
&#
39;connector&#
39; = &#
39;
mysql-
cdc&#
39;,
&#
39;hostname&#
39; = &#
39;localhost&#
39;,
&#
39;port&#
39; = &#
39;
3306&#
39;,
&#
39;username&#
39; = &#
39;
flink_user&#
39;,
&#
39;password&#
39; = &#
39;Password
12
3!&#
39;,
&#
39;database-name&#
39; = &#
39;test_db&#
39;,
&#
39;table-name&#
39; = &#
39;users&#
39;
);
-- 创建Kafka目标表（存储变更
数据）
CREATE TABLE kafka_sink (
id INT,
name STRING,
email STRING
) WITH (
&#
39;connector&#
39; = &#
39;kafka&#
39;,
&#
39;topic&#
39; = &#
39;user_updates&#
39;,
&#
39;properties
.bootstrap
.servers&#
39; = &#
39;localhost:9092&#
39;,
&#
39;format&#
39; = &#
39;json&#
39;
);
-- 启动实时
同步任务
INSERT INTO kafka_sink SELECT * FROM
mysql_source;
```
#### **4
. 关键参数说明**
| 参数 | 说明 |
|------|------|
| `connector` | 固定值 `
mysql-
cdc` |
| `scan
.startup
.mode` | 初始快照模式（`initial`/`latest-offset`） |
| `server-time-zone` |
MySQL时区（例如 `Asia/Shanghai`） |
| `debezium
.snapshot
.mode` | 快照模式（默认 `initial`） |
#### **5
. 验证
数据同步**
- **向
MySQL插入
数据**：
```sql
INSERT INTO test_db
.users(id, name, email) VALUES (
1, &#
39;Alice&#
39;, &#
39;alice@example
.com&#
39;);
```
- **检查Kafka输出**：
```json
{"id":
1,"name":"Alice","email":"alice@example
.com"}
```
#### **6
. 高级场景**
- **处理表结构变更**：
CDC自动
同步ALTER TABLE操作，但需确保目标存储支持动态Schema（如Kafka+Schema Registry）。
- **Exactly-Once保证**：
启用
Flink Checkpoint（间隔建议
10s~
30s）：
```sql
SET &#
39;execution
.checkpointing
.interval&#
39; = &#
39;
10s&#
39;;
```
> **注意**：
> - 使用 `
flink-sql-connector-
mysql-
cdc`（而非 `
flink-connector-
mysql-
cdc`）简化依赖管理[^
1]
> -
CDC支持 **INSERT/UPDATE/DELETE** 事件捕获，通过`op`字段标识操作类型（`c`=插入, `u`=更新, `d`=删除）[^2]
[^
1]:
Flink官网说明：`
flink-sql-connector-
mysql-
cdc`是
Flink SQL专用的Fat JAR，包含所有依赖。
[^2]: Debezium
数据格式规范：变更事件包含`before`（旧值）和`after`（新值）字段。
超级会员免费看
订阅专栏 解锁全文
扫一扫
3367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
