【Flink-cdc-Mysql-To-Kafka】使用 Flinksql 利用集成的 connector 实现 Mysql 数据写入 Kafka

1）环境准备

Linux 或者 Windows 端需要安装：Mysql，Kafka，Flink 等。（略）

2）准备相关 jar 包

• flink-connector-jdbc_2.11-1.12.0.jar
• mysql-connector-java-5.1.49.jar

下载地址：JDBC-Sql-Connector

• flink-format-changelog-json-1.2.0.jar
• flink-sql-connector-mysql-cdc-1.2.0.jar
• flink-sql-connector-postgres-cdc-1.2.0.jar

下载地址：ververica/flink-cdc-connectors

备用下载地址：gitee地址(github上不去就下载源码,改好version自己打包)

• flink-sql-connector-kafka_2.11-1.12.0.jar

下载地址：flink-sql-connector-kafka

• 将下载好的包放在 Flink 的 lib 目录下

3）实现场景

1、首先确认MySQL是否开启binlog机制，log_bin = ON 为开启 （如下图）

2、如果是本地环境的 Mysql 按照下面方式开启 binlog

在 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 下添加

log_bin = mysql-bin
binlog_format = ROW
expire_logs_days = 30

3、重启 Mysql 服务

4）准备工作

4.1.Mysql

1、在 Mysql 中创建 source 表：

CREATE TABLE `mysql2kafka_cdc_test` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `eventId` varchar(255) DEFAULT NULL,
  `eventStDt` varchar(255) DEFAULT NULL,
  `bak6` varchar(