Flink CDC读取MySQL的例子

最新推荐文章于 2025-11-02 18:52:29 发布
原创 最新推荐文章于 2025-11-02 18:52:29 发布 · 2.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #flink #flink cdc

本文详细介绍了如何配置MySQL以启用binlog，以及如何利用FlinkSQL读取MySQL数据。首先，通过修改my.cnf启用MySQLbinlog，并创建测试数据库和表。接着，下载并配置Flink及mysql-cdc.jar，启动Flink测试环境。最后，通过FlinkSQL创建表并执行查询，成功读取MySQL数据。

前面转载了Flink CDC的机制文章，原理看起来还是比较好理解的，那么接下来很多人肯定都跃跃欲试了。

这篇文章分享一下MySQL作为源端，使用Flink SQL如何读取MySQL数据。

注意：如果经验有限，在进行所有的软件安装配置操作之前，请先仔细阅读一遍Flink CDC官方文档，目的主要是从文档中获取到Flink CDC与Flink版本对照关系及其他软件的支持版本。

本文章使用的软件版本如下：

  • flink-1.13.3
  • flink-sql-connector-mysql-cdc-2.0.2.jar
  • 10.3.29-MariaDB-log
  • openjdk version "11.0.11" 2021-04-20

1.MySQL配置

在进行配置之前，首先你需要自行安装MySQL，具体步骤这里不展开说了，大家如果安装MySQL有困难还请自己去百度一下。

当前Flink CDC官方宣称支持的MySQL版本信息如下：

  • Database: 5.7, 8.0.x
  • JDBC Driver: 8.0.16

我这边测试过程中使用的是MariaDB 10，也是支持的。

1.1 启用MySQL binlog

修改my.cnf文件，增加如下信息：

最低0.47元/天 解锁文章
【Flink】 FlinkCDC读取Mysql（ DataStream 方式）（带完整源码，直接可使用）
一杯咖啡半杯糖的博客
09-14 1616
简介： FlinkCDC读取Mysql数据源，程序中使用了自定义反序列化器，完整的Flink结构，开箱即用。 本工程提供 1、项目源码及详细注释，简单修改即可用在实际生产代码 2、成功编译截图 3、自己编译过程中可能出现的问题 4、mysql建表语句及测试数据 5、修复FlinkCDC读取Mysql数据时间戳差8小时问题 6、自定义反序列化器让FlinkCDC读取和后续的处理更方便
【大数据】Flink CDC 实时同步mysql数据
热门推荐
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink CDC 读取MySQL的数据
一个数据小开发的博客
12-24 1万+
1、前提背景准备 Flink在1.11之后就已经支持从MySQL增量读取Binlog日志的方式。 pom文件如下： <properties> <scala.binary.version>2.11</scala.binary.version> <scala.version>2.11.12</scala.version> <flink.version>1.12.0</flink.version>
用 Flink CDC 将 MySQL 实时同步到 Doris
最新发布
hello.reader
11-02 2187
本文演示如何在本地机器上通过 Flink CDC CLI 构建一个 Streaming ELT 作业，将 MySQL 的全量 + 增量数据同步到 Doris，并覆盖三个关键能力：整库同步、Schema 演进、分表并表（路由合并）。全流程不需要写 Java/Scala 代码与 IDE，仅用标准 SQL（对源端造数）与 YAML 配置（对 CDC 管道）。
Flink CDC2.2动态加载表，读取mysql数据，写入到mq
qq_34373761的博客
06-23 6297
1、使用 Flink Stream API 开发一个 Flink CDC Demo 2、以Mysql为例，采集Mysql binlog数据并发送到mq 3、生成 checkpoint 数据，重启程序从执行的状态恢复数据 4、演示2.2版本动态加载表的新特性
Flink CDC读取Mysql数据
penngo的专栏
05-22 4296
Flink Mysql CDC的核心原理都是通过监控mysql的binlog的日志变化，从而进行日志解析，得到变化的数据。 Flink CDC官网：https://github.com/ververica/flink-cdc-connectors MySql CDC：https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/con
Flink mysql cdc 读取
xiaoc100200的博客
12-05 3284
Flink1.11 读取mysql cdc 返回DataStream[(Boolean, Row)]，可以根据元组第一个值为True or false判定数据是弃用或者更新插入 package com.cdc import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironm.
Flink CDC读取Mysql时，Decimal类型数据异常，变成了字符串（源码解析及解决方案）
蜗牛小将
08-28 744
Flink CDC 读Mysql时，decimal类型的数据转换问题
flink cdc 读取mysql的binlog写入hive中
ChengYanan的博客
01-20 5147
package com.zallsteel.flink.app.log; import com.google.gson.Gson; import com.zallsteel.flink.entity.ChangelogVO; import com.zallsteel.flink.utils.ConfigUtils; import org.apache.commons.lang3.time.FastDateFormat; import org.apache.flink.api.common.eventt
Flink CDC实时获取MySQL数据
高国才的博客
09-05 8211
1.Flink CDC简介 （参考：http://www.dreamwu.com/post-1594.html） 1.1什么是CDC CDC是Change Data Capture(变更数据获取)的简称。核心思想是监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。常见的CDC组件有基于查询的Sqoop、Kafka JDBC Source，基于Binlog的Canal、Maxwell、Debezium等。.
使用Flinkcdc 采集mysql数据
别这么骄傲
12-18 2051
验证 MySQL 配置： Flink CDC 依赖 MySQL 的 binlog 功能进行数据采集。log_bin = mysql-bin # 开启 binlog 功能，文件名为 mysql-bin。expire_logs_days = 30 # binlog 日志保留天数，自动清理超过30天的日志。（2）将下载的 JAR 文件放到 Flink 集群的 lib/ 目录 中，重启flink集群。启动flink sql客户端。（1）或者虚拟机在线下载。
flink-sql-connector-mysql-cdc-1.1.1.jar
03-12
flink-sql-connector-mysql-cdc-1.1.1.jar
Flink系列之：使用Flink CDC实时获取MySQL数据库数据
AlianBlank的博客
08-14 1565
Apache Flink是一个开源的流式处理框架，它提供了强大的功能和丰富的API，使我们能够高效地处理实时数据流。本文将介绍如何使用Flink CDC（Change Data Capture）模块从MySQL数据库实时获取数据，并展示相应的源代码。我们通过创建Flink CDC示例项目，并实现相应的源代码，演示了从MySQL数据库中获取数据的过程。接下来，我们将创建一个Flink CDC示例项目并实现从MySQL数据库获取数据的功能。Flink系列之：使用Flink CDC实时获取MySQL数据库数据。
Flink CDC (Mysql为例)
m0_37298602的博客
07-26 6592
flink cdc mysql 对数据的解析和消费进行了二次封装，使用者只需增加简单的配置，实现FlinkConsumerListener接口，关注编写业务代码即可。
Flink CDC实时同步mysql数据
Java和大数据等相关的技术交流分享，欢迎关注交流
12-14 2427
Apache Flink 的 Change Data Capture (CDC) 是一种用于捕获数据库变化（如插入、更新和删除操作）的技术。Flink CDC Connector 允许你使用 Flink 从 MySQL 等数据库中读取变化数据，并处理这些流式数据。
【Flink CDC（一）】实现mysql整表与增量读取
hiliang521的博客
02-26 4200
【Flink CDC（一）】实现mysql整表与增量读取
Flinkcdc监测mysql数据库，自定义反序列化，利用flinkApi和flinkSql两种方式
2301_79197199的博客
04-05 2261
CDC (Flink Change Data Capture)（Flink中改变数据捕获） 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。搭配Flink计算框架，Flink CDC 可以高效实现海量数据的实时集成。改变你们的一个误区，cdc只有检测功能，不能对数据库中的数据进行修改删除添加。
Flink 读写MySQL数据（DataStream和Table API）
wank1259162的博客
06-24 9674
Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。Maven依赖，包含了Hive Catalog的相关依赖 DataStream方式读写MySQL数据 Table API的方式读写MySQL，其中Flink的Catalog使用Hive Catalog的方式 MySQL中的数据..........
Flink 通过批量和CDC两种方式读取MySQL数据入Iceberg
wank1259162的博客
06-28 3578
Flink JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入其中。本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则，它以 append 模式运行，不支持消费 UPDATE/DELETE 消息。 测试代码 代码说明 1、hadoop catalog创建 创建脚本，warehouse的路径，它会自动创建HDFS路
flink cdc读取mysql
08-31
要使用Flink CDC读取MySQL，您需要按照以下步骤进行操作： 1. 首先，您需要从Flink CDC的GitHub发布页面下载最新的jar包flink-sql-connector-mysql-cdc-2.0.2.jar。 2. 接下来，进入Flink的bin目录，并执行./start-cluster.sh命令启动Flink测试环境。 3. 在Flink SQL中读取MySQL数据，您需要执行以下步骤： - 进入Flink的bin目录，并执行./sql-client.sh命令启动Flink SQL。 - 在Flink SQL中创建一个表，例如，可以使用以下命令创建名为mysql_binlog的表： CREATE TABLE mysql_binlog ( id INT NOT NULL, name STRING, description STRING, weight DECIMAL(10,3), PRIMARY KEY(id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = '192.168.0.200', 'port' = '3306', 'username' = 'root', 'password' = 'passwd', 'database-name' = 'demo', 'table-name' = 'products' ); 这将使用Flink CDC连接器创建一个名为mysql_binlog的表，其中包含了与MySQL数据库中的demo.products表相对应的列和设置。您可以根据实际情况修改连接器的配置参数。 以上是使用Flink CDC读取MySQL的步骤。通过执行这些步骤，您可以在Flink中使用CDC功能来读取MySQL数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Flink CDC读取MySQL的例子](https://blog.youkuaiyun.com/chrisy521/article/details/121377441)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿福Chris

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值