最新版Flink CDC MySQL同步MySQL（一）_flink 连接mysql

最新推荐文章于 2025-04-15 17:27:06 发布
最新推荐文章于 2025-04-15 17:27:06 发布
阅读量2.2k 收藏 4
点赞数 5
分类专栏： 程序员 文章标签： flink mysql 大数据
原文链接：https://blog.youkuaiyun.com/weixin_43114209/article/details/131575985
版权
本文详细介绍了如何利用Flink CDC实现实时从MySQL到另一个MySQL的数据同步。教程涵盖环境准备、Flink SQL CLI操作、创建源和目标表、数据加载以及通过Flink界面监控作业运行情况。通过标准SQL语法，无需Java/Scala代码，即可完成ETL流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本教程将展示如何使用 Flink CDC 快速构建 MySQL的流式 ETL。

假设我们将产品数据存储在MySQL中，同步到另外一个MySQL中

在下面的章节中，我们将介绍如何使用 Flink Mysql CDC 来实现它。本教程中的所有练习均在 Flink SQL CLI 中进行，整个过程使用标准 SQL 语法，无需任何 Java/Scala 代码，也无需安装 IDE。

架构概述如下：
在这里插入图片描述

7.环境准备

需要准备安装好的MySQL数据库，具体MySQL数据怎么安装请查看笔者的博客Ubuntu数据库安装（mysql）

注意： 如果是其他操作系统请查看其他博客对应的数据库安装教程

8.在 Flink SQL CLI 中使用 Flink DDL 创建表

使用以下命令启动 Flink SQL CLI：

./bin/sql-client.sh

我们应该看到 CLI 客户端的欢迎屏幕。
在这里插入图片描述首先，每 3 秒启用一次检查点

-- Flink
最低0.47元/天 解锁文章
【大数据】Flink CDC 实时同步mysql数据
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink CDC基本概念以及MySQL同步到MySQL
L
07-29 2902
本文基于Flink CDC v2.4.2版本和Flink 1.17.1版本。
FlinkCDC第三部分-同步mysql到mysql，ctrl就完事~（flink版本1.16.2）
qq_43511677的博客
07-06 8482
需要注意的是，BEGIN STATEMENT SET 和 COMMIT 语句是 Flink SQL 的扩展语法，它们可能在某些特定的 Flink 版本或环境中才可用。通过设置适当的检查点间隔，可以在容忍一定故障的同时，控制检查点的频率和资源使用。如果在 BEGIN STATEMENT SET 和 COMMIT 之间的任何一条语句执行失败，整个事务将回滚，即已经执行的语句会被撤销。使用这个语句的好处是可以根据作业的需求和资源情况调整这些属性，以获得最佳的性能和资源利用率。
2025最新版flink2.0.0安装教程（保姆级）
最新发布
二进制专栏
04-15 1527
Flink支持多种安装模式。
flink mysql数据表同步SQL CDC
王小工小工历程
04-16 1989
FlinkCDC提供一组源数据的连接器，使用变更数据捕获的方式，直接吸收来自不同数据库的变更数据。通过CDC获取源数据表的更新内容，将更新内容作为数据流下发到下游系统，可以做到mysql数据表数据的实时同步操作。：首先，一个MySQL数据库作为数据源，其中包含了想要同步的表。：Flink CDC Connector是一个用于捕获MySQL表数据变更的组件。它连接到MySQL数据库，并持续监听数据变更（如插入、更新、删除操作）。
Flink CDC 同步 Mysql 数据
小强签名设计 的博客
10-30 1456
Flink CDC 基于数据库日志的技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。
Flink CDC 实时同步mysql
qq_40516563的博客
11-11 5650
1、创建环境 StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment tEnv = Stream
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
Flink-cdc 同步mysql数据
四维大脑的博客
08-01 3106
flink-cdc读取mysql
基于Flink CDC实时同步数据（MySQL到MySQL）
热门推荐
04-22 2万+
Flink FlinkCDC 实时ETL
Flink CDC 实时同步mysql数据
owolai的博客
10-16 898
Apache Flink 是一个开源的流处理框架，用于处理和分析实时数据流。Flink CDC（Change Data Capture）连接器是Flink社区提供的一个组件，它允许Flink实时捕获数据库中的变更数据，并将这些变更数据作为事件流进行处理。Flink CDC连接器特别适用于实时数据同步和流处理场景，比如实时数据仓库、实时ETL、数据湖同步等。
FlinkCDC 实现 MySQL 数据变更实时同步
web_15534274656的博客
02-10 1765
Flink CDC 是 Apache Flink 提供的一个功能强大的组件，用于实时捕获和处理数据库中的数据变更。FlinkSQLFlink DataStream 和 Table API（本文使用该方式）
Flink实战-（1）Flink-CDC MySQL同步到MySQL（select）
Carson073的博客
04-22 9323
flink-cdc
flink+flinkcdc+同步(MYSQL到MYSQL)实践
RodJohnsonDoctor的专栏
08-24 2317
通过Flink +FlinkCDC实现MYSQL到MYSQL的同步【单表，多表】
Flink cdc同步mysql
wudonglianga的专栏
09-25 1161
1.场景 两张mysql 的表通过cdc 进行同步 2. 准备条件 Flink 1.12.4 Mysql 5.7 CDC 1.2 3 依赖 [root@basenode lib]# ll 总用量 350476 -rw-r--r-- 1 root root 661717 9月 25 21:01 fastjson-1.2.78.jar -rw-r--r-- 1 root root 194725 9月 25 20:18 flink-connector-jdbc_2.11-1.12.4.jar
Flink CDC 同步mysql数据
congge_study的博客
03-24 1万+
Flink CDC 同步mysql数据
最新版Flink CDC MySQL同步MySQL（一）
hello.reader
07-05 1万+
Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。
flink cdc mysql 同步mysql
01-10
### 使用 Flink CDC 实现 MySQL 到 MySQL 的数据同步 为了实现从一个 MySQL 数据库到另一个 MySQL 数据库的数据同步，可以采用类似于其他目标系统的方案，即利用 Flink CDC 来捕捉源端 MySQL 中的变化并传输这些变化至目的端 MySQL。具体过程如下： #### 创建 Flink 应用程序 构建一个新的 Flink 应用项目，在此过程中会涉及到使用 Flink Table API 或者 Flink SQL 去定义源表以及目标表。对于本案例而言，两个表都将对应于不同的 MySQL 实例。 ```sql CREATE TABLE source_table ( id BIGINT, name STRING, age INT, PRIMARY KEY(id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'source-mysql-hostname', 'port' = '3306', 'username' = 'your-username', 'password' = 'your-password', 'database-name' = 'your-database', 'table-name' = 'your-table' ); ``` 上述代码展示了如何设置来自源 MySQL 表的连接器[^1]。 接着设定目的地 MySQL 表： ```sql CREATE TABLE sink_table ( id BIGINT, name STRING, age INT, PRIMARY KEY(id) NOT ENFORCED ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://target-mysql-hostname:3306/your-target-db?useSSL=false&serverTimezone=UTC', 'table-name' = 'your-target-table', 'driver' = 'com.mysql.cj.jdbc.Driver', 'username' = 'your-username', 'password' = 'your-password' ); ``` 这里指定了通往目标 MySQL 数据库的 JDBC 连接参数，并特别注意到了时区配置以避免潜在的时间戳解析错误[^3]。 #### 配置 MySQL 服务器 确保两台 MySQL 服务都已经启用了 binlog 功能以便支持变更数据捕获(CDC)，这对于源端尤其重要因为这是变更记录产生的地方。此外，还需确认两端都安装有必要的驱动和支持包用于与 Flink 和对方数据库交互。 #### 执行数据流作业 一旦所有的准备工作完成之后就可以启动实际的数据流转移工作了。这一步骤通常涉及编写一段简单的查询语句来指定要复制哪些字段或整个表格的内容。 ```sql INSERT INTO sink_table SELECT * FROM source_table; ``` 这条命令指示 Flink 将 `source_table` 中的所有更新推送到 `sink_table` 中去。 #### 测试和验证 如同任何重要的迁移活动一样，建议先在一个测试环境中进行全面的功能性和性能上的检验再推广到生产环境当中。可以通过向源数据库添加一些新条目或者修改现有条目来看看它们能否被及时准确无误地反映在目标位置上。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值