Flink CDC MySQL 同步数据到 Kafka实践中可能遇到的问题

已于 2024-12-27 18:58:00 修改
阅读量764 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Flink CDC 菜鸟教程 文章标签： flink mysql kafka
于 2024-12-27 18:51:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/RodJohnsonDoctor/article/details/144775640

Flink CDC MySQL 同步数据到 Kafka实践中可能遇到的问题

一、问题场景

[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.api.ValidationException: The primary key is necessary when enable 'Key: 'scan.incremental.snapshot.enabled' , default: true (fallback keys: [])' to 'true'

当你遇到org.apache.flink.table.api.ValidationException错误，提示需要主键以启用增量快照功能（scan.incremental.snapshot.enabled），这是因为Flink CDC默认配置为使用增量快照模式来读取MySQL表。在增量快照模

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】The primary key is necessary when enable ‘Key: ‘scan.incremental.snapshot.enabled‘ , default:
一杯咖啡半杯糖的博客
12-14 1483
[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: The primary key is necessary when enable 'Key: 'scan.incremental.snapshot.enabled' , default: true (fallback keys: [])' to 'true'
【大数据】Flink CDC 实时同步mysql数据
热门推荐
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink CDC和Flink SQL构建实时数仓Flink写入Doris
qq_39177151的博客
06-07 2852
Flink CDC和Flink SQL构建实时数仓Flink写入Doris
利用Flink CDC和Flink SQL构建实时数仓Flink写入Doris
lbship的博客
11-14 1万+
一、MySQL 开启binlog日志、创建用户 1.开启bin log MySQL 8.0默认开启了binlog，可以通过代码show variables like "%log_bin%";查询是否开启了，show variables like "%server_id%";查询服务器ID。 上图分别显示了bin long是否开启以及bin log所在的位置。 2.创建用户 CREATE USER 'flinktest' IDENTIFIED BY 'root'; GRANT SELECT,
【flink报错】flink cdc无主键时的操作
hiliang521的博客
04-17 2773
flink cdc无主键的问题
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)
spark_dev的博客
02-18 3574
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
Flink MySQL CDC 实时同步到 Kafka 解决方案
06-17
基于 Flink CDC 技术实现 MySQL 数据变更（增/删/改）实时同步至 Kafka，支持全量+增量数据捕获，容器化部署架构确保快速上手。 二、技术栈组成 通过 `docker-compose.yml` 编排以下服务： - MySQL 8.0 ：启用 ...
生产级 Flink CDC 应用开发与部署：MySQL 到 Kafka 同步示例
RodJohnsonDoctor的专栏
05-11 571
本文介绍了如何将 Flink CDC 应用开发并部署为独立服务，实现 MySQL 到 Kafka 的数据同步。文章提供了完整的工程代码示例，包括工程结构、Maven 配置和核心代码实现。工程结构清晰，包含主类 CdcToKafkaJob.java、配置文件 AppConfig.java 和数据模型 User.java。Maven 配置中定义了 Flink、Flink CDC、Kafka 等依赖项，并通过 maven-shade-plugin 进行打包。核心代码展示了如何使用 Flink CDC 从 MySQ
【Flink-cdc-Mysql-To-Kafka】使用 Flinksql 利用集成的 connector 实现 Mysql 数据写入 Kafka
weixin_53543905的博客
12-16 2808
在 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 下添加。Linux 或者 Windows 端需要安装：Mysql，Kafka，Flink 等。1、首先确认MySQL是否开启binlog机制，log_bin = ON 为开启 （如下图）Mysql 中写入测试数据，Kafka-Topic 中观察是否有数据生成。2、如果是本地环境的 Mysql 按照下面方式开启 binlog。3、重启 Mysql 服务。2、写入数据的语句准备就绪。
Caused by: org.apache.flink.table.api.ValidationException: The MySQL server has a timezone offset
zhglhy的专栏
10-19 3037
flink cdc
flink报错汇总
wq123123423432的博客
11-26 1985
org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'json'
解决 Flink 中 Kafka 表定义主键约束的 ValidationException 错误
qq_17679307的博客
02-20 441
如果确实需要使用主键约束，可以将主键约束定义在下游的目标表中，例如关系型数据库表。-- 创建 Kafka 数据源表) WITH (-- 创建 PostgreSQL 目标表，定义主键) WITH (-- 执行插入操作在这个示例中，我们在 PostgreSQL 表中定义了主键station_id，而在 Kafka 表中不定义主键，这样可以避免错误。在使用 Flink 处理 Kafka 数据时，由于 Kafka 数据的特性和 JSON 格式的限制，不能直接在 Kafka 表中定义主键约束。
实践数据湖iceberg 第二十一课 flink1.13.5 + iceberg0.131 CDC(测试成功INSERT,变更操作失败)
spark_dev的博客
02-22 3040
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
Flink cdc使用及参数设置
HD0do的博客
01-20 1万+
FLInk sql cdc 监听mysqlbinLog以及代码监听，和对应的参数设置，过滤掉数据库的删除操作
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例
jmx_bigdata的博客
01-13 6442
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中，可以通过 flink-cdc-connectors 项目提供的 **changelog-json format **来实现该功能。关于该功能的使用，见之前的分享Flink1.11中的CDC Connectors操作实践。 在Flink1.12版本中， 新增了一个 upsert connecto
Flink-1.12 - 之Flink SQL 与 kafka connector实践
shufangreal的博客
06-09 7669
Flink-1.12 - 之kafka connector实践 1 前言(消息更新模式) 阅读之前可以先了解一下，动态table抓换成data stream的3种模式，这个在动态Table转换成DataStream或者写入外部系统的时候是有严格的约束的。 Append Mode 一个只有Insert操作的动态表,才能转换成Append-only stream（或写入到支持AppendMode的外部系统如：文件、Kafka、Hive等） Retract Mode 这种模式有2种类型的消息：add 和
org.apache.flink.table.api.ValidationException: Expected LocalReferenceExpression. Got: timestamp
Doctor_96的博客
09-24 1935
情景：在设置滑动窗口时遇到的问题，详细代码如下： table .window(Slide.over(lit(1).hours()).every(lit(5).minutes()).on(($("timestamp").rowtime()).as("ts")).as("w")) .groupBy($("w"), $("itemId")) .select($("itemId"), $("itemId").count().as("itemCout"), $("w").end().as("windowEnd")).
Flink 1.11.1:table sql Kafka Connector支持Upsert写入
高矮
11-25 2953
flink版本：1.11.1 文章目录目的测试的代码flink本身的Kafka Connector重新定义一个支持Upsert的Kafka Connector Sink编译打包替换jar包并测试 目的 在使用flink table sql的情况下，使kafka connector sink支持upsert正常写入 测试的代码 val fsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().bui.
org.apache.flink.table.api.TableException: A raw type backed by type information has no serializable
johnhuster的专栏
10-01 2562
DataStream<Order> result = tableEnv.toAppendStream(table, Order.class); 出现这个问题是因为Order类是嵌套内部类，由于不是public类型而导致出现了下面的异常： org.apache.flink.table.api.TableException: A raw type backed by type information has no serializable string representation. It n.
flink cdc传数据到kafka
最新发布
07-09
### Flink CDC 数据同步到 Kafka 配置指南与实现方法 为了将数据从 **Flink CDC** 同步到 **Kafka**，需要通过 Apache Flink 提供的 SQL 接口或 DataStream API 实现。以下是一个完整的配置指南和实现步骤，涵盖表定义、连接器设置以及插入操作等关键环节。 #### 1. 定义 Kafka 表结构 首先，需要在 Flink SQL 中定义目标 Kafka 主题的表结构。该表使用 `WITH` 子句指定 Kafka 连接器及其相关参数。例如： ```sql CREATE TABLE kafka_gmv ( id INT, k INT, c STRING, pad STRING ) WITH ( 'connector' = 'kafka-0.11', 'topic' = 'kafka_gmv', 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '197.XXX.XXX.XXX:9092', 'format' = 'changelog-json' ); ``` 此语句创建了一个名为 `kafka_gmv` 的表，并将其绑定到 Kafka 的特定主题上。使用的 Kafka 版本为 0.11，数据格式采用 `changelog-json`，以便支持变更日志（Change Data Capture）[^2]。 #### 2. 使用 Flink CDC 捕获源数据库变更 接下来，需要定义一个源表，用于捕获 MySQL 等数据库中的变更。以 MySQL 为例，创建 CDC 源表的 SQL 如下： ```sql CREATE TABLE mysql_source ( id INT PRIMARY KEY, name STRING, age INT ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'localhost', 'port' = '3306', 'database-name' = 'test_db', 'table-name' = 'users', 'username' = 'flink_user', 'password' = 'flink_pwd' ); ``` 上述语句配置了 MySQL CDC 连接器，指定了数据库地址、端口、数据库名、表名及认证信息。Flink 将自动监控该表的数据变化 [^1]。 #### 3. 插入数据到 Kafka 主题 完成源表和目标 Kafka 表的定义后，可以通过简单的 `INSERT INTO ... SELECT` 语句将数据从 CDC 源表同步到 Kafka： ```sql INSERT INTO kafka_gmv SELECT * FROM mysql_source; ``` 该语句会启动一个流式作业，实时监听源表的变化，并将每一条变更记录发送到 Kafka 的指定主题中 [^2]。 #### 4. 格式化输出内容 为了确保 Kafka 中的数据结构清晰可读，建议使用 `changelog-json` 或 `json` 格式进行序列化。其中 `changelog-json` 支持 Flink 的变更日志模型，适用于更新和删除操作 [^2]。 #### 5. 配置 Kafka 消费者端 在目标系统中，可以使用 Kafka Consumer 订阅相应的主题并处理数据。例如，在 Flink 中消费 Kafka 数据的代码如下： ```java Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "197.XXX.XXX.XXX:9092"); properties.setProperty("group.id", "flink-consumer-group"); FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>("kafka_gmv", new SimpleStringSchema(), properties); DataStream<String> stream = env.addSource(kafkaConsumer); stream.print(); ``` 这段 Java 代码展示了如何从 Kafka 中消费数据并在控制台打印出来 [^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

半部论语

如果觉得有帮助，打赏鼓励一下

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值