【Flink基础】-- Flink CDC介绍

已于 2022-03-25 16:20:12 修改
阅读量2.1w 收藏 32
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Apache Flink 文章标签： 大数据 flink
于 2022-03-25 16:07:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/123736970
Flink CDC是一种能够捕获数据库表中所有变更事件的连接器，避免了中间件如Kafka的需求。它支持多种数据库，并以其成熟的操作者、SQL模块，灵活的并行度调整，强大的状态后端，丰富的Source和Sink，以及庞大的社区支持成为优于Kafka Streams的选择。Flink CDC实现了Upsert Message结构，方便处理数据库表的增删改查操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、Flink CDC 是什么？

      2020年 Flink cdc 首次在 Flink forward 大会上官宣， 由 Jark Wu & Qingsheng Ren 两位大佬 介绍，原始 blog 点击链接。

      Flink CDC connector 可以捕获在一个或多个表中发生的所有变更。该模式通常有一个前记录和一个后记录。Flink CDC connector 可以直接在Flink中以非约束模式（流）使用，而不需要使用类似 kafka 之类的中间件中转数据。

另有一篇腾讯团队关于 Flink CDC 的介绍：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据Flink（一百二十一）：Flink CDC基本介绍
Lansonli（蓝深李）的博客
09-19 2779
Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。目前，Flink CDC 的上游已经支持了 MySQL、MariaDB、PG、Oracle、MongoDB 等丰富的数据源，对 Oceanbase、TiDB、SQLServer 等数据库的支持也已经在社区的规划中。的技术，我们都可以称之为 CDC。
Flink CDC
weixin_45703155的博客
06-25 2425
Flink是一个流处理引擎，Flink CDC是指利用Apache Flink框架来实现数据变更捕获的技术（即用Apache Flink这个流处理框架来实现CDC的技术）。FlinkCDC是一个开源的数据库变更日志捕获和处理框架，它可以实时地从各种数据库(如MySQL、PostgreSQL、Oracle、MongoDB等)中捕获数据变更并将其转换为流式数据,FlinkCDC 可以帮助实时应用程序实时地处理和分析这些流数据，从而实现数据同步、数据管道、实时分析和实时应用等功能。：在于实现的方式和技术栈。
Flink CDC—实时数据集成框架
深圳市多克创新科技有限公司
05-14 912
Flink CDC—实时数据集成框架
深入解析 Flink CDC 增量快照读取机制
hellozhxy的博客
01-21 3477
但Flink CDC 中 Chunk 级别的 checkpoint 并不是直接利用Flink 计数驱动的 checkpoint 来实现的，相反，它是 Flink CDC 根据自身的机制自己实现的。在 Flink CDC 中实现 Chunk 级别的 checkpoint 本质是使用 Flink 的 Checkpointing 机制和相应的配置，启用 Chunk 级别的 checkpoint 后，Flink CDC 将在每个 Chunk 完成读取后进行一次 checkpoint，以确保数据的一致性和容错性。
Flink CDC 技术解析：实时数据变更捕获与集成的利器
最新发布
gitblog_00583的博客
06-07 366
Flink CDC 技术解析：实时数据变更捕获与集成的利器 什么是 Flink CDC？ Flink CDC 是基于 Apache Flink 构建的分布式数据集成工具，专注于实现实时数据变更捕获（Change Data Capture）和批量数据集成。它通过简洁的 YAML 配置方式描述数据移动和转换过程，为数据工程师提供了优雅高效的解决方案。 CDC（Change Data Capture）技...
Flink CDC介绍
BUG指挥课堂
08-29 2523
CDC（Change Data Capture）是一种用于捕获和处理数据源中的变化的技术。它允许实时地监视数据库或数据流中发生的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。传统上，数据源的变化通常通过周期性地轮询整个数据集进行检查来实现。但是，这种轮询的方式效率低下且不能实时反应变化。而 CDC 技术则通过在数据源上设置一种机制，使得变化的数据可以被实时捕获并传递给下游处理系统，从而实现了实时的数据变动监控。
Flink CDC详解
热门推荐
Aidon博客
04-24 1万+
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。Flink CDC本质是一组数据源连接器，使用更改数据捕获(CDC)从不同的数据库中摄取更改。Apache Flink®的CDC连接器集成了Debezium作为捕获数据更改的引擎，所以它可以充分利用Debezium的能力。
Flink CDC介绍和简单实用
MyNameIsWangYi的博客
08-09 4031
CDC是Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。...............
Flink CDC 详解
在森林里麋了鹿
04-11 1万+
Flink CDC介绍
flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载
08-13
flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载flink-core-1.8.1 flink-cdc-3.1.1基础依赖lib包 免费下载flink-core-1.8.1 flink-cdc-3.1.1基础...
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-sql-connector-oracle-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oracle-cdc 2.5-SNAPSHOT
flink-sql-connector-postgres-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-postgres-cdc 2.5-SNAPSHOT
flink-connector-postgres-cdc-1.4.0.jar
04-21
flink-connector-postgres-cdc-1.4.0.jar
FlinkCDC
大数据知识梳理
01-11 5982
FlinkCDC
FlinkCDC简介
m0_61607827的博客
02-26 1万+
目录 一. Flink CDC介绍 二.Flink CDC 实操 2.1 MySQL配置 2.2 pom文件 2.3 Java代码 2.4 测试结果 一. Flink CDC介绍 CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别： FlinkCDC其实和canal差不多，只不过就是flink社区开发的组件，用起来更方便一些。   Flink在1.11版本中新增了CDC的特性，简称 改变数据捕获。名称来看有点乱，我们先从之前的数据架构来看CDC的内容
Flink-CDC
hai40587的博客
07-28 1179
CDC（Change Data Capture）是变更数据捕获的简称，其核心思想是监测并捕获数据库的变动（包括数据或数据表的插入、更新、删除等），将这些变更按发生的顺序完整记录下来，并写入到消息中间件或数据仓库中以供其他服务进行订阅及消费。CDC技术广泛应用于数据同步、数据分发、数据采集等场景，是数据集成领域的重要工具。Flink-CDC是基于Flink计算框架实现的CDC工具，它能够高效地捕获数据库的变更数据，并将其传输到指定的目标系统（如数据仓库、数据湖、消息队列等）。
Flink CDC 快速入门
mengxianglong123的博客
04-27 1492
一、CDC简介 1.1 什么是CDC   CDC是Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1.2 CDC的种类 CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别： 基于查询的CDC 基于Binlog的CDC 开源产品 Sqoop、Kafka JDBC Source Canal
flink-1.3.6+flink-cdc--2.2
03-19
### 关于Flink 1.3.6 和 Flink-CDC 2.2 的集成与兼容性 对于 Flink 1.3.6 版本而言，其属于较早版本的 Apache Flink，在功能支持以及与其他工具的集成方面存在一定的局限性。具体到 Flink-CDC 2.2 集成时，需要注意以下几点： #### 1. **Flink CDC 的最低版本需求** Flink-CDC 是一个用于捕获变更数据并将其流式传输至下游系统的框架。然而，Flink-CDC 2.x 系列通常依赖更高版本的 Flink 运行环境（通常是 Flink 1.10 或以上）。由于 Flink 1.3.6 属于早期版本，可能无法满足 Flink-CDC 所需的核心库接口和 API 支持的要求[^2]。 #### 2. **Java SDK 兼容性问题** 正如提到的 Hadoop-JDK 兼容性矩阵所示，不同 Java 版本可能会引入不向后兼容的变化。如果运行环境中使用的 JDK 版本较高，则可能导致某些内部机制失效。因此，在尝试将 Flink 1.3.6 与 Flink-CDC 2.2 结合使用之前，应确认所选 JDK 是否能够适配这两个组件的需求[^1]。 #### 3. **API 差异引发的功能缺失** Flink 1.3.6 中的数据源定义方式、状态管理策略以及其他核心特性相较于后续版本有显著差异。而这些变化直接影响到了像 Flink-CDC 这样基于最新版设计开发的应用程序能否正常工作。例如，Flink-CDC 可能会利用 Table/SQL 接口来简化配置流程，但在旧版本中该部分尚未完善[^3]。 ```java // 示例代码展示如何通过Table API设置CDC连接器(仅适用于新版本) tableEnv.executeSql(""" CREATE TABLE mysql_binlog ( id BIGINT, name STRING, age INT, proc_time AS PROCTIME() ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'localhost', 'port' = '3306', 'username' = 'root', 'password' = '', 'database-name' = 'test_db', 'table-name' = 'users' ) """); ``` 上述代码片段展示了现代 Flink 使用 MySQL Binlog Connector 设置表的方式，但此方法并不适合应用于非常老旧如 v1.3.x 的发行版上[^4]。 --- ### 总结建议 鉴于当前情况，强烈推荐升级基础架构中的主要软件包——即把 Flink 升级到至少 1.10+ 后再考虑接入最新的 Flink-CDC 功能模块。这样不仅可以获得更好的性能表现还能规避因跨代组合带来的潜在风险。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值