（十九）Flink CDC

Flink CDC (Flink Change Data Capture) 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。搭配 Flink 计算框架，Flink CDC 可以高效实现海量数据的实时集成。

目录

CDC 简介

CDC 模式

CDC 产品对比

Flink CDC 简介

Flink CDC 发展历程

支持的 Flink 版本

支持的连接器

Flink CDC 特征

Flink CDC 使用

环境准备

MySQL 设置

Flink CDC 实现

---

CDC 简介

CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC 技术的应用场景非常广泛：

• 数据同步：用于备份，容灾；
• 数据分发：一个数据源分发给多个下游系统；
• 数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。

CDC 模式

CDC 的实现技术方案非常多，分为主动查询和日志接收两种模式。

基于查询的 CDC：

• 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据；
• 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；
• 不保障实时性，基于离线调度存在天然的延迟。

基于日志的 CDC：

• 实时消费日志，流处理，例如 MySQL 的 binlog 日志完整记录了数据库中的变更，可以把 binlog 文件当作流的数据源；
• 保障数据一致性，因为 binlog 文件包含了所有历史变更明细；
• 保障实时性，因为类似 binlog 的日志文件是可以流式消费的，提供的是实时数据。