一个开源、免费的基于流的数据集成工具——Flink CDC

前面给大家介绍了Doris，如果你正好有实时数仓的建设需求，那不妨尝试一下。

现在又有人问了，怎么把数据库里的数据同步到Doris中呢？之前也给大家介绍推荐过数据集成工具SeaTunnel。

今天则为大家推荐一款开源、免费的基于流的数据集成工具——Flink CDC。

在介绍Flink CDC之前，需要强调一下：

• Flink CDC基于Flink实现，如果您对Flink还不了解，可以专注我的后续教程。

• Flink CDC也是一个数据集成工具，和其它数据集成工具如：SeaTunnel、DataX等功能上没有太大区别。

什么是Flink CDC

Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。 该工具使得用户能够以 YAML 配置文件的形式，优雅地定义其 ETL（Extract, Transform, Load）流程，并协助用户自动化生成定制化的 Flink 算子并且提交 Flink 作业。 Flink CDC 在任务提交过程中进行了优化，并且增加了一些高级特性，如表结构变更自动同步（Schema Evolution）、数据转换（Data Transformation）、整库同步（Full Database Synchronization）以及 精确一次（Exactly-once）语义。

Flink CDC核心功能

• 端到端的数据集成框架
• 为数据集成的用户提供了易于构建作业的 API
• 支持在 Source 和 Sink 中处理多个表
• 整库同步
• 具备表结构变更自动同步的能力（Schema Evolution）<