FlinkCDC实现多数据源数据集的增量更新实战

一、背景与需求分析

在数据集成和数据仓库建设中，多数据源（如MySQL、PostgreSQL、API、Excel等）异构同步是很常见的场景。一般来说，我们会使用DataX将这些数据源中的全量数据批量同步到数仓（如Doris），为BI分析和数据服务提供实时或准实时的数据支撑。

但现实是，数据源本身在不断变化——新增、修改甚至删除。全量同步虽然简单但效率低，特别是数据量大时，重新全量同步会浪费大量计算和存储资源。因此，如何对已经进入数仓的数据集进行高效的增量更新（只同步变更部分）就成为核心问题。

Flink CDC作为一款优秀的实时数据集成框架，通过捕获数据库变更日志（Binlog、WAL等），能够实现对主流关系型数据库的秒级同步和增量抓取，是解决数据集增量更新的最佳选择之一。

本文将基于如下业务流程，讲解如何用FlinkCDC进行多数据源同步数仓后的“增量更新方案”：

多数据源（MySQL、PG、API、Excel） → DataX全量同步到Doris → 再通过FlinkCDC实现增量数据修正、更新数仓（Doris）

---

二、整体方案设计

1. 数据流简述

• 第一步：DataX全量同步
  • 将MySQL、PG、API、Excel数据批量落库到Doris（通常为ODS层）
• 第二步：Flink CDC增量更新
  • 对于MySQL、PG两类数据库，通过FlinkCDC捕获增量变更事件（INSERT/UPDATE/DELETE）
  • 实时将变更数据流入并更新到Doris
  • API和Excel这类数据源通常难以做到实时增量采集，需结合业务逻辑定期拉取、对比、生成变更流

2. 关键技术点

• Flink CDC连接器：支持MySQL、PostgreSQL等主流数据源
• Doris Sink：可选择Flink官方Sink、StreamLoad方式或Doris Connector（建议Flink-Doris-Connector）
• 数据去重与主键更新：业务表需有明确主键，Doris表建议选用UNIQUE/MERGE ON DUPLICATE KEY UPDATE等模型，方便以最新变更为准

---

三、FlinkCDC MySQL/PG增量同步实现

1. 创建Doris目标表

假设以MySQL为例，假设业务表有主键"id"，同步到Doris需建为唯一键模型（UNIQUE KEY）：

CREATE TABLE ods_user (
  id