新特性,可以替代Canal的数据同步方案—Flink-CDC

最新推荐文章于 2025-09-09 03:42:39 发布

原创

最新推荐文章于 2025-09-09 03:42:39 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #数据库 #mysql

本文介绍了CDC（变更数据获取）的概念，对比了基于查询和基于Binlog两种方式，并重点讲解了Flink CDC Connectors如何从MySQL等数据库获取全量和增量数据。通过实例操作，展示了使用Flink DataStream和Flink SQL方式应用CDC的步骤，包括依赖配置、代码编写、测试以及如何处理Savepoint。

一、CDC简介

CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：

Flink社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的 source 组件。大数据培训目前也已开源，开源地址：https://github.com/ververica/flink-cdc-connectors

二、Flink DataStream方式应用的案例实操

1. 在pom.xml中增加如下依赖

<dependencies> <dependency> <groupId>org.apache.flink</groupId>        <artifactId>flink-java</artifactId>        <version>1.12.0</version>    </dependency>
    <dependency>        
    <groupId>org.apache.flink</groupId>        
    <artifactId>flink-streaming-java_2.12</artifactId>        
    <version>1.12.0</version>    
    </dependency>
    <dependency>        
    <groupId>org.apache.flink</groupId>        
    <artifactId>flink-clients_2.12</artifactId>        
    <version>1.12.0</version>    
    </dependency>
    <dependency>        
    <groupId>org.apache.hadoop</groupId>        
    <artifactId>hadoop-client</artifactId>        
    <version>3.1.3</version>    
    </dependency>
    <dependency>        
    <groupId>mysql</groupId>        
    <artifactId>mysql-connector-java</artifactId>        
    <version>5.1.49</version>    
    </dependency>
    <dependency>        
    <groupId>com.alibaba.ververica</groupId>        
    <artifactId>flink-connector-mysql-cdc</artifactId>        
    <version>1.2.0</version>    
    </dependency> 
    <dependency>        
    <groupId>com.alibaba</groupId>        
    <artifactId>fastjson</artifactId>        
    <version>1.2.75</version> 
    </dependency>
    </dependencies> 
    <build>    
    <plugins>        
    <plugin>  
    <groupId>org.apache.maven.plugins</groupId>   
    <artifactId>maven-assembly-plugin</artifactId>  
    <version>3.0.0</version>
    <configuration>