Flink-cdc更好的流式数据集成工具

PONY LEE

已于 2024-08-12 14:50:57 修改

阅读量2.1k

点赞数 14

分类专栏： Flink 文章标签： flink 大数据

于 2024-05-23 14:38:59 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_38251332/article/details/139142275

版权

What’s Flink-cdc?

在这里插入图片描述

Flink CDC 是基于Apache Flink的一种数据变更捕获技术，用于从数据源（如数据库）中捕获和处理数据的变更事件。CDC技术允许实时地捕获数据库中的增、删、改操作，将这些变更事件转化为流式数据，并能够对这些事件进行实时处理和分析。

Flink CDC提供了与各种数据源集成的功能，包括常见的关系型数据库（如MySQL、PostgreSQL、Oracle等）以及NoSQL数据库（如MongoDB、HBase等）。它通过监控数据库的日志或轮询方式来捕获数据变更，并将变更事件作为数据流发送到Flink的任务中进行处理。

Flink CDC 深度集成并由 Apache Flink 驱动，提供以下核心功能：

✅ 端到端的数据集成框架
✅ 为数据集成的用户提供了易于构建作业的 API
✅ 支持在 Source 和 Sink 中处理多个表
✅ 整库同步
✅具备表结构变更自动同步的能力（Schema Evolution）

在使用者的角度，就是Flink-cdc可以简化流处理的流程:

引入Flink-cdc之前流处理流程
引入Flink-cdc之后后流处理流程

如上所示，在flink-cdc被引入后大大简化了流处理流程

Flink-cdc支持的链接及对应的版本

Pipeline Connectors
在这里插入图片描述
（截止2024-08-12）

Source Connectors
在这里插入图片描述
（截止2024-08-12）

Flink-cdc与Flink对应对影版本的关系

在这里插入图片描述
（截止2024-08-12）

flink-connector-mysql-cdc 实例分析

示例代码

demo代码：

import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class MySqlSourceDemo {
   

    public static void main(String[] args) throws Exception {
   
        MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
                .hostname("mysql-se

最低0.47元/天解锁文章