Flink-Conneector-DTS原理解析-附带源码

最新推荐文章于 2024-08-07 09:03:39 发布

原创

最新推荐文章于 2024-08-07 09:03:39 发布 · 4.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文解析了Flink DTS Connector的工作原理，介绍了如何通过Kafka实现数据库变更数据的读取与同步。深入探讨了核心配置参数的作用及其实现细节。

学习flink
DTS简介：数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建安全、可扩展、高可用的数据架构。
阿里云dts连接器官方使用说明
Flink-Conneector-DTS原理解析：
一、POM文件初识DTS
根据pom文件(略过provided/test)内容：可以看出，dts实际上是kafka-connector的一层外包装，即dts是将数据库的变更数据读到kafka，然后通过消费kafka数据来实现数据同步。

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>${kafka.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.kafka</groupId>
                    <artifactId>kafka-clients</artifactId>
                </exclusion>
            </exclusions>