SpringBoot集成Flink-CDC，实现对数据库数据的监听

一、什么是 CDC ？

CDC 是Change Data Capture（变更数据获取）的简称。 核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、 更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

二、Flink-CDC 是什么？

CDC Connectors for Apache Flink是一组用于Apache Flink 的源连接器，使用变更数据捕获 (CDC) 从不同数据库获取变更。用于 Apache Flink 的 CDC 连接器将 Debezium 集成为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。

大概意思就是，Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、 PostgreSQL等数据库直接读取全量数据和增量变更数据的 source 组件。

Flink-CDC 开源地址： Apache/Flink-CDC

Flink-CDC 中文文档：Apache Flink CDC | Apache Flink CDC

三、SpringBoot 整合 Flink-CDC

3.1、如何集成到SpringBoot中？

Flink 作业通常独立于一般的服务之外，专门编写代码，用 Flink 命令行工具来运行和停止。将Flink 作业集成到 Spring Boot 应用中并不常见，而且一般也不建议这样做，因为Flink作业一般运行在大数据环境中。

然而，在特殊需求下，我们可以做一些改变使 Flink 应用适应 Spring Boot 环境，比如在你的场景中使用 Flink CDC 进行 数据变更捕获。将 Flink 作业以本地项目的方式启动，集成在 Spring Boot应用中，可以使用到 Spring 的便利性。

• CommandLineRunner
• ApplicationRunner

3.2、集成举例

1、CommandLineRunner

@SpringBootApplication
public class MyApp {

  public static void main(String[] args) {
    SpringApplication.run(MyApp.class, args);
  }

  @Bean
  public CommandLineRunner commandLineRunner(ApplicationContext ctx) {
    return args -> {
      StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

      DebeziumSourceFunction<String> sourceFunction = MySqlSource.<String>builder()
              .hostname("localhost")
              .port(3306)
              .username("flinkuser")
              .password("flinkpw")
              .databaseList("mydb") // monitor all tables under "mydb" database
              .tableList("mydb.table1", "mydb.table2") // monitor only "table1" and "table2" under "mydb" database
              .deserializer(new StringDebeziumDeserializationSchema()) // converts SourceRecord to String
              .build();

      DataStreamSource<String> mysqlSource = env.addSource(sourceFunction);
      
      // formulate processing logic here, e.g., printing to standard output
      mysqlSource.print();

      // execute the Flink job within the Spring Boot application
      env.execute("Flink CDC");
    };
  }
}

2、ApplicationRunner

@SpringBootApplication
public class FlinkCDCApplication implements ApplicationRunner {

    public static void main(String[] args) {
        SpringApplication.run(FlinkCDCApplication.class, args);
    }

    @Override
    public void run(ApplicationArguments args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // Configure your Flink job here
        DebeziumSourceFunction<String> sourceFunction = MySqlSource.<String>builder()
                .hostname("localhost")
                .port(3306)
                .username("flinkuser")
                .password("flinkpw")
                .databaseList("mydb")
                // set other source options ...