FlinkCDC实战：将 MySQL 数据同步至 ES

📌 当前需要处理的业务场景:

• 将订单表和相关联的表(比如: 商品表、子订单表、物流信息表)组织成宽表, 放入到 ES 中, 加速订单数据的查询.

• 同步数据到 es.

• 概述

  • 1. 什么是 CDC

  • 2. 什么是 Flink CDC

  • 3. Flink CDC Connectors 和 Flink 的版本映射

• 实战

  • 1. 宽表查询

    • 1.1 创建 mysql 表

    • 1.2 启动 Flink 集群和 Flink SQL CLI

    • 1.3 在 Flink SQL CLI 中使用 Flink DDL 创建表

    • 1.4 关联订单数据并且将其写入 Elasticsearch 中

    • 1.5 修改 MySQL 中的数据

本文用到的 mysql 版本为 8.0.28，ES 版本为 7.17.3，flink 版本为 1.13.6，flink-sql-connector-mysql-cdc 版本为 2.2.1

flink-sql-connector-elasticsearch 版本为 7_2.11-1.13.2

概述

1. 什么是 CDC

CDC (Ch