使用 Flink CDC 构建 Streaming ETL
这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 和 Postgres 的流式 ETL。本教程的演示都将在 Flink SQL CLI 中进行,只涉及 SQL,无需一行 Java/Scala 代码,也无需安装 IDE。
假设我们正在经营电子商务业务,商品和订单的数据存储在 MySQL 中,订单对应的物流信息存储在 Postgres 中。 对于订单表,为了方便进行分析,我们希望让它关联上其对应的商品和物流信息,构成一张宽表,并且实时把它写到 ElasticSearch 中。
接下来的内容将介绍如何使用 Flink Mysql/Postgres CDC 来实现这个需求,系统的整体架构如下图所示:

准备阶段
准备一台已经安装了 Docker 的 Linux 或者 MacOS 电脑。
准备教程所需要的组件
接下来的教程将以 docker-compose 的方式准备所需要的组件。
使用下面的内容创建一个 docker-compose.yml 文件:
该 Docker Compose 中包含的容器有:
- MySQL: 商品表
products和 订单表orders将存储在该数据库中, 这两张表将和 Postgres 数据库中的物流表shipments进行关联,得到一张包含更多信息的订单表enriched_orders - Postgres: 物流表
shipments将存储在该数据库中 - Elasticsearch: 最终的订单表
enriched_orders将写到 Elasticsearch - Kibana: 用来可视化 ElasticSearch 的数据
在 docker-compose.yml 所在目录下执行下面的命令来启动本教程需要的组件:
该命令将以 detached 模式自动启动 Docker Compose 配置中定义的所有容器。你可以通过 docker ps 来观察上述的容器是否正常启动了,也可以通过访问 http://localhost:5601/ 来查看 Kibana 是否运行正常。
下载 Flink 和所需要的依赖包
- 下载 Flink 1.17.0 并将其解压至目录
flink-1.17.0 - 下载下面列出的依赖包,并将它们放到目录
flink-1.17.0/lib/下:下载链接只对已发布的
271



被折叠的 条评论
为什么被折叠?



