[实时计算flink]数据摄入YAML作业快速入门

实时计算Flink版基于Flink CDC，通过开发YAML作业的方式有效地实现了将数据从源端同步到目标端的数据摄入工作。本文介绍如何快速构建一个YAML作业将MySQL库中的所有数据同步到StarRocks中。

前提条件

• 已创建Flink工作空间，详情请参见开通实时计算Flink版。

• 上下游存储

  • 已创建RDS MySQL实例，详情请参见快速创建RDS MySQL实例。

  • 已创建StarRocks实例，详情请参见步骤一：创建存算一体版StarRocks实例。

  说明

  RDS MySQL和StarRocks需要与Flink工作空间在相同VPC下，否则需要打通网络和配置RDS MySQL的IP白名单，详情请参见如何访问跨VPC的其他服务？、实时计算Flink版如何访问公网？和操作指导。

背景信息

假设MySQL实例中有一个order_dw_mysql库，里面有名称为orders、orders_pay和product_catalog的3张业务表。此时，如果您希望开发一个数据摄入YAML作业，将这些表和数据都同步到StarRocks的order_dw_sr数据库中，则可以按照以下步骤进行：

1. 步骤一：准备RDS MySQL测试数据

2. 步骤二：开发数据摄入YAML作业

3. 步骤三：启动数据摄入YAML作业

4. 步骤四：在StarRocks上查看同步结果

步骤一：准备RDS MySQL测试数据

1. 创建数据库和账号。

   为目标实例创建名称为order_dw_mysql数据库和具有对应数据库读写权限的普通账号。具体操作请参见