Flink 实践教程：入门（12）：元数据的使用

作者：腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

教程视频：Flink 实践教程：入门（12）：元数据的使用 - 云+社区 - 腾讯云云+社区致力于打造开发者的技术分享型社区。营造云计算技术生态圈，专注于提高开发者的技术影响力。https://cloud.tencent.com/developer/video/31508?sharedUid=1077144

本示例使用 Oceanus 平台的元数据管理功能，通过库表引用将作业中生成的随机数据存入到 MySQL 中。再通过对变量的管理完成变量的引用

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击左上方【创建集群】，具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3]，点击左上角【新建】创建实例，进入实例数据库，创建表。

创建包含库表引用的Oceanus作业

进入 Oceanus 控制台 [1]，进入自己的【工作空间】，点击左侧【作业管理】，创建 SQL 作业，切换到【开发调试】，在左侧的【库表引用】界面操作元数据。在【库表引用】功能界面中，选择右上角的新建 > 数据库，在弹窗中选择 Catalog，输入库名，然后单击下一步，进入【基本信息】这里点击下一步，进入【DDL编辑】将数据库创建语句输入之后点击【完成】。

--元数据管理创建语句
CREATE TABLE `metadata_sink` (
`id` INT,
`name` STRING
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://127.0.0.1:3306/testmate',
'table-name' = 'source_table_test',
'username' = 'username',
'password' = 'password'
);

在 SQL 作业中可以直接引用元数据表，将光标移动到想要引用的元表上面，右侧会显示【操作】菜单，单击【引用】，元数据表使用三段式引用，例如`dc`.`db`.`test_table`。

--sql作业模版
CREATE TABLE datagen_source_table (id INT, name STRING) WITH (
 'connector' = 'datagen',
 'rows-per-second' = '1' -- 每秒产生的数据条数
);
INSERT INTO
`_dc`.`testdb`.`metadata_sink`
SELECT
 *
FROM
datagen_source_table;

创建包含变量管理的Oceanus作业

在【变量管理】功能界面中，选择【新建】，在弹窗中输入变量名称变量值以及变量描述，创建了一个名为"tableName"值为"source_table"的变量

使用【库表引用】进入【DDL编辑】创建新的表并使用变量

--元数据管理创建语句
CREATE TABLE `mate_source_table_pre` (
`id` INT,
`name` STRING
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://172.0.0.1:3306/testmate',
'table-name' = '${table-name}:source_table_test1',  --格式：${变量名称}:默认值
'username' = 'username',
'password' = 'password'
);

在【表变量替换】中使用定义的变量，如下图：