Dinky项目中的全局变量使用指南

Dinky项目中的全局变量使用指南

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

概述

在数据开发过程中，全局变量是一个极其重要的功能，它能够帮助我们实现代码复用、统一管理和安全控制。Dinky项目提供了完善的全局变量管理机制，本文将详细介绍Dinky中四种全局变量的使用方式及其适用场景。

全局变量的核心价值

全局变量在数据开发中具有以下优势：

1. 提高开发效率：避免重复定义相同变量
2. 统一管理：集中维护关键配置信息
3. 增强安全性：敏感信息统一管理，避免硬编码
4. 灵活复用：支持跨作业共享变量

四种全局变量使用方式详解

方式一：通过注册中心定义全局变量

这是最基础的全局变量定义方式，适合管理项目中常用的静态变量。

操作步骤：

1. 进入注册中心 -> 全局变量
2. 添加新的全局变量（名称和值）
3. 在数据开发中使用${变量名}引用

使用示例：

-- 定义kafka主题变量
create table kafka_source (
    id int,
    name string
) with (
    'connector'='kafka',
    'topic'='${kafkaTopicName}'
);

适用场景：

• 项目中通用的静态配置
• 需要集中管理的敏感信息
• 可能频繁变更的配置项

方式二：通过数据源注册全局变量

这种方式将数据源连接配置自动注册为全局变量，特别适合管理数据库连接信息。

特点：

• 数据源注册时自动生成全局变量
• 变量名为数据源名称
• 变量值为Flink连接配置

使用示例：

create table mysql_source (
    id int,
    name string
) with (
    'connector'='mysql-cdc',
    ${dockermysql}
);

优势：

• 连接信息统一管理
• 避免在作业中暴露敏感信息
• 修改连接配置只需更新数据源

方式三：在数据开发中定义局部变量

这种方式适合定义仅在当前作业中使用的变量。

语法格式：

变量名:= 变量值;

使用示例：

table_name:=student;
select * from ${table_name};

注意事项：

1. 变量作用域仅限于当前作业
2. 如需跨作业共享，需使用FlinkSQLEnv作业类型
3. 可通过SHOW FRAGMENTS查看所有变量

方式四：表达式变量

Dinky提供了强大的表达式变量功能，支持动态生成各种值。

日期时间类表达式

基于DateUtil工具类实现，支持丰富的日期操作：

-- 获取当前时间戳
select '${dateUtil.current()}';

-- 计算10天前的日期
select '${dateUtil.offsetDay(date.date(), -10)}';

随机串相关表达式

基于RandomUtil工具类实现：

-- 生成10-100的随机数
select '${randomUtil.randomInt(10, 100)}';

-- 生成随机字符串
select '${randomUtil.randomString(10)}';

唯一ID相关表达式

基于IdUtil工具类实现：

-- 生成标准UUID
select '${idUtil.randomUUID()}';

-- 生成简化UUID
select '${idUtil.simpleUUID()}';

升级注意： 1.0.0版本后，表达式变量语法有重大变更，旧版${_CURRENT_DATE_}等变量不再支持。

最佳实践建议

1. 敏感信息管理：建议将数据库连接信息等敏感数据通过数据源方式管理
2. 环境区分：可使用不同变量前缀区分开发、测试、生产环境
3. 命名规范：采用有意义的变量名，如prod_kafka_topic
4. 版本控制：重要变量变更应记录变更日志

常见问题解答

Q：全局变量和局部变量优先级如何？ A：局部变量会覆盖同名的全局变量。

Q：表达式变量支持自定义扩展吗？ A：支持，可通过插件机制扩展新的表达式变量类型。

Q：变量值是否支持动态更新？ A：注册中心定义的变量修改后会立即生效，但已运行的作业需要重启才能获取新值。

通过合理使用Dinky提供的全局变量功能，可以显著提升数据开发效率和管理水平。建议根据实际需求选择合适的变量管理方式，并建立相应的管理规范。

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky