Dinky项目扩展语法详解：变量定义与表值聚合增强-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00389/article/details/148577940

Dinky项目扩展语法详解：变量定义与表值聚合增强

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

概述

Dinky作为一款基于FlinkSQL的增强工具，在标准FlinkSQL语法基础上提供了多项扩展功能，极大提升了开发效率和灵活性。本文将重点介绍Dinky中的扩展语法特性，包括变量定义与使用、表值聚合增强等核心功能。

变量定义与使用

变量定义语法

Dinky扩展了SQL语法，允许开发者定义和使用变量，这在复杂SQL场景中非常有用：

-- 基本变量定义
变量名 := 值;

-- 示例
table_name := student;
select * from ${table_name};

变量定义采用:=操作符，使用时通过${变量名}格式引用。这种语法简洁明了，与常见编程语言的变量使用方式一致。

变量管理

Dinky提供了查看变量的命令：

-- 查看所有已定义变量
SHOW FRAGMENTS;

-- 查看特定变量
SHOW FRAGMENT 变量名;

连接配置变量

在实际应用中，经常需要复用数据库连接配置。Dinky允许将连接配置定义为变量：

-- 定义连接配置变量
jdbc_config := 'connector' = 'jdbc',
    'url' = 'jdbc:mysql://127.0.0.1:3306/mydb',
    'username' = 'user',
    'password' = 'pass';

-- 使用变量创建表
CREATE TABLE my_table (
    id INT,
    name STRING,
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    ${jdbc_config},
    'table-name' = 'target_table'
);

注意事项：使用连接配置变量时，需在执行配置中启用全局变量功能。

表值聚合增强

Dinky对Flink的表值聚合功能进行了语法层面的增强，通过AGGTABLE关键字简化了表值聚合的实现。

基本语法

CREATE AGGTABLE 聚合表名 AS
SELECT 列1, 列2, ...
FROM 源表
GROUP BY 分组列
AGG BY 聚合函数(聚合列) as (结果列1, 结果列2, ...);

典型应用场景

表值聚合特别适用于TopN、窗口统计等场景。下面是一个完整的Top2分数统计示例：

-- 定义数据源表
CREATE TABLE score (
    cid INT,
    sid INT,
    cls STRING,
    score INT,
    PRIMARY KEY (cid) NOT ENFORCED
) WITH (
    ${jdbc_config},
    'table-name' = 'score'
);

-- 定义结果表
CREATE TABLE scoretop2 (
    cls STRING,
    score INT,
    `rank` INT,
    PRIMARY KEY (cls, `rank`) NOT ENFORCED
) WITH (
    ${jdbc_config},
    'table-name' = 'scoretop2'
);

-- 创建聚合表
CREATE AGGTABLE aggscore AS 
SELECT cls, score, rank
FROM score
GROUP BY cls
AGG BY TOP2(score) as (score, rank);

-- 将结果写入目标表
INSERT INTO scoretop2
SELECT cls, score, `rank`
FROM aggscore;