Flink如何实现动态表与静态表的Join操作

最新推荐文章于 2025-11-05 11:41:40 发布

原创

最新推荐文章于 2025-11-05 11:41:40 发布 · 7.3k 阅读

13 ·

CC 4.0 BY-SA版权

本文探讨了FlinkTableAPI&SQL模块中流表与静态表Join的实现难题，介绍了通过UDTF解决的方法及其局限性，并深入解析了FlinkTable/SQL的执行流程。文章详细阐述了如何通过修改FlinkTable/SQL模块来支持流表与静态表的Join，包括静态表的伪装、识别、DataStreamAPI转换，以及性能优化策略。

问题介绍

动态表（以下简称流表）是Flink Table API & SQL 模块中的一个核心概念，

Dynamic tables are the core concept of Flink’s Table API and SQL support for streaming data. In contrast to the static tables that represent batch data, dynamic table are changing over time.

当前Flink版本（1.5），Table API与SQL都只支持流表与流表之间的Join操作，

Table left = tableEnv.fromDataStream(ds1, "a, b, c");
Table right = tableEnv.fromDataStream(ds2, "d, e, f");
Table result = left.join(right).where("a = d").select("a, b, e");

然而很多业务场景都需要流表与静态表之间的Join，这里的静态表可以看作是数据仓库中的维度表。

UDTF实现

对于不支持流表与静态表Join这个问题，有人在Flink邮件组里提问过，社区给出的解决方案是通过UDTF来实现。

// The generic type "Tuple2<String, Integer>" determines the schema of the returned table as (String, Integer).
public class Split extends TableFunction<Tuple2<String, Integer>> {
   
   
    private String separator = " ";
    
    public Split(String separator) {
   
   
        this.separator = separator;
    }
    
    public void eval(String str) {
   
   
        for (String s : str.split(separator