Flink进阶教程：如何在两个DataStream上进行Join操作

皮皮鲁同学

于 2020-01-18 15:44:57 发布

阅读量2.6k

点赞数 4

分类专栏： Flink原理与实践文章标签： flink

本文链接：https://blog.youkuaiyun.com/qq_42596142/article/details/104030928

版权

批处理经常要解决的问题是将两个数据源做关联Join操作。比如，很多手机APP都有一个用户数据源User，同时APP会记录用户的行为，我们称之为Behavior，两个表按照userId来进行Join。在流处理场景下，Flink也支持了Join，只不过Flink是在一个时间窗口上来进行两个表的Join。

Join示例图

目前，Flink支持了两种Join：Window Join（窗口连接）和Interval Join（时间间隔连接）。

Window Join

从名字中能猜到，Window Join主要在Flink的窗口上进行操作，它将两个流中落在相同窗口的元素按照某个Key进行Join。一个Window Join的大致骨架结构为：

input1.join(input2)
    .where(<KeySelector>)      <- input1使用哪个字段作为Key
    .equalTo(<KeySelector>)    <- input2使用哪个字段作为Key
    .window(<WindowAssigner>)  <- 指定WindowAssigner
    [.trigger(<Trigger>)]      <- 指定Trigger（可选）
    [.evictor(<Evictor>)]      <- 指定Evictor（可选）
    .apply(<JoinFunction&g