解读Flink双流Join

最新推荐文章于 2025-01-16 19:37:20 发布

Quan.S

最新推荐文章于 2025-01-16 19:37:20 发布

阅读量1.8w

点赞数 5

分类专栏： Flink 文章标签： Flink join 双流源码使用

本文链接：https://blog.youkuaiyun.com/xianzhen376/article/details/89810958

版权

本文介绍了Flink双流Join的基本概念，包括Window Join和Interval Join的分类，并详细探讨了Window Join的工作原理，强调了State在Flink中的重要性。通过源码分析，揭示了Flink如何在窗口触发时执行Join操作。同时，讨论了Flink流Join的局限性和可能存在的问题，如数据延迟和窗口序列化。最后，提出了对Flink未来发展的思考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基本概念

双流Join是Flink面试的高频问题。一般情况下说明以下几点就可以hold了：

Join大体分类只有两种：Window Join和Interval Join。Window Join又可以根据Window的类型细分出3种：
Tumbling Window Join、Sliding Window Join、Session Widnow Join。
Windows类型的join都是利用window的机制，先将数据缓存在Window State中，当窗口触发计算时，执行join操作；
interval join也是利用state存储数据再处理，区别在于state中的数据有失效机制，依靠数据触发数据清理；
目前Stream join的结果是数据的笛卡尔积；
日常使用中的一些问题，数据延迟、window序列化相关。特别期待有人留言说下使用中的问题。

源码速读

说明

源码版本: flink-release-1.6.1
关注的流程：window join 的处理

代码样例

首先看看双流join的样例：

* From JoinedStream.java 的注释
* DataStream<Tuple2<String, Integer>> one = ...;
* DataStream<Tuple2<String, Integer>> twp = ...;
*
* DataStream<T> result = one.join(two)
*     .where(new MyFirstKeySelector())co
*     .equalTo(new MyFirstKeySelector())
*     .window(TumblingEventTimeWindows.of(Time.of(5, TimeUnit.SECONDS)))
*     .apply(new  ());
* } </pre>
*/

关键方法的实现

在api层面，前面的算子where、equals、window等操作基本就是在记录信息。方法apply的实现中可以看到关键处理：

// From JoinedStream.java
public <T> DataStream<T> apply

最低0.47元/天解锁文章