flink window 框架详细解读

刘狗

已于 2022-12-07 18:07:52 修改

阅读量783

点赞数

CC 4.0 BY-SA版权

分类专栏： flink flinksql 文章标签： flink 大数据

于 2022-12-07 17:57:28 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_40954192/article/details/128224134

flink 同时被 2 个专栏收录

10 篇文章

订阅专栏

flinksql

2 篇文章

订阅专栏

本文详细介绍了流处理中各种类型的窗口概念，包括基于时间驱动的时间窗口（如滚动时间窗口、滑动时间窗口、会话时间窗口）及基于数据驱动的计数窗口（如滚动计数窗口、滑动计数窗口）。此外还探讨了SQL窗口的应用方式，包括group window和over window的不同，并且深入讨论了Window TVF的优点，如语法标准化和性能优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. dataStream window

group window

time window 基于时间驱动

                                                                滚动时间窗口 tumble time window

                                                                滑动时间窗口 sliding time window

                                                                会话时间窗口 session time window

count window 基于数据驱动

                滚动计数窗口 tumble count window

                滑动计数窗口 sliding count window

2. sql window

group window （多对一）

                                                                滚动时间窗口 tumble time window

                                                                滑动时间窗口 sliding time window

                                                                会话时间窗口 session time window

over window （多对多）

                                                                滚动窗口

                                                  计数窗口

window TVF (1.13~)

                                                                sql tumble windw 滚动

                                                                sql hop window 滑动

                                                                sql session window 会话

                                                                sql cumulate window 累计

window TVF 优点：

1.语法标准化

2.性能优化。（local-global优化，distinct 解热点优化，迟到数据处理，支持grouping sets,cube,rollup等函数）

3. 解决 window + early-fire 或者 group by(1天) + minibatch(1分钟) 使用场景