超级会员免费看
本文介绍了Flink中的Watermarker概念，它与event_time相关，用于处理数据乱序。Watermarker是一个时间戳，通过最大事件时间减去最大延迟时间计算得出。当Watermarker达到窗口结束时间且窗口内有数据时，窗口计算被触发。文章分析了不同情况下Watermarker如何影响窗口计算，包括event_time为空、为未来时间或始终小于窗口结束时间的场景。
什么是Watermaker？
Watermaker 是和 event_time相匹配的。
Watermaker就是基于event_time 给消息再额外的加的一个时间列
也就是Watermaker是个时间戳!
如何计算Watermaker？
Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间
Watermaker水位线会一直上升(变大),不会下降
Watermaker有什么用？
Watermaker是用来触发窗口计算的！
Watermaker如何触发窗口计算的？
窗口计算的触发条件为:
1.窗口中有数据
2.Watermaker >= 窗口的结束时间
3.当前窗口的最大的事件时间 >= 窗口的结束时间 + 最大允许的延迟时间或乱序时间
因为前面说到
Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间
也就是说只要不断有数据来,就可以保证Watermaker水位线是会一直上升/变大的,不会下降/减小的
所以最终一定是会触发窗口计算的。
两个案例分析：
case 1:
某个窗口期内，如果event_time存在为空的情况，Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间，这个时候watermark为空，即是无穷大，那应该是到窗口结束的时候才会触发计算。例如，tumble(time_pt,interval 1 day,interval 10 second), 需要直到 tumble_end时刻才触发计算。
case 2:
某个窗口期内，如果
订阅专栏 解锁全文
扫一扫
2753
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
