Flink之Window与窗口开始时间

最新推荐文章于 2024-07-13 13:12:19 发布

herokang

最新推荐文章于 2024-07-13 13:12:19 发布

阅读量6.5k

点赞数 5

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/maomaoqiukqq/article/details/104334993

版权

一、滚动窗口（TumblingEventTimeWindows）

// 引入滚动窗口
val streamWindow = stream.window(TumblingEventTimeWindows.of(Time.seconds(10)))

二、滑动窗口（SlidingEventTimeWindows）

// 引入滑动窗口，窗口10s，没5s滑动一次
val streamWindow = stream.window(SlidingEventTimeWindows.of(Time.seconds(10), 
Time.seconds(5)))

三、会话窗口（EventTimeSessionWindows）

相邻两次数据的 EventTime 的时间差超过指定的时间间隔就会触发执行。如果
加入 Watermark，那么当触发执行时，所有满足时间间隔而还没有触发的 Window 会
同时触发执行

// 引入会话窗口
val streamWindow = stream.window(EventTimeSessionWindows.withGap(Time.seconds(5)))

四、窗口的开始时间

以EventTime和东八区为例：
一般情况下按小时、分钟、秒开窗时间都是对的，
比如按小时，eventTime：2020-2-15 21:57:40
窗口开始时间：2020-2-15 21:00:00
窗口结束时间：2020-2-15 22:00:00
但是按天开窗的时候由于国内时区问题可能会和设想的不一样，窗口默认开始时间是每天八点。
窗口的开始时间是按照 TimeWindow 类的getWindowStartWithOffset方法计算，参数单位都是ms，windowSize是窗口长度

public static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) {
   
        return timestamp - (timestamp - offset + windowSize) % windowSize;
    }

根据该计算公式，**如果想要让窗口按一天滚动，0点到24点，**需要使用如下方式，设置第二个参数offset为16小时。如果不设置的话窗口默认是每天八点到第二天八点
.window(TumblingEventTimeWindows.of(Time.days(1), Time.hours(16)))
这样设置之后窗口就是按0点到0点开的，之后的ProcessFunction里面就可以取window的start、end了

测试代码：