窗口原理与机制
图片链接:https://blog.youkuaiyun.com/qq_35590459/article/details/132177154
- 数据流进入算子前,被提交给WindowAssigner,决定元素被放到哪个或哪些窗口,同时可能会创建新窗口或者合并旧的窗口。
- 每一个窗口都拥有一个属于自己的触发器Trigger,每当有元素被分配到该窗口,或者之前注册的定时器超时时,Trigger都会被调用。
- Trigger被触发后,窗口中的元素集合就会交给Evictor(如果指定了),遍历窗口中的元素列表,并决定最先进入窗口的多少个元素需要被移除。
- 窗口函数计算结果值,发送给下游;
Trigger 触发器
触发器作用:控制窗口什么时候除法计算。即执行窗口函数;基于WindowStream调用trigger()方法,传入自定义触发器(trigger);
每一个窗口分配器(windowAssigner) 都会对应一个默认的触发器;
源码样例
@PublicEvolving
public <W extends Window> WindowedStream<T, KEY, W> window(
WindowAssigner<? super T, W> assigner) {
return new WindowedStream<>(this, assigner);
}
@PublicEvolving
public WindowedStream(KeyedStream<T, K> input, WindowAssigner<? super T, W> windowAssigner) {
this.input = input;
this.builder =
new WindowOperatorBuilder<>(
windowAssigner,
windowAssigner.getDefaultTrigger(input.getExecutionEnvironment()),
input.getExecutionConfig(),
input.getType(),
input.getKeySelector(),
input.getKeyType());
}
==============默认触发器===
public Trigger<Object, TimeWindow> getDefaultTrigger(StreamExecutionEnvironment env) {
return EventTimeTrigger.create();
}
Triger类有4个方法
-
onElement:窗口中每来一个元素调用该方法。 onProcessingTime:当注册的处理时间定时器触发时,将调用这个方法。 onEventTime:当注时的事件时间定时器触发时,将调用这个方法。 clear:窗口关闭冰销毁时调用这个方法,一般用来清除自定义状态。 onElement() ,onProcessingTime(),onEventTime()方法的返回类型都是 TriggerResult;TriggerResult中包含四个枚举值: CONTINUE:表示对窗口不执行任何操作。 FIRE:触发计算并输出结果。注意计算完成后,窗口中的数据并不会被清除,将会被保留。 PURGE:表示将窗口中的数据和窗口清除。 FIRE_AND_PURGE:表示先将数据进行计算,输出结果,然后将窗口中的数据和窗口进行清除。
源码
/** No action is taken on the window. */
CONTINUE(false, false),
/** {@code FIRE_AND_PURGE} evaluates the window function and emits the window r