flink 控制窗口行为(触发器、移除器、允许延迟、将迟到的数据放入侧输出流)

最新推荐文章于 2024-11-27 22:44:27 发布

原创

最新推荐文章于 2024-11-27 22:44:27 发布 · 7.2w 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文详细介绍了Apache Flink中窗口处理的关键概念，包括触发器（Trigger）、移除器（Evictor）、允许延迟（AllowedLateness）和侧输出流。触发器控制窗口何时触发计算，例如EventTimeTrigger用于在水位线超过窗口结束时触发。移除器定义了数据移除逻辑，允许自定义何时清理窗口数据。允许延迟允许窗口在水位线过后一段时间内仍接收迟到数据。侧输出流则可将迟到数据发送到单独的流进行后续处理。通过这些机制，Flink能够灵活处理实时流数据的窗口计算需求。

文章目录

1. 触发器（Trigger）

触发器主要是用来控制窗口什么时候触发计算，执行窗口函数。基于 WindowedStream 用.trigger()方法，就可以传入一个自定义的窗口触发器（Trigger）。

Trigger 是一个抽象类，自定义时必须实现下面四个抽象方法：
------onElement()：窗口中每到来一个元素，都会调用这个方法
------onEventTime()：当注册的事件时间定时器触发时，将调用这个方法
------onProcessingTime ()：当注册的处理时间定时器触发时，将调用这个方法
------clear()：当窗口关闭销毁时，调用这个方法。一般用来清除自定义的状态

这几个方法的参数中都有一个触发器上下文（TriggerContext）对象，可以用来注册定时器回调（callback）。定时器（Timer）代表未来某个时间点会执行的事件；当时间进展到设定的值时，就会执行定义好的操作

除clear外，三个方法返回类型都是 TriggerResult，这是一个枚举类型（enum），其中定义了对窗口进行操作的四种类型：
------CONTINUE（继续）：什么都不做
------FIRE（触发）：触发计算，输出结果
------PURGE（清除）：清空窗口中的所有数据，销毁窗口
------FIRE_AND_PURGE（触发并清除）：触发计算输出结果，并清除窗口

Trigger 是窗口算子的内部属性，每个窗口分配器（WindowAssigner）都会对应一个默认的触发器；对于 Flink 内置的窗口类型，它们的触发器都已经做了实现。如：所有事件时间窗口，默认的触发器都是 EventTimeTrigger；

源码：

public class EventTimeTrigger extends Trigger<Object, TimeWindow> {
   
   
    private static final long serialVersionUID = 1L;

    private EventTimeTrigger() {
   
   }

    @Override
    public TriggerResult onElement(
            Object element, long timestamp, TimeWindow window, TriggerContext ctx)
            throws Exception {
   
   
        if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
   
   
            // if the watermark is already past the window fire immediately
            return TriggerResult.FIRE;
        } else {
   
   
            ctx.registerEventTimeTimer(window.maxTimestamp());
            return TriggerResult.CONTINUE;
        }
    }

    @Override
    public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {
   
   
        return time == window.maxTimestamp() ? TriggerResult.FIRE : TriggerResult.CONTINUE;
    }

    @Override
    public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx)
            throws Exception {
   
   
        return TriggerResult.CONTINUE;
    }

    @Override
    public void clear(TimeWindow window, TriggerContext ctx) throws Exception {
   
   
        ctx.deleteEventTimeTimer(window.maxTimestamp());
    }

    @Override
    public