Flink watermark与乱序消息处理机制

原创

已于 2022-11-28 17:38:31 修改 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2022-11-19 23:41:07 首次发布

本文解析了Flink中Watermark的工作原理，包括基于时间戳计算Watermark的方法、Watermark在处理乱序数据中的作用，以及Watermark在窗口计算触发中的应用。

在flink中，watermark用于标识数据当前的进度、触发窗口计算、通过延迟设置容忍部分数据的乱序，详细定义可见：https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/create/

那么，watermark具体如何计算以及怎样对乱序数据起作用？特此通过代码加以解析。

注：下文中所涉及的flink源码版本为 release-1.15，使用flink sql作为例子。

基于timestamp计算watermark

首先，以event time为例，定义watermark的方式为：

CREATE TABLE Orders (
    `user` BIGINT,
    product STRING,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH ( . . . );

该table的watermark策略为当前最大的时间戳 - 5 second，如下：

Emits watermarks, which are the maximum observed timestamp minus the specified delay, e.g., WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL