八 Flink 中的时间语义和watermark

1 时间（Time）语义

1. Event Time：事件创建的时间
2. Ingestion Time：数据进入Flink的时间
3. Processing Time：执行操作算子的本地系统时间，与机器相关

2 在代码中设置 Event Time

我们可以直接在代码中，对执行环境调用 setStreamTimeCharacteristic 方法，设置流的时间特性
具体的时间，还需要从数据中提取时间戳（timestamp）

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
//最后是在源头设置设置事件特性为事件事件

3 水位线

3.1 水位线的概念

我们先来看一下问题:

3.1.1 乱序数据的影响

• 当 Flink 以 Event Time模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子
• 由于网络、分布式等原因，会导致乱序数据的产生
• 乱序数据会让窗口计算不准确

3.1.2 水位线（Watermark）

• 怎样避免乱序数据带来计算不正确？
• 遇到一个时间戳达到了窗口关闭时间，不应该立刻触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口
• Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发
• Watermark 是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark 机制结合 window 来实现；
• 数据流中的 Watermark 用于表示 timestamp 小于 Watermark 的数据，都已经到达了，因此，window的执行也是由 Watermark 触发的。
• watermark 用来让程序自己平衡延迟和结果正确性

3.1.3 watermark 的特点

• watermark 是一条特殊的数据记录
• watermark 必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退
• watermark 与数据的时间戳相关

3.1.4 watermark 的传递

3.1.5 水位线计算公式

水位线 = 到达最大时间 - 延时时间

3.1.6 watermark 的引入

Event Time 的使用一定要指定数据源中的时间戳
调用 assignTimestampAndWatermarks 方法，传入一个 BoundedOutOfOrdernessTimestampExtractor，就可以指定 watermark 

对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了

Flink 暴露了 TimestampAssigner 接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成watermark

MyAssigner 可以有两种类型，都继承自 TimestampAssigner

3.1.6.1 TimestampAssigner

定义了抽取时间戳，以及生成 watermark 的方法，有两种类型

• AssignerWithPeriodicWatermarks

周期性的生成 watermark：系统会周期性的将 watermark 插入到流中默认周期是200毫秒，可以使用 ExecutionConfig.setAutoWatermarkInterval() 方法进行设置升序和前面乱序的处理 BoundedOutOfOrderness ，都是基于周期性 watermark 的。

• AssignerWithPunctuatedWatermarks

没有时间周期规律，可打断的生成 watermark

3.1.6.2 实例

package org.example.time

import java.sql.Timestamp

import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org