文章介绍了Flink中处理流数据的三种时间类型——EventTime、Ingestiontime和Processingtime，重点讨论了EventTime及其处理乱序数据的关键机制Watermark，包括Watermark的定义、作用以及如何与窗口联动。此外，还提到了Flink中另外两种解决数据乱序的方法：allowedLateness和sideOutputLateData。
一、Flink中Time的三种类型：
Stream数据中的Time（时间）分为以下3种：
1.Event Time（事件产生的时间）：
事件的时间戳，通常是生成事件的时间。Event time 是事件本身的时间，可以表现出事件发生的顺序，可以应对一些不规则数据、乱序数据等情况。在使用 Event time时，需要通过引入 Watermark 的概念来处理乱序数据，保证正确性。
2.Ingestion time（事件进入Flink的时间）
数据进入 Flink 的时间戳，即数据到达 Flink 的时间。Ingestion time 可以实现低延迟的数据处理，同时又能够确保数据的时间顺序。Ingestion time 可以通过在数据源端添加时间戳的方式实现，但是由于存在网络传输等因素，与 Event time 的时间戳可能存在一定的时间差。
3.Processing time（事件被处理时当前系统的时间）
数据处理的时间戳，即 Flink 处理数据的当前时间。Processing time 可以实现低延迟的数据处理，但是无法保证数据的时间顺序，因此在一些需要按时间窗口进行分组、聚合等操作时，需要使用 Event time 或 Ingestion time。
二、Flink如何处理乱序数据
最低0.47元/天 解锁文章
扫一扫
689
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
