超级会员免费看
本文介绍了Flink中处理乱序事件和晚到数据的方法，重点讲解了Event Time、Watermark的概念及其作用。通过示例说明了基于处理时间的系统在消息延迟时的问题，以及如何通过Event Time和Watermark机制解决这些问题，确保窗口计算的正确性。同时提到了allowedLateness特性，允许在一定延迟内处理迟到数据。
在实际的业务中,我们经常会遇到数据迟到的情况,这个时候基于窗口进行计算的结果就不对了,Flink中watermark就是为了解决这个问题的,理解watermark之前,先来说一下flink中的三个与流数据相关的概念,ProcessTime、EventTime、IngestionTime,不然很难理解watermark是怎么回事.
我们先来看一下官网给出的一张图,非常形象地展示了Process Time、Event Time、Ingestion Time这三个时间分别所处的位置，如下图所示：
我们按照上图从左到右的顺序介绍这几个概念,依次是event time,ingestion time,processing time.
Event Time
事件时间：事件时间是每条事件在它产生的时候记录的时间，该时间记录在事件中，在处理的时候可以被提取出来。小时的时间窗处理将会包含事件时间在该小时内的所有事件，而忽略事件到达的时间和到达的顺序事件时间对于乱序、延时、或者数据重放等情况，都能给出正确的结果。事件时间依赖于事件本身，而跟物理时钟没有关系。利用事件时间编程必须指定如何生成事件时间的watermark，这是使用事件时间处理事件的机制。机制是这样描述的：事件时间处理通常存在一定的延时，因此自然的需要为延时和无序的事件等待一段时间。因此，使用事件时间
订阅专栏 解锁全文
扫一扫
1014
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
