flink学习之水位线

什么是水位线

在事件时间语义下，我们不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，
用来表示当前时间的进展。于是每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数
据的时间戳来驱动的。
我们可以把时钟也以数据的形式传递出去，告诉下游任务当前时间的进展；而且这个时钟
的传递不会因为窗口聚合之类的运算而停滞。一种简单的想法是，在数据流中加入一个时钟标
记，记录当前的事件时间；这个标记可以直接广播到下游，当下游任务收到这个标记，就可以
更新自己的时钟了。在 Flink 中，数据流中用来做时间标记的记号就叫做水位线。
水位线可以看作一条特殊的数据记录，它是插入到数据流中的一个标记点，
主要内容就是一个时间戳，用来指示当前的事件时间。而它插入流中的位置，就应该是在某个
数据到来之后；这样就可以从这个数据中提取时间戳，作为当前水位线的时间戳了。

水位线的分类

有序的水位线

在理想状态下，数据应该按照它们生成的先后顺序、排好队进入流中；而在实际应用中，
如果当前数据量非常大，可能会有很多数据的时间戳是相同的，这时每来一条数据就提取时间
戳、插入水位线就做了大量的无用功。所以为了提高效率，一般会每隔一段时间生成一个水位
线，这个水位线的时间戳，就是当前最新数据的时间戳，所以这时的水位线，其实就是有序流中的一个周期性出现的时间标记。