Flink实现准确和高效流处理的关键问题

时间相关:

Watermark 水位线

• 水位线是插入到数据流中的一个标记，可以认为是一个特殊的数据。
• 水位线主要的内容是一个时间戳，用来表示当前事件时间的进展。
• 水位线是基于数据的时间戳生成的。
• 水位线的时间戳必须单调递增，以确保任务的事件时间时钟一直向前推进，进展。
• 水位线可以通过设置延迟，来保证正确处理乱序数据。
• 一个水位线 Watermark(t)，表示在当前流中事件时间已经达到了时间戳 t，这代表 t之前的所有数据都到齐了，之后流中不会出现时间戳 t‘ ≤ t 的数据。

Watermark 多并行度下的生成、传递

生成:

• 间歇性更新(punctuated watermarks)：
  遇到新事件后更新

With punctuated watermarks, Flink calls checkAndGetWatermark() on each new event, i.e. right after calling assignWatermark(). An actual watermark is emitted only if checkAndGetWatermark() returns a non-null value which is greater than the last watermark.
来自stackoverflow回答

• 周期性更新
  定期更新

With periodic watermarks, Flink calls getCurrentWatermark() at regular interval, independently of the stream of events.

设置周期性更新的时间