Flink中的watermark

最新推荐文章于 2025-02-24 19:27:15 发布

原创最新推荐文章于 2025-02-24 19:27:15 发布 · 198 阅读

0 ·

CC 4.0 BY-SA版权

Flink学习之路专栏收录该内容

2 篇文章

订阅专栏

Flink中的watermark机制用于处理实时流数据的延迟和乱序，确保窗口计算的正确性。watermark是一种输入完成度的概念，表示所有事件时间小于特定时间的数据都已经收到。它作为无界数据源进度的指标，帮助在处理过程中维护窗口的完整性。本文深入探讨watermark的工作原理，以及其在大数据场景中的应用。

#watermark是什么
Flink中watermark是为了解决实时流数据延迟/乱序导致窗口完整性无法收集的问题
A watermark is a notion of input completeness with respect to event times. A watermark with a value of time X makes the statement: “all input data with event times less than X have been observed.” As such, watermarks act as a metric of progress when observing an unbounded data source with no known end.

#为什么需要watermark
实时计算，并不能判断Event Time窗口内的数据都被收集，数据延迟等情况无法统计进去

#深入理解watermark
https://zhuanlan.zhihu.com/p/102484347

The DataFlow Model

谷歌在2015年发表了该论文，针对大数据场景处理，提出了
what （transform）what result are being computed
where （窗口处理）（where in event time the are being computed）
when in prossing time they are materiaed（什么时候处理引入wateremark，触发器）
how earlier result relate to later refinements (怎么处理，数据丢弃？修正窗口数据？撤回并且修正数据？)

https://www.vldb.org/pvldb/vol8/p1792-Akidau.pdf （The DataFlow Model）
https://developer.aliyun.com/article/64911 （阿里云团队中文翻译）

不错的博客地址
https://www.cnblogs.com/justmine/default.html?page=1