9、数据流处理中的水印与高级窗口技术解析

数据流处理中的水印与高级窗口技术解析

1. 水印案例研究

1.1 Google Cloud Dataflow 中的水印

Google Cloud Dataflow 是执行 Apache Beam 管道的完全托管服务，包含用于定义数据处理工作流的 SDK 以及在 Google Cloud Platform 资源上运行这些工作流的云平台托管服务。

在数据处理图中，Dataflow 通过将每个工作进程的可用键空间划分为键范围，并将每个范围分配给一个工作进程，从而在多个物理工作进程之间对数据处理步骤进行分片。当遇到具有不同键的 GroupByKey 操作时，数据必须被混洗到相应的键。

Dataflow 为每个步骤的多个子组件维护水印，跟踪每个组件的每个范围的水印。水印聚合涉及计算所有范围中每个水印的最小值，并确保以下两点：
- 所有范围都必须报告水印。如果某个范围没有水印，则不能推进水印，因为未报告的范围应被视为未知。
- 确保水印单调递增。由于可能存在延迟数据，若更新水印会导致其向后移动，则不应进行更新。

Dataflow 通过集中式聚合代理执行聚合，为提高效率可对该代理进行分片。从正确性角度看，水印聚合器是水印的“单一事实来源”。确保分布式水印聚合的正确性存在挑战，不能过早推进水印，因为这会使准时数据变为延迟数据。为此，工作进程需维护对键范围关联的持久状态的租约，水印更新协议必须考虑状态所有权租约验证。

1.2 Apache Flink 中的水印

Apache Flink 是用于分布式、高性能、始终可用且准确的数据流应用程序的开源流处理框架。可以使用 Flink 运行器运行 B