12、流处理中的事件处理与状态管理

流处理中的事件处理与状态管理

1. 乱序和迟到事件处理

在流处理中，窗口函数常常需要处理乱序事件。由于无法确定是否已接收所有事件，因此需要决定等待乱序事件的时长，超过该时长的事件将被视为迟到事件。除等待时长外，还需考虑存储的状态量、迟到事件发生的可能性以及不使用迟到事件对业务的影响。

在业务层面确定处理乱序和迟到事件的策略十分重要，因为不同数据的重要性不同，处理策略也会有所差异。例如，金融交易和系统故障等关键事件，无论其在流中的位置如何，都需要处理；而温度或力测量等事件，可能因不再相关而被丢弃。

业务需求还决定了可接受的延迟程度。等待事件到达虽然可以提高确定性，但会增加延迟，这可能对时间敏感的应用程序或有严格服务级别协议的应用程序产生负面影响。不过，微服务提供了灵活性，可以根据每个服务的需求调整确定性、延迟和乱序事件处理特性。

处理迟到事件的方法主要有以下几种：
- 丢弃事件 ：当窗口关闭且基于时间的聚合完成后，直接丢弃迟到事件。
- 等待 ：延迟窗口结果的输出，直到经过固定的时间。这种方法可以提高确定性，但会增加延迟。在预定时间内，旧窗口需要保持可更新状态。
- 宽限期 ：窗口完成后立即输出结果，然后在预定的宽限期内保留窗口。当有迟到事件到达时，更新聚合结果并输出。这种方法与等待策略类似，但会在迟到事件到达时生成更新。

为了确定处理迟到事件的良好准则，可以考虑以下问题：
- 迟到事件发生的可能性有多大？
- 服务需要防范迟到事件多长时间？
- 丢弃迟到事件对业务有什么