12、数据流管理系统中数据与模式演化的形式化语义探索

数据流管理系统中数据与模式演化的形式化语义探索

1. 引言

数据管理系统在当今的信息技术领域中扮演着至关重要的角色，其中，数据流管理系统（DSMSs）与传统数据库管理系统（DBMSs）有着显著的区别。传统的DBMS允许用户针对持久化的数据库实例发出查询并获取单一的答案；而DSMS则会随着新数据不断流入系统，持续为常驻查询生成结果流。在流式环境中，数据的到达速度往往超过了其持久化的速度，因此，任何常驻查询的中断都可能导致数据丢失。

目前，DSMS在连续查询处理中对模式演化的支持尚不完善。现有的DSMS技术在处理模式演化时，通常需要中断常驻查询，并针对新的模式实例化一个演化后的查询。这种方法对于一些查询可能是可行的，但在存在有状态操作符的情况下会失效。因为要么需要将旧查询的状态传播到演化后的查询以恢复计算，要么可能会丢失基于旧状态得出的查询答案，同时还会在停机期间丢失数据。

为了解决DSMS中的模式和数据演化问题，我们致力于描述一个系统的语义，使查询能够自动响应演化，从而持续有效地处理数据。传统DSMS面临的挑战，如低延迟结果生成和资源的高效利用，已经通过在流中添加标记来解决，例如CEDR中的CTIs、Gigascope中的Heartbeats以及NiagaraST中的Punctuations。我们认为可以利用流中嵌入的标记来支持数据和模式的演化，因此引入了一种名为“accent”（标记）的标记与元组一起加入到数据流中。我们的目标是让在标记发出之前实例化的常驻查询在标记处理期间和之后保持活跃。查询中的操作符必须能够识别并处理这些标记，这就带来了两个挑战：一是确定操作符是否能够适应标记中的模式和数据变化；二是为每个操作符定义并实现对每个标记的处理，在适应演化的同时尽量减少阻塞和状态积累