18、自适应在线一阶监控：实现、评估与展望

自适应在线一阶监控：实现、评估与展望

1. 引言

在当今的大数据和实时流处理场景中，对数据流进行高效监控至关重要。自适应在线监控能够根据数据流的动态变化调整监控策略，从而提高监控性能。本文将详细介绍自适应在线监控的实现、评估以及未来的发展方向。

2. 实现细节

• MonPoly 工具扩展 ：对 MonPoly 监控工具进行了扩展，添加了约 960 行 OCaml 代码，实现了状态拆分和合并功能。MonPoly 本身有一些优化策略，如子公式评估不那么急切，对特定形式的子公式有特殊处理方式，还会过滤不影响输出的事件和时间点。本次实现考虑了除空时间点过滤之外的所有优化，空时间点过滤留作未来工作。
• 在线切片框架扩展 ：扩展了在线切片框架，使其能够动态改变切片策略。该框架可以同步重新分配并行子监控器的状态，具体流程为：先拆分所有子监控器的状态，然后将拆分后的状态转发到合适的监控器，最后所有监控器继续进行监控。框架使用 Apache Flink 实现低延迟流处理和容错，但由于 Flink 状态迁移能力有限，在评估时直接在准备好的文件上调用监控器。

3. 研究问题与测试平台设计

• 研究问题
  • RQ1：动态调整切片策略是否能提高性能？
  • RQ2：自适应监控在流事件速率和并行度（子监控器数量）方面的可扩展性如何？
  • RQ3：单次调整会产生多少开销？