9、序列导向的流仓库范式与多千兆位数据包捕获技术

序列导向的流仓库范式与多千兆位数据包捕获技术

序列导向的流仓库范式

在网络监控领域，传统的数据库操作在处理数据序列时面临诸多挑战。而通过定义状态变量和对 SQL 进行扩展，可以更高效地实现常见的网络监控应用。

1. SQL 扩展与执行策略

通过对 SQL 进行扩展，我们可以避免使用集合表达式来模拟顺序操作。在 DataDepot 中，执行策略如下：
1. 扫描 FROM 子句中引用的表，并根据 SEQ 字段对记录进行排序。
2. 按顺序处理每条记录，并更新 UPDATE BY 变量（这些变量存储在哈希表中以便快速查找）。
3. 处理完每条记录后，评估 HAVING 子句以确定是否构建输出记录。

2. 案例研究：网络监控应用

以一个大型 ISP 的主动测量基础设施为例，该基础设施定期测量从每个监控服务器到一组目的地的数据包丢失和延迟情况。
- 输入数据 ：包括丢失和延迟测量数据，以及为每对提供各种详细信息的配置馈送，如丢失/延迟阈值。
- 报警规则 ：当源 - 目的地对的指标（丢失或延迟）在四个连续时间间隔内超过临界阈值时，触发警报。
- 示例数据及处理 ：
| 日期 | 时间 | 丢失百分比 | 标记 |
| ---- | ---- | ---- | ---- |
| 2011 - 01 - 01 | 9:00 | 0.8 | BLACK |
| 2011 - 01 - 01 | 9:15 | 1.5 | RED |