6、应对Web应用概念漂移与自适应异常检测

应对Web应用概念漂移与自适应异常检测

1. Web应用异常检测中的概念漂移问题

在Web应用的异常检测中，概念漂移是一个不可忽视的问题。随着Web应用的不断更新、升级或代码重构，其行为模式会发生变化，这可能导致异常检测系统产生大量的误报。

1.1 评估目标与数据集

为了评估相关技术在处理概念漂移时的性能，进行了两个实验。测试数据集包含了常见的针对Web应用的攻击样本，如跨站脚本攻击（XSS）、SQL注入和命令执行漏洞利用。总共包含1000次攻击，其中400次XSS攻击、400次SQL注入和200次命令注入。这些攻击样本是基于公开的攻击示例进行变化得到的。

实验使用的是来自真实世界Web应用的HTTP流量数据集，该数据集从商业和学术站点的多个监控点获取。对于每个应用，记录了数月内每个HTTP连接的完整内容。通过基于签名的技术过滤掉已知攻击后，将数据集划分为训练集和测试集。数据集包含823个独特的Web应用、36,392个独特的资源路径、16,671个独特的参数和58,734,624个HTTP请求。

1.2 概念漂移的影响

在第一个实验中，研究了概念漂移对误报率的影响。首先，使用未修改的过滤后数据集训练webanomaly检测器，然后分析测试数据集Q以获得基线ROC曲线。之后，对测试数据集进行处理，引入与Web应用变化对应的新行为，得到Qdrift。具体的变化包括：
- 新会话流 ：通过引入对新资源的请求和创建新的或已知资源的请求序列，创建了6,749个新会话流。
- 新参数 ：向现有请求中引入6,750个新参数，创建了