14、分布式异常检测模型与在线更新策略

分布式异常检测模型与在线更新策略

1. 异常检测模型概述

在处理各种新数据集时，通过缓存初始数据训练过程中的信息并计算“更新”，可以提高效率。这里主要关注三种异常检测模型：k - 均值、RNN 和 LSTM。

• K - 均值聚类 ：因其简单、速度快、可扩展性强，能直接适应新数据并识别数据集中的非线性结构而被选用。
• RNN 和 LSTM ：在处理时间序列数据时，能利用物联网数据应用中的顺序信息，提高学习模型的准确性。传统神经网络假设所有输入（和输出）相互独立，但在实际的顺序数据中并非如此，RNN 和 LSTM 能捕捉时间序列中过去数据点之间的依赖关系。

2. 分布式异常检测模型

2.1 K - 均值聚类

聚类是一种探索性数据分析技术，用于根据数据中的模式将整个数据集划分为多个组（即簇）。在时间序列数据上实现 k - 均值聚类的过程如下：
- 训练阶段 ：
- 分割 ：将时间序列数据分割成预定义大小和水平平移的小片段。
- 加窗 ：将步骤 1 中的时间序列片段乘以窗函数，以截断窗口前后的数据集。
- 聚类 ：将相似的加窗片段分组并确定中心。
- 测试阶段 ：
- 重建 ：使用训练阶段找到的簇质心重建测试数据时间序列。
-