演化数据流聚类:在线与离线处理的高效框架
1. 引言
在处理数据流时,我们常常需要对数据进行聚类分析,以发现数据中的模式和结构。传统的聚类方法往往难以适应数据流的动态性和无限性,因此需要一种新的框架来处理演化数据流。本文将介绍一种两阶段的框架,该框架可以在不同的时间范围内对数据流进行聚类,并提供了灵活性和高效性。
2. 相关工作
2.1 增量汇总
在时间序列近似方面,有多种技术被提出,如奇异值分解(SVD)、离散傅里叶变换(DFT)、离散小波变换(DWT)和分段线性近似(PLA)等。然而,在处理时间序列数据流时,一些技术并不适用。例如,SVD 需要整个序列的知识,而 DWT 只能处理长度为 2 的幂次方的序列,且无法对数据样本进行加权。相比之下,PLA 具有线性和单次扫描的优点,适合处理数据流。
技术 | 优点 | 缺点 |
---|---|---|
SVD | - | 需要整个序列的知识 |
DFT | 可适应增量计算 | 无法适应增量层次维护 |
DWT | - | 只能处理长度为 2 的幂次方的序列,无法对数据样本加权 |
PLA |