DeltaDens:用于在线密度聚类的增量算法
1. 引言
在众多技术应用中,对数据流进行聚类分析是一项常见任务。从简单的麦克风、温度传感器,到生物技术、机器人、粒子物理或太空探索等领域使用的复杂扫描设备,都会以数据流的形式记录和传输信息。
数据流处理具有一些独特属性,使其与静态数据集的处理有所不同。聚类数据在流中通常按时间戳顺序排列,处理过程中数据的传输速率可能不同,且数据可能长时间持续传入,难以进行有效缓冲。此外,聚类的分布和形状可能会随时间缓慢或快速变化。
这些特性对适用于数据流聚类的算法提出了以下要求:
- 算法需为传入数据增量更新其内部聚类模型,以利用有限资源跟踪数据分布的变化。假定数据在处理过程中仅展示一次,算法应能检测和描述数量不限的不规则且不断演变的聚类。
- 算法处理传入数据对象时应保持恒定的响应时间,稳定性不足可能导致流处理过程中出现延迟和数据丢失。此外,响应时间应尽可能短,以适应不同的数据展示速率。
- 算法要足够“敏捷”,既能捕捉和描述短期存在的聚类,也能处理长期存在的聚类。它应能正确识别聚类特征在一段时间内被中断或扭曲的情况,若某个聚类不再有数据支持,应将其从模型中移除。同时,算法要能有效处理数据中的噪声并准确识别离群点。
开发满足这些要求的算法并非易事,许多用于静态数据集聚类的算法并不适用,因为它们无法高效更新内部模型。即便采用滑动窗口的概念,这些算法每次仍需从头重建模型。
本文介绍的DeltaDens算法基本满足上述要求。它是一种基于密度的算法,利用了密集邻域的概念,实现了简单的内部聚类模型,可进行增量维护。同时,该算法还提供了一种新的模型处理方法,能够在线更新已识别聚类的集合。
超级会员免费看
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



