基于聚类的离群点检测

最新推荐文章于 2025-06-09 14:39:32 发布

原创

最新推荐文章于 2025-06-09 14:39:32 发布 · 2.2w 阅读

59 ·

CC 4.0 BY-SA版权

文章标签：

#离群点检测 #聚类分析 #数据挖掘

本文探讨了在数据挖掘中基于聚类的离群点检测技术，包括丢弃远离其他簇的小簇和基于原型的聚类方法。通过分析聚类算法如K均值，以及对象到簇中心的距离，来识别离群点。在实际应用中，通过调整聚类个数和设定阈值来确定离群点，以帮助处理高维大数据集。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在利用R软件进行数据挖掘时，离群点检测经常是必不可少的一部分。离群点检测的任务是发现与大部分其它对象显著不同的对象。大部分数据挖掘方法都将这种差异信息视为噪声丢弃，然而在部分情况下，罕见的数据可能蕴含着更大的研究价值。

离群点检测的方法很多，例如：
基于统计的离群点检测：在已知目标概率分布模型的前提下，计算该对象符合该模型的概率，对于高维数据的检验效果不佳；
基于邻近度的离群点检测：量化数据集之间的邻近度，把邻近度低的视为离群点，缺点是不适合大数据集，不能处理具有不同区域密度的数据集；
基于密度：定义一个密度值，一个对象的离群点得分是该对象周围密度的逆，缺点是大数据集不适用，参数选择也十分困难；
基于聚类：基于聚类技术来发现离群点可能是高度有效的，聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大；

鉴于数据挖掘中对于高维数据的大数据集的处理需要，以及各个离群点检测方法的优劣。这里我们重点讨论基于聚类的离群点检测。

基于聚类的离群点检测

聚类分析用于发现局部强相关的对象组，而异常检测用来发现不与其他对象强相关的对象。因此，聚类分析非常自然的可以用于离群点检测。这里介绍两种基于聚类的离群点检测方法：
1.丢弃远离其他簇的小簇：
一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇。通常，该过程可以简化为丢弃小于某个最小阈值的所有簇。
这个方法可以与任何其它聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值。而且这种方案对簇个数的选择高度敏感，使用这个方案很难将离群点得分附加到对象上。

2.基于原型的聚类：
另一种比较系统的方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）。在这种方法中，可以用对象到它的簇中心的距离来度量属于簇的程度。特别的，如果删除一个对象导致该目标的明显改进，则可将该对象视为离群点。例如，在K均值算法中，删除远离其相关簇中心的对象能够显著地改进该簇的误差平方和（SSE）。

对于基于原型的聚类，评估对象属于簇的程度（离群点得分）主要有两种方法：一是度量对象到簇原型的距离，并用它作为该对象的离群点得分；二是