23、聚类算法与高斯混合模型详解

聚类算法与高斯混合模型详解

1. 几种聚类算法概述

在聚类分析领域，有多种算法可供选择，每种算法都有其独特的特点和适用场景。
- Mean - shift算法 ：
- 原理 ：该算法从在每个实例上放置一个以其为中心的圆开始，接着计算圆内所有实例的均值，并将圆移动到均值位置。不断重复这个均值移动步骤，直到所有圆停止移动，即每个圆都位于其包含实例的均值中心。该算法会朝着更高密度的方向移动圆，直至每个圆都找到局部密度最大值。
- 特点 ：与DBSCAN有一些相似之处，能发现任意数量、任意形状的聚类，只有一个超参数（圆的半径，称为带宽），依赖局部密度估计。但当聚类内部密度有变化时，容易将聚类分割成小块。
- 复杂度 ：计算复杂度为$O(m^2)$，不适合处理大型数据集。
- Affinity propagation算法 ：
- 原理 ：使用投票系统，实例为相似的实例投票，使其成为代表。算法收敛后，每个代表及其投票者形成一个聚类。
- 特点 ：可以检测任意数量、不同大小的聚类。
- 复杂度 ：计算复杂度为$O(m^2)$，不适合大型数据集。
- Spectral clustering算法 ：
- 原理 ：先获取实例间的相似矩阵，从中创建低维嵌入（即降低维度）