机器学习系列 - Mean Shift聚类

前言

Mean Shift（均值漂移）是基于密度的非参数聚类算法，其算法思想是假设不同簇类的数据集符合不同的概率密度分布，找到任一样本点密度增大的最快方向（最快方向的含义就是Mean Shift），样本密度高的区域对应于该分布的最大值，这些样本点最终会在局部密度最大值收敛，且收敛到相同局部最大值的点被认为是同一簇类的成员。

Mean Shift在计算机视觉领域的应用非常广，如图像分割，聚类和视频跟踪等。

一、原理

前置知识点

• 核密度估计： Mean-shift的核心思想是通过估计数据点分布的概率密度函数来发现数据集的聚类结构。它使用核函数（通常是高斯核函数）来对每个数据点的周围区域进行加权，得到一个局部密度估计。

对于每一个数据点$x_i$，其邻域内点密度计算公式如下：

其中，K是高斯核函数，h是带宽参数，n是数据集的大小，d是数据点的维数

下图是一维数据集的核概率密度，其中虚线表示每个样本的核函数，实线是每个样本的核函数进行叠加，表示数据集的概率密度。该数据集的概率密度只有一个局部最大值，因此，此时mean shift算法的簇类个数是1。

• 梯度上升： 在密度估计的基础上，Mean-shift算法通过对密度梯度进行上升来寻找数据点的模态或聚类中心。梯度上升的过程可看作在概率密度函数表面上向着密度增长最快的方向移动。

ps：
数据集密度函数如下：

对数据集密度函数求导：

其中， g ( s ) = − k ′ ( s ) g(s)=-k'(s) g(s)=−k