10、模式搜索聚类与稀疏核分类器研究

模式搜索聚类与稀疏核分类器研究

在数据处理和分析领域，聚类和分类是两个重要的任务。模式搜索聚类和稀疏核分类器是解决这两个任务的有效方法，下面将详细介绍这两种方法。

模式搜索聚类：KNN与均值漂移算法

模式搜索聚类是一种聚集方法。它首先对数据集估计一个密度函数，通常该函数有几个局部最大值，即模式。在聚类阶段，对于每个对象，通过跟踪其密度梯度直到找到一个模式，来确定它属于哪个模式。最终处于同一模式的对象被认为属于同一簇。

这里讨论了两种模式搜索过程，分别基于Parzen核（均值漂移过程）和k近邻估计器（kNN模式搜索）。这两种方法都有一个宽度参数，该参数会影响密度估计中的模式数量。

• 均值漂移算法 ：使用Parzen核进行模式搜索聚类可追溯到1975年Fukunaga的论文，由此产生了均值漂移算法。该算法利用了一个观察结果，即单个对象的核在与核内的相邻对象加权后，其均值的偏移指向梯度方向。该算法由Cheng、Comaniciu和Meer推广，他们展示了如何快速实现该算法，使其可用于图像分割。在研究中，使用了Bart Finkston的Matlab实现，该实现不是确定性的，因为它取决于对象的处理顺序。这里使用最近邻的数量代替核宽度，核宽度设置为整个数据集到第k个最近邻的平均距离。
• kNN模式搜索 ：最初由Koontz描述，与Kittler研究的算法有关。在kNN模式搜索的定义中，每个对象的密度与其到第k个邻居的距离成反比。为每个对象定义一个指向其邻域中密度最高对象的指针，最终跟随这些指针找到指向自身的对象，该对象代表密度中的一个模式。