24、聚类技术：非参数方法的深入解析

聚类技术：非参数方法的深入解析

1. 引言

在数据处理和模式识别领域，聚类是一项关键技术，它能将数据样本划分为不同的组，使得同一组内的样本具有较高的相似性，而不同组之间的样本具有较大的差异性。非参数聚类方法在处理复杂数据分布时具有独特的优势，下面我们将详细探讨非参数聚类的相关内容。

2. 非参数聚类基础

当混合密度函数呈现出如图11 - 9所示的峰谷特征时，根据谷来划分样本是一种自然的选择。然而，这些谷可能不具有超平面、二次曲面等参数结构。在这种情况下，我们需要非参数技术来刻画谷的局部结构。

许多非参数聚类程序都基于密度梯度的估计。以图11 - 9为例，若在每个样本点估计密度函数的梯度，并将样本向梯度方向移动，样本会逐渐远离谷区。通过反复迭代，谷会变宽，样本最终形成紧凑的聚类，这一过程被称为谷搜索过程。

谷搜索过程主要涉及两个问题：一是如何估计密度函数的梯度，二是如何利用该估计来形成聚类。

3. 密度梯度的估计

为了估计密度函数在点X处的梯度，我们选择一个半径为r的椭球局部区域r(X)，其定义为：
[r(x) = {Y: d(Y, x) \leq r}]
其中，
[d^2(Y, X) = (Y - X)^T A^{-1} (Y - X)]
A是用于测量距离的度量矩阵。T(X)中Y的期望向量，即局部均值M(X)，可通过以下公式计算：
[M(X) = E[(Y - X) | r(X)] = \frac{\int_{r(X)} (Y - X) p(Y) dY}{\int_{r(X)} p(Y) dY}]
其中，
[\int_{r(