非欧几里得相异性与非参数混合模型聚类技术解析
在数据处理和分析领域,相异性度量和聚类算法是两个重要的研究方向。相异性度量用于衡量数据点之间的差异程度,而聚类算法则是将数据点划分为不同的组或簇。下面我们将深入探讨非欧几里得相异性的原因和信息价值,以及非参数混合模型在聚类中的应用。
非欧几里得相异性的分析
相异性度量在许多实际应用中起着关键作用,然而,非欧几里得和非度量相异性的存在给分析带来了挑战。我们先来看一些常见的数据集及其特点:
-
数据集介绍
-
定位球数据集
:由两类半径略有不同的球组成。
-
高斯数据集(GaussM1 和 GaussM02)
:基于两个 20 维正态分布的对象集,使用闵可夫斯基距离 1 和 0.2 分别计算相异性。
-
Coil 数据集
:基于 COIL 图像中的相同 SIFT 点集,通过不同的图距离进行比较。
-
BrainMRI 数据集
:是从 MRI 脑图像中获得的 182 个相异性度量的平均值。
-
行人数据集(Pedestrians)
:是街道图像中检测到的对象(可能是行人)之间的相异性集合,基于从单张图像中提取的特征点集之间的云距离。
从这些数据集的分析中,我们可以观察到一些有趣的现象:
-
非欧几里得特性
:通过负特征分数列(NEF)可以看出,所有数据集都是非欧几里得的。其中,蛋白质集的度量接近欧几里得度量,因为其负特征值的贡献非常小。
-
度量特性
:一些数据集是度量的。例如,鸡肉块数据集基于轮廓之间加权编辑距离的平均值,由于编辑距离搜索的是最小编辑路径,所以理论上应该是度量的。但在个别相异性矩阵中,由于路径优化过程中的近似,会出现一些违反度量性质的情况,不过经过平均后这个问题得到了解决,并且这种处理显著提高了结果。
-
相异性修正效果
:在许多情况下,原始的、未修正的伪欧几里得相异性表现最佳。删除负特征向量往往会起到反作用。而对于其他数据集,欧几里得修正效果较好。
-
负空间的信息价值
:几乎在所有情况下,负空间本身都显示出一定的类可分离性(与随机分配误差相比),这证明它包含了一些信息。在少数情况下,负空间表现出非常好的结果,如行人数据集。在 Balls3D 示例中,所有信息都集中在负空间。
综上所述,相异性数据的非欧几里得特性不应直接从表示中去除,因为负空间本身通常比随机性能更好,并且在某些问题中能得到非常好的结果。这表明负空间以及数据的非欧几里得性是有信息价值的,但需要注意的是,这些结论依赖于分类器。
非参数混合模型聚类
传统的混合模型通常是参数形式的,如高斯混合模型(GMM),但它们在拟合实际中遇到的各种多维数据分布时存在局限性。为了克服这些问题,我们提出了一种非参数混合模型(NMM)用于数据聚类。
模型背景
数据聚类的目标是将给定的一组对象划分为不同的簇。目前存在大量的聚类算法,大致可分为参数方法和非参数方法。参数方法对数据施加结构,而非参数方法则从数据本身推断潜在结构。
参数混合模型在数据的基础分布已知或可以被模型假设的分布近似时是有效的,但在实际中,真实数据的簇形状和分布往往是多样的,这限制了参数混合模型的性能。同样,基于平方误差的聚类算法如 K - 均值也存在类似的局限性。
非参数密度估计方法可以克服参数混合模型的局限性。一些非参数聚类算法,如 Jarvis - Patrick、DBSCAN 和 Mean - shift,通过先找到整个数据的单个核密度估计,然后通过识别估计密度中的模式或高密度区域来检测簇。然而,这些方法在高维数据集上往往不太成功,因为在高维空间中,当样本量较小时,很难定义数据点的邻域。此外,这些方法通常无法预先指定所需的簇数量。
非参数混合模型的描述
设 $D = {x_1, \ldots, x_n}$ 是要聚类的 $n$ 个数据点的集合,每个 $x_i \in R^d$ 是一个 $d$ 维向量,$G$ 是簇的数量。我们使用一个非参数混合模型来拟合数据点。
- 核函数 :设 $\kappa(\cdot, \cdot) : R^d \times R^d \to R$ 是用于密度估计的核函数,并且假设该核函数是平稳的,即 $\kappa(x_i, x_j) = \kappa_s(x_i - x_j)$,其中 $\int \kappa_s(x)dx = 1$。我们用矩阵 $K = [\kappa(x_i, x_j)] {n\times n} \in R^{n\times n} +$ 表示数据点在 $D$ 中的成对核相似度。
-
条件密度函数
:对于每个簇 $c_g$,其条件密度函数 $p_g(x|c_g, D)$ 定义为:
- 硬簇参与情况:$p_g(x|c_g, D) = \frac{1}{|c_g|} \sum_{x_i\in c_g} \kappa(x, x_i)$,其中 $|c_g|$ 是簇 $c_g$ 中的样本数量,且 $\sum_g |c_g| = n$。
- 软簇参与情况:$p_g(x|c_g, D) = \sum_{i=1}^n q_g^i \kappa(x_i, x)$,其中 $\sum_{i=1}^n q_g^i = 1$。我们将 $q_g = (q_g^1, \ldots, q_g^n)$ 称为簇 $c_g$ 的轮廓向量,$Q = (q_1, \ldots, q_G)$ 称为轮廓矩阵。
无条件(关于簇)密度 $p(x|D)$ 可以表示为:$p(x|D) = \sum_{g=1}^G \pi_g p_g(x|c_g, D)$,其中 $\pi_g = P(c_g)$ 是簇 $c_g$ 的混合系数。
轮廓矩阵的估计
为了估计轮廓矩阵 $Q$,我们采用最大似然的思想,即通过解决优化问题 $\max_Q \sum_{i=1}^n \log p(x_i|D)$ 来找到矩阵 $Q$。但直接最大化数据的似然可能会导致参数 $Q$ 的过估计,即机器学习中常见的过拟合问题。为了解决这个问题,我们用留一法(LOO)估计来代替 $p(x_i|D)$。
设 $p_i(x_i|c_g, D_{-i})$ 是每个保留样本 $x_i$ 在给定簇和其余数据条件下的 LOO 条件概率:
$p_i(x_i|c_g, D_{-i}) = \frac{1}{\sum_{j=1}^n (1 - \delta_{j,i}) q_g^j} \sum_{j=1}^n (1 - \delta_{j,i}) q_g^j K_{i,j}$
其中 $D_{-i} = D \setminus {x_i}$ 表示排除样本 $x_i$ 的 $D$ 的子集。进一步定义每个保留样本 $x_i$ 的 LOO 无条件(关于簇)密度为:
$p_i(x_i|D_{-i}) = \sum_{g=1}^G \gamma_g^i p_i(x_i|c_g, D_{-i})$
其中 $\gamma_g^i = P(c_g|D_{-i})$,且 $\sum_g \gamma_g^i = 1$,$\forall i = 1, \ldots, n$。
为了提高估计的鲁棒性,我们为轮廓矩阵 $Q$ 引入高斯先验:
$p(Q) \propto \exp \left(-\lambda \sum_{i} \sum_{g} [q_g^i]^2 \right)$
其中 $\lambda$ 是一个经验确定的超参数。现在,使用条件 $\sum_{i=1}^n q_g^i = 1$,数据的 LOO 对数似然 $\ell_{LOO}(D; Q, \Gamma)$ 可以表示为:
$\ell_{LOO}(D; Q, \Gamma) = \log p(Q) + \sum_{i=1}^n \log p_i(x_i|D_{-i}) = -\lambda \sum_{i=1}^n \sum_{g=1}^G (q_g^i)^2 + \sum_{i=1}^n \log \left(\sum_g \frac{\gamma_g^i \sum_{j=1}^n K_{i,j} q_g^j}{1 - q_g^i} \right)$
参数 $\gamma_g^i$ 和 $q_g^i$ 通过最大化 LOO 对数似然 $\ell_{LOO}(D; Q, \Gamma)$ 来估计,即解决优化问题:
${Q^
, \Gamma^
} = \arg \max_{Q, \Gamma} \ell_{LOO}(D; Q, \Gamma)$
优化方法
为了确定最大化对数似然的 $\Gamma$ 和 $Q$ 的最优值,我们采用交替优化策略:
1. 对于固定的 $Q$,当 $\gamma_g^i = \delta(g, \arg \max_{g’} p_i(x_i|c_{g’}, D_{-i}))$ 时,样本 $x_i$ 的 LOO 对数似然最大化。$\gamma_g^i$ 与后验分布 $Pr(c_g|x_i)$ 密切相关,可以解释为第 $i$ 个样本的簇标签。
2. 算法流程如下:
Algorithm 1. [Q, Γ] = NonParametricMixtureFit(D, G, λ, σ)
Input: Dataset D, no. of clusters G, parameters λ and σ
Output: Cluster labels Γ and the profile matrix Q
1: Compute the kernel matrix K for the points in D with bandwidth σ. Normalize K
such that ∑j Kij = 1.
2: Set the iteration t ← 0.
3: Initialize Q(t) ← Q0, such that Q0 ≽ 0, QT0 1n = 1G.
4: repeat
5:
t ← t + 1;
6:
Compute the γg^i using Eq (9)
7:
By fixing the values of γg^i, obtain Q(t) by minimizing Eq (7).
8:
ΔQ ← Q(t) - Q(t - 1).
9: until ||ΔQ||22 ≤ ϵ, (ϵ is pre - set to a desired precision)
10: return Q, Γ
由于直接优化对数似然关于 $Q$ 比较困难,我们通过最小化负对数似然的凸变分上界来进行有效推断。在每次迭代中,我们保持界与负对数似然函数之间的接触点,以保证收敛到至少一个局部最小值。
实现细节
在核密度估计中,归一化是一个关键问题。传统上,核函数在数据的整个域上进行归一化,但对于高维数据和小样本量,这种归一化可能会导致严重的数值问题。为了克服这个问题,我们将核矩阵归一化,使得每行的和为 1,即 $\sum_j K_{i,j} = 1$,这样可以消除维度对估计过程的影响,对处理稀疏数据集很有用。
在选择核宽度 $\sigma$ 时,谱聚类中使用的启发式方法是有效的。实验结果表明,聚类性能对核宽度 $\sigma$ 的选择不太敏感。参数 $\lambda$ 也不是非常关键,通常选择足够小的值,在所有实验中我们选择 $\lambda = 10^{-4}$,这会对 $q_g^i$ 值进行适度平滑,并避免算法因对数运算而出现数值不稳定。
与高斯混合模型相比,该非参数混合模型需要求解的变量数量为 $O(nG)$,与谱聚类类似,而高斯混合模型需要求解 $O(d^2)$ 数量的变量,对于高维稀疏数据集,非参数混合模型的优势更为明显。
实验结果与讨论
我们在从 20 - newsgroups 数据集派生的文本数据集上评估了提出的非参数混合模型拟合算法。将其与三类知名的聚类算法进行比较:
-
参数聚类算法
:K - 均值和具有对角和全协方差矩阵的高斯混合模型(GMM)。
-
核基算法
:NJW 谱聚类。
-
非参数层次聚类算法
:单链接、完全链接和平均链接。
每个算法运行 10 次,报告平均性能值,最佳性能以粗体显示。由于数据集是高维的,且在某些算法中无法指定簇的数量,因此与 Mean - shift 等相关算法的比较较为困难。由于维度数大于数据点数,GMM 在该数据上不太成功。
在每次运行中,提出的算法、K - 均值和谱聚类都用 5 个不同的起始点初始化,只报告最佳性能。实验结果表明,当数据具有高维性且嵌入在低维流形中时,提出的非参数混合模型算法的性能明显优于其他广泛使用的聚类算法。
综上所述,非欧几里得相异性的研究提醒我们在处理数据时要重视负空间的信息价值,而非参数混合模型为高维数据的聚类提供了一种有效的解决方案。这些技术的应用将有助于我们更好地理解和分析复杂的数据结构。
非欧几里得相异性与非参数混合模型聚类技术解析
技术对比与优势总结
为了更清晰地展示非参数混合模型聚类算法的优势,我们将其与其他常见聚类算法进行详细对比,具体内容如下表所示:
|算法类型|算法名称|适用场景|局限性|变量求解数量|
| ---- | ---- | ---- | ---- | ---- |
|参数聚类算法|K - 均值|数据分布较为规则,簇形状接近球形|对数据分布假设较强,难以处理非球形簇| - |
|参数聚类算法|高斯混合模型(GMM)|数据符合高斯分布的场景|当数据维度高且样本量小,或数据分布复杂时效果不佳|$O(d^2)$|
|核基算法|NJW 谱聚类|可以处理复杂形状的簇|计算复杂度较高| - |
|非参数层次聚类算法|单链接、完全链接、平均链接|对数据分布假设较少|难以确定合适的簇数量| - |
|非参数混合模型聚类|非参数混合模型(NMM)|高维数据且嵌入在低维流形中| - |$O(nG)$|
从表中可以看出,非参数混合模型聚类在处理高维数据时具有明显优势,其需要求解的变量数量与谱聚类类似,远小于高斯混合模型在高维稀疏数据集下的变量求解数量。
技术应用前景
非欧几里得相异性和非参数混合模型聚类技术在多个领域具有广阔的应用前景:
-
生物信息学
:在基因表达数据分析中,数据往往具有高维性和复杂的分布。非参数混合模型聚类可以更准确地识别基因表达模式,帮助生物学家发现不同功能的基因簇,从而深入了解生物的生理和病理过程。
-
图像识别
:在图像分类和分割任务中,图像数据通常具有高维特征。非欧几里得相异性的研究可以帮助我们更好地度量图像之间的差异,而非参数混合模型聚类可以将相似的图像聚类在一起,提高图像识别的准确性。
-
金融领域
:在股票市场分析中,股票的价格和交易量等数据具有高维性和动态变化的特点。非参数混合模型聚类可以对股票进行分类,帮助投资者发现不同类型的股票群体,制定更合理的投资策略。
技术发展趋势
随着数据量的不断增加和数据维度的不断提高,非欧几里得相异性和非参数混合模型聚类技术也将不断发展:
-
算法优化
:未来的研究可能会集中在进一步优化非参数混合模型的算法,提高其计算效率和聚类准确性。例如,探索更高效的优化方法,减少算法的迭代次数和计算复杂度。
-
多模态数据融合
:现实世界中的数据往往是多模态的,如文本、图像、音频等。如何将非参数混合模型聚类技术应用于多模态数据的分析和处理,是未来的一个重要研究方向。
-
与深度学习结合
:深度学习在处理复杂数据方面具有强大的能力。将非参数混合模型聚类技术与深度学习相结合,可以充分发挥两者的优势,提高数据处理和分析的效果。
总结
本文深入探讨了非欧几里得相异性的原因和信息价值,以及非参数混合模型在聚类中的应用。通过对多个数据集的分析,我们发现相异性数据的非欧几里得特性具有重要的信息价值,负空间不能简单地被去除。非参数混合模型为高维数据的聚类提供了一种有效的解决方案,其在处理高维数据且嵌入在低维流形中的数据时,性能明显优于其他常见的聚类算法。
未来,我们期待这些技术在更多领域得到应用,并不断发展和完善,为解决复杂的数据处理和分析问题提供更强大的工具。
流程图:非参数混合模型聚类算法流程
graph TD;
A[输入数据集 D、簇数量 G、参数 λ 和 σ] --> B[计算核矩阵 K 并归一化];
B --> C[初始化迭代次数 t = 0];
C --> D[初始化 Q(t) = Q0];
D --> E{t < 最大迭代次数};
E -- 是 --> F[t = t + 1];
F --> G[计算 γg^i];
G --> H[固定 γg^i,最小化对数似然求 Q(t)];
H --> I[计算 ΔQ = Q(t) - Q(t - 1)];
I --> J{||ΔQ||22 ≤ ϵ};
J -- 否 --> E;
J -- 是 --> K[输出簇标签 Γ 和轮廓矩阵 Q];
E -- 否 --> K;
这个流程图清晰地展示了非参数混合模型聚类算法的主要步骤,从输入数据到最终输出簇标签和轮廓矩阵,包括了核矩阵计算、迭代优化等关键环节。



被折叠的 条评论
为什么被折叠?



