共识聚类验证与成对概率聚类方法解析
在聚类分析领域,共识聚类验证和成对概率聚类是两个重要的研究方向。本文将深入探讨这两个方面的内容,包括相关的理论、实验结果以及新方法的提出。
共识聚类验证
在共识聚类验证中,我们首先关注的是数据分区的似然性计算。其中,diamk(xi) 表示以 xi 为中心且包含其邻域的区域的“直径”。由于相似性矩阵 C 的取值范围在 [0, 1] 之间,通过 1 - Cij 的转换可以得到不相似性度量,而直径则对应于 xi 的第 K_N 个最近邻的不相似性的两倍。
给定数据集 X 和数据分区 P,数据集 X 在分区 P 下的似然性定义为:
[L(X|P) = \sum_{i = 1}^{N} \sum_{k = 1}^{K} \frac{K_N}{n} \cdot V_k(x_i)]
这里,使用 L 作为有效性指标的基本原理是:在聚类集成中,共关联矩阵 C 对应于模式在一个聚类中成对共现概率的最大似然估计。将这种共现概率视为由聚类集成诱导的模式成对相似性,那么数据集 X 在组合分区 P 下的似然性可以通过 L(X|P ) 进行估计。基于成对相似性的统计有效性指标 L,对应于组合分区 P* 与聚类集成以及从中提取的成对信息的拟合优度。因此,最佳的组合策略应该能够使数据的似然值 L 达到最高。
同样地,我们也可以在原始数据表示空间中计算给定组合分区下数据的似然性。在这种情况下,似然性 L 对应于组合分区 P* 与原始表示中数据的统计特性的拟合优度。我们用 L_O 表示从原始数据表示计算得到的似然性,用 L_S 表示从共关联矩阵(诱导相似性)计算得到的似然性。
为了评估有效性度量在各种情况下的性能,我们使用了五个真实数据集(可从 UCI 存储库获取)和九个合成数据集。这些数据集涵盖了任意聚类形状、不同的基数和维度、分离良好和相邻的聚类以及不同的聚类密度等情况。具体数据集信息如下:
-
Iris 数据集
:由三种鸢尾花的各 50 个模式组成,每个模式由四个特征描述。
-
Std Yeast 数据集
:包含 384 个模式(归一化为均值为 0 且方差为 1),由 17 个特征描述,分为与细胞周期的 5 个阶段相关的 5 个聚类。
-
Optdigits 数据集
:是手写数字数据集的一个子集,仅包含每个数字的前 100 个模式,总共有 3823 个数据样本,由 64 个属性描述。
-
House Votes 数据集
:由美国众议院议员在 16 个关键投票上的投票组成,分为两个聚类。在总共 435 个样本(267 名民主党人和 168 名共和党人)中,只考虑没有缺失值的模式,最终得到 232 个模式(125 名民主党人和 107 名共和党人)。
-
Wine 数据集
:包含对意大利同一地区种植的葡萄酒进行化学分析的结果,分为三个聚类,分别有 59、71 和 48 个模式,由 13 个特征描述。House Votes 和 Wine 数据集都被归一化为具有单位方差。
合成数据集包括 Cigar、Spiral、Bars 等多种类型。
对于每个数据集,我们使用两种不同的方法构建聚类集成:
-
方法 A
:使用 K-means 算法生成 N = 150 个数据分区。对于 Iris 数据集,每个分区有 K = 20 个聚类;对于 Concentric 数据集,K = 50;对于 Complex 数据集,K = 120;对于其他数据集,K = 30。
-
方法 B
:同样使用 K-means 算法构建相同大小的聚类集成,但每个数据分区的聚类数随机选择为区间 [10, 30] 内的整数。
共识分区是通过应用 EAC 方法,并在最后一步使用 Single-Link、Average-Link、Complete-Link、Centroid-Link 和 Ward-Link 层次聚类算法得到的。K_N 定义为 ⌈√n⌉。
以下是不同有效性度量选择的共识分区的 NMI(P*, P0) 值表:
| 数据集 | 聚类集成构建方法 A | 聚类集成构建方法 B |
| — | — | — |
| | Lo So Do DBo Ls Ss Ds DBs ANMI ACC Best | Lo So Do DBo Ls Ss Ds DBs ANMI ACC Best |
| Iris | 0.81 0.81 0.71 0.71 0.81 0.81 0.71 0.81 0.81 0.81 0.81 | 0.81 0.81 0.72 0.72 0.81 0.81 0.72 0.72 0.81 0.81 0.81 |
| Std Yeast | 0.49 0.49 0.08 0.53 0.49 0.53 0.24 0.08 0.49 0.49 0.53 | 0.48 0.48 0.37 0.32 0.48 0.53 0.23 0.48 0.48 0.48 0.53 |
| Optdigits | 0.81 0.81 0.71 0.63 0.81 0.81 0.63 0.81 0.81 0.81 0.81 | 0.81
0.83 0.83 0.72 0.81 0.81 0.72 0.83 0.81 0.83 0.83 |
| House Votes | 0.50 0.50 0.03 0.03 0.50 0.14 0.14 0.14 0.50 0.50 0.50 | 0.49 0.49 0.02 0.49 0.49 0.49 0.14 0.14 0.49 0.49 0.49 |
| Wine | 0.77 0.77 0.66 0.08 0.77 0.66 0.08 0.66 0.77 0.77 0.77 | 0.77 0.80 0.06 0.17 0.80 0.77 0.17 0.06 0.77 0.77 0.80 |
| Cigar | 1.00 1.00 1.00 0.23 1.00 1.00 1.00 1.00 1.00 1.00 1.00 | 0.84 1.00 1.00 1.00 0.84 1.00 0.38 1.00 0.84 0.84 1.00 |
| Spiral | 1.00 0.00 0.05 0.05 1.00 0.00 1.00 1.00 0.00 0.00 1.00 | 0.01 0.01 0.08 0.08 0.01 0.01 1.00 1.00 0.01 0.01 1.00 |
| Bars | 0.94 0.94 0.06 0.06 0.94 0.94 0.06 0.94 0.94 0.94 0.94 | 0.94 0.94 0.21 0.21 0.94 0.94 0.21 0.21 0.94 0.94 0.94 |
| 2 Half Rings | 0.99 0.99 0.17 0.17 0.99 0.99 0.99 0.99 0.99 0.99 0.99 | 0.87 0.99 0.21 0.21 0.87 0.87 0.99 0.99 0.87 0.87 0.99 |
| 3 Half Rings | 1.00 1.00 0.08 0.08 1.00 1.00 1.00 1.00 1.00 1.00 1.00 | 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 |
| Concentric | 1.00 1.00 0.09 0.09 1.00 1.00 1.00 1.00 1.00 1.00 1.00 | 0.70 1.00 0.14 0.14 0.70 0.70 1.00 1.00 0.70 0.70 1.00 |
| D1 | 1.00 1.00 1.00 0.05 1.00 1.00 1.00 1.00 1.00 1.00 1.00 | 0.40 1.00 1.00 1.00 0.40 1.00 1.00 1.00 1.00 1.00 1.00 |
| D2 | 1.00 1.00 0.14 0.14 1.00 1.00 1.00 1.00 1.00 1.00 1.00 | 0.57 0.71 0.34 0.34 0.57 0.57 1.00 1.00 0.71 0.71 1.00 |
| Complex | 0.83 0.44 0.83 0.44 0.83 0.83 0.82 0.82 0.83 0.83 0.83 | 0.70 0.70 0.70 0.63 0.70 0.63 0.56 0.70 0.70 0.70 0.87 |
| #Best criterion | 13 11 3 1 13 11 7 10 12 12 5 11 5 4 6 7 6 9 6 7 |
从聚类集成构建方法 A 的结果来看,L 有效性度量在原始空间和相似性空间上都表现最佳,在 14 个数据集中有 13 个选择了最佳的共识分区,其次是 ANMI 和 ACC 标准,各有 12 个,SO 和 SS 有 11 个。虽然 Lo 和 Ls 选择了相同的分区,但 So 和 Ss 在几个数据集上有不同的选择。D 和 DB 在成对相似性空间上的性能比在原始空间上更好,这表明应该优先选择相似性空间。
对于聚类集成构建方法 B,原始空间上的 S 是最佳的有效性度量,在 11 个数据集中是最佳标准。DB 在相似性空间上表现最佳,在 9 个数据集中选择了与其他指标相同或更好的分区。L 在原始空间上仅 5 次成为最佳标准,在相似性空间上为 6 次。L 性能不佳的原因是它对“不良”聚类集成较为敏感。
通过对原始空间和相似性空间上的标准进行比较,我们得出以下结论:
- 如果聚类集成是“良好”的,L(在两个空间上)是最佳选择。
- S 在原始空间上具有鲁棒性。
- D 是最差的标准(尽管相似性空间版本的结果比原始空间版本更好)。
我们还发现,共识分区评估可以仅限于共关联矩阵,这样做的优点是可以探索稀疏相似性表示(特别是在使用 Ls 时)并符合数据隐私要求。而在原始空间上评估共识分区存在一个缺点:如果聚类集成中的分区是使用不同的表示(例如不同的特征子集、随机投影等)产生的,如何验证共识分区呢?
通过比较相似性空间上的标准与基于聚类集成分区和共识分区之间一致性的标准,我们发现:在构建方法 A 中,Ls 比 ANMI 和 ACC 更好;在构建方法 B 中,DBs 更好。因此,我们可以舍弃 ANMI 和 ACC,转而依靠基于相似性的标准来评估共识分区。
成对概率聚类
在聚类分析中,成对相似性和概率之间存在着紧密的联系。在无监督学习的背景下,通常认为如果两个对象相似,那么它们很可能被某个聚类算法分组在一起,并且相似性越高,它们在一个聚类中共同出现的概率就越高。反之,如果两个对象经常在同一个聚类中共同出现(高共现概率),那么它们很可能非常相似。这种成对相似性和聚类内成对概率之间的对偶性和对应关系构成了证据积累聚类(EAC)方法的核心思想。
EAC 方法将多个聚类结果组合成一个单一的数据分区,它将每个聚类结果视为成对数据组织的独立证据。通过在聚类委员会中使用成对频率计数机制,该方法产生一个共关联矩阵,该矩阵总结了从聚类集成的多个成员中获取的证据。这个矩阵对应于由聚类委员会评估的对象对在同一组中的概率的最大似然估计。EAC 的一个主要优点是它允许聚类委员会内有很大的多样性,因为它不对用于产生数据分区的算法做任何假设,对不完整信息具有鲁棒性,并且对分区的聚类数量没有限制。
然而,一旦根据 EAC 框架生成了共关联矩阵,通常会应用一个聚类算法来获得共识聚类,而这个算法通常会产生硬分区。虽然以清晰的分区作为数据组织证据积累的基线是合理的,但在产生共识聚类的阶段,这种假设过于严格。例如,在许多重要的应用中,如聚类微阵列基因表达数据、文本分类、感知分组、视觉场景标注和医学诊断等,处理重叠聚类的重要性早已得到认可,并且最近在机器学习社区中,人们对这个问题重新产生了兴趣。此外,通过诱导硬分区,我们会丢失一些重要信息,如每个标签分配的不确定性水平。而且,特定算法的底层聚类标准并没有充分利用计算出的相似性的概率解释,而这是 EAC 框架的一个内在部分。
为了解决这些问题,我们提出了一种新的共识聚类方法,该方法建立在证据积累框架之上。我们的方法以共关联矩阵作为唯一输入,并输出数据集的软分区,其中每个对象被概率性地分配到一个聚类中。为了找到未知的聚类分配,我们充分利用了共关联矩阵的每个元素是两个对象在同一个聚类中概率的估计这一事实,该估计来自于聚类集成。
具体来说,我们假设要将一组数据对象 O = {1, …, n} 聚类到 K 个类中,并且有一个由 N 个聚类组成的集合 E = {cli},这些聚类是通过在(可能是)原始数据集 O 的子样本版本上运行不同算法并使用不同参数化得到的。数据子采样是一个非常通用的框架,因为它有利于聚类集成的多样化,能够模拟分布式聚类中本地聚类器只能部分访问数据的情况,并且通过这种数据扰动,共关联矩阵具有成对稳定性的额外解释,可用于聚类验证。
每个聚类 cli 是一个从对象集合 Oi ⊆ O 到类标签的函数。对于任意两个对象 i 和 j,我们用 Ωij 表示它们都被分类的聚类的索引集合,Nij = |Ωij| 表示它们都被分类的聚类的数量。
我们的目标是从聚类集合 E 中学习如何将对象聚类到 K 个类中,而不需要事先了解这些对象的其他信息。为此,我们假设对象可以被软分配到聚类中。因此,聚类问题就变成了为每个对象 i ∈ O 估计一个未知的分配 yi,它是一个关于聚类标签集合 {1, …, K} 的概率分布,也就是标准单纯形 ΔK 中的一个元素,其中:
[ΔK = {x \in \mathbb{R}^K_+ : |x|
1 = 1}]
这里,(\mathbb{R}
+) 是非负实数集,(|\cdot|_1) 是 ℓ1 - 范数。yi 的第 k 个元素表示对象 i 被分配到聚类 k 的概率。
给定对象 i 和 j 的未知聚类分配 yi 和 yj,并且假设聚类分配是独立的,那么它们在同一个聚类中出现的概率可以很容易地推导为 (y_i^T y_j)。假设 Y = (y1, …, yn) 是由 yi 堆叠而成的矩阵,那么 (Y^T Y) 这个 n × n 矩阵提供了 O 中任意一对对象的共现概率。
对于每对对象 i 和 j,我们用 Xij 表示一个伯努利分布的随机变量,用于指示对象 i 和 j 是否在同一个聚类中。根据我们的模型,Xij 的均值(也就是参数)是 (y_i^T y_j)。我们从聚类集合中收集 Nij 个 Xij 的独立实现 (x_{ij}^{(p)}),其中:
[x_{ij}^{(p)} = \begin{cases}
1, & \text{如果 } cl_p(i) = cl_p(j) \
0, & \text{否则}
\end{cases}]
通过取这些实现的平均值,我们得到共现的经验概率 cij,即对象 i 和 j 被分配到同一个聚类中的次数的比例:
[cij = \frac{1}{Nij} \sum_{p \in \Omega_{ij}} x_{ij}^{(p)}]
由任意一对对象的共现经验概率得到的矩阵 C = (cij) 就是证据积累框架中的共关联矩阵。
我们的方法将聚类问题转化为概率域中的多项式优化问题,并通过 Baum - Eagon 不等式来解决这个问题。为了评估我们方法的有效性,我们在合成和真实基准数据集上进行了实验。
综上所述,我们在共识聚类验证方面深入研究了不同有效性度量在不同聚类集成构建方法下的性能,得出了在不同情况下选择合适度量的结论。在成对概率聚类方面,我们提出了一种新的方法,旨在解决传统方法在产生共识聚类时的一些局限性,通过充分利用共关联矩阵的概率信息,将聚类问题转化为概率域的优化问题,并通过实验验证了其有效性。
472



被折叠的 条评论
为什么被折叠?



