半监督聚类与共识聚类验证方法解析
半监督聚类算法
提出了一种半监督算法,用于从等价约束中学习相异度的组合。该算法的误差函数包含一个惩罚项,用于控制所考虑的距离族的复杂度。优化过程基于稳健的二次规划方法,避免了局部极小值问题。
实验结果表明,相异度的组合几乎总是能提高仅基于单一相异度的聚类算法的性能。此外,该算法显著改进了标准的度量学习算法,并且对过拟合具有鲁棒性。未来的研究趋势将集中在将这种形式主义应用于异构数据源的集成。
Empirical Kernel Map 允许我们使用核方法处理非欧几里得相异度。设 $d: X × X →R$ 是一个相异度,$R = {x_1, \cdots, x_n}$ 是从训练集中抽取的代表子集。定义映射 $\varphi : F →R^n$ 为:
$\varphi(z) = D(z, R) = [d(z, x_1), d(z, x_2), \cdots, d(z, x_n)]$
这个映射定义了一个相异度空间,其中特征 $i$ 由 $d(., x_i)$ 给出。相异度的核可以定义为特征空间中两个相异度向量的点积:
$k(x, x’) = \langle\varphi(x), \varphi(x’)\rangle = \sum_{i = 1}^{n} d(x, p_i)d(x’, p_i), \forall x, x’ \in X$
共识聚类验证
聚类组合问题
聚类集成方法旨在提高数据聚类的鲁棒性和质量、重用聚类解决方案以及以分布式方式对数据进行聚类。这些方法主要分为两个阶段:构建聚类集成(CE)和将从 CE 中提取的信息组合成一个共识分区。
Evidence Accumulation Clustering 方法(EAC)将每个数据分区视为数据组织的独立证据。其基本假设是,属于同一“自然”簇的两个模式将经常被分组在一起。每次两个模式共同出现在同一个簇中时,就会给这对模式投一票。成对投票存储在一个 $n × n$ 的共关联矩阵 $C$ 中,并通过组合数据分区的总数进行归一化:
$C_{ij} = \frac{\sum_{l = 1}^{N} vote_{ij}^l}{N}$
其中,$vote_{ij}^l = 1$ 表示 $x_i$ 和 $x_j$ 在数据分区 $P^l$ 的同一个簇中;否则,$vote_{ij}^l = 0$。通过对共关联矩阵 $C$ 应用某种聚类算法,可以得到共识分区。
共识分区验证的三个层次
为了评估共识分区 $P^
$ 的质量,我们从三个层次进行衡量:
1.
原始数据表示空间
:这是最常见的聚类验证方法。通过效用或成本函数评估数据分区,并与同一数据集的其他分区进行比较。常用的指标包括 Silhouette、Dunn’s 和 Davies - Bouldin 指数。
-
Silhouette 指数
:对于每个数据点 $x_i$,计算其与同一簇中其他点的平均距离 $a_i$ 和与其他簇中所有点的最小平均距离 $b_i$。Silhouette 宽度 $s_i$ 为:
$s_i = \frac{b_i - a_i}{\max{a_i, b_i}}$
全局 Silhouette 指数 $S$ 是所有样本的平均 Silhouette 宽度:
$S = \frac{1}{n} \sum_{i = 1}^{n} s_i$
-
Dunn’s 指数
:量化一组簇表示紧凑且分离的簇的程度。定义为:
$D = \frac{\min_{1\leq q\leq K} \min_{1\leq r\leq K, r\neq q} dist(C_q, C_r)}{\max_{1\leq p\leq K} diam(C_p)}$
其中,$dist(C_q, C_r)$ 是簇 $C_q$ 和 $C_r$ 之间的距离,$diam(C_p)$ 是簇 $C_p$ 的直径。最佳分区是使指数值 $D$ 最大化的分区。
-
Davies - Bouldin 指数
:定义为簇内散布总和与簇间分离值的比率。小值的 $DB$ 对应于紧凑且中心相距较远的簇。数据分区使 $DB$ 最小化的即为最优分区。
2.
聚类集成空间
:这些有效性指标依赖于共识分区 $P^
$ 与聚类集成 $P = {P_1, \cdots, P_N}$ 中各分区之间的一致性。
-
Average Normalized Mutual Information(ANMI)
:较高的 $ANMI(P^
, P)$ 值表示更好质量的共识分区。
-
Average Cluster Consistency(ACC)
:衡量聚类集成中的簇与共识分区中的簇的匹配程度。最佳共识分区是使 $ACC(P^
, P)$ 值最高的分区。
3.
学习到的成对相似性空间
:对原始数据空间中的有效性指标进行修改,以适应成对相似性表示。
-
Silhouette - 样有效性指数
:通过修改公式来计算在相似性空间中的簇内紧凑性和簇间可分离性。
-
Dunn - 样验证指数
:重新定义簇之间的相似性和簇的直径,以适应相似性表示。
-
Davies 和 Bouldin 的有效性指数
:引入了新的簇中心概念,以适应基于相似性的数据表示。
基于成对相似性的统计有效性指数
提出了一个新的有效性指数,用于基于成对相似性评估共识分区 $P^ $ 的质量。该指数基于数据在给定数据分区下的似然性 $L(X|P^ )$ 进行评估。
受 Parzen - 窗口密度估计技术的启发,我们定义了数据点 $x_i$ 在给定簇 $C_k$ 下的概率密度:
$p(x_i|C_k) = \frac{K_N}{|C_k| \cdot V_k(x_i)}$
其中,$V_k(x_i)$ 是包含 $x_i$ 在簇 $C_k$ 中的 $K_N$ 个最相似数据点的区域的体积。由于仅依赖于成对相似性,我们将 $V_k(x_i)$ 近似为与它成比例的量:
$V_k(x_i) \triangleq diam_k(x_i), diam_k(x_i) = 2(1 - \min_{x_j\in KNN_k(x_i)} C_{ij})$
以下是聚类组合和验证的流程 mermaid 图:
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;
A([开始]):::startend --> B(构建聚类集成):::process
B --> C(计算共关联矩阵):::process
C --> D(应用聚类算法得到共识分区):::process
D --> E{验证层次}:::decision
E -->|原始数据空间| F(计算 Silhouette、Dunn、Davies - Bouldin 指数):::process
E -->|聚类集成空间| G(计算 ANMI、ACC):::process
E -->|成对相似性空间| H(计算修改后的指数):::process
F --> I(评估分区质量):::process
G --> I
H --> I
I --> J([结束]):::startend
通过这些方法和指标,我们可以更全面地评估聚类组合的结果,选择最适合的聚类解决方案。
半监督聚类与共识聚类验证方法解析
各验证指标的特点与对比
为了更清晰地了解不同验证指标的特点,下面通过表格的形式进行对比分析:
|验证层次|指标名称|计算方式|指标含义|最佳分区判断|
| ---- | ---- | ---- | ---- | ---- |
|原始数据表示空间|Silhouette 指数|$s_i = \frac{b_i - a_i}{\max{a_i, b_i}}$,$S = \frac{1}{n} \sum_{i = 1}^{n} s_i$|衡量每个数据点在其所在簇与其他簇中的拟合程度|$S$ 值越接近 1 越好|
|原始数据表示空间|Dunn’s 指数|$D = \frac{\min_{1\leq q\leq K} \min_{1\leq r\leq K, r\neq q} dist(C_q, C_r)}{\max_{1\leq p\leq K} diam(C_p)}$|量化簇的紧凑性和分离性|$D$ 值越大越好|
|原始数据表示空间|Davies - Bouldin 指数|$DB = \frac{1}{K} \sum_{k = 1}^{K} \max_{m\neq k} \left(\frac{\Delta(C_k) + \Delta(C_m)}{d(\nu_k, \nu_m)}\right)$|簇内散布与簇间分离的比率|$DB$ 值越小越好|
|聚类集成空间|Average Normalized Mutual Information(ANMI)|$ANMI(P^
, P) = \frac{1}{N} \sum_{l = 1}^{N} \frac{MI(P^
, P^l)}{\sqrt{H(P^
)H(P^l)}}$|衡量共识分区与聚类集成中各分区的一致性|值越高越好|
|聚类集成空间|Average Cluster Consistency(ACC)|$ACC(P^
, P) = \frac{1}{N} \sum_{i = 1}^{N} sim(P^i, P^
)$|衡量聚类集成中的簇与共识分区中的簇的匹配程度|值越高越好|
|学习到的成对相似性空间|Silhouette - 样有效性指数|$ssi = \frac{asi - bsi}{\max{asi, bsi}}$,$Ss = \frac{1}{n} \sum_{i = 1}^{n} ssi$|在相似性空间中衡量簇内紧凑性和簇间可分离性|$Ss$ 值越接近 1 越好|
|学习到的成对相似性空间|Dunn - 样验证指数|$Ds = \frac{\min_{1\leq p\leq K} diams(C_p)}{\max_{1\leq q\leq K} \max_{1\leq r\leq K, r\neq q} sim(C_q, C_r) + 1}$|适应相似性表示的簇紧凑性和分离性衡量|$Ds$ 值越大越好|
|学习到的成对相似性空间|Davies 和 Bouldin 的有效性指数|$DBs = \frac{1}{K} \sum_{k = 1}^{K} \max_{m\neq k} \left(\frac{s(ν_k, ν_m)}{\Delta_s(C_k) + \Delta_s(C_m)}\right)$|适应相似性表示的簇内散布与簇间分离比率|$DBs$ 值越大越好|
|基于成对相似性|统计有效性指数|$L(X|P^
) = \prod_{i = 1}^{N} p(x_i|P^
)$,$p(x_i|P^
) = \sum_{k = 1}^{K} p(x_i|C_k \in P^*) \cdot Pr(C_k)$|基于数据在给定分区下的似然性评估分区质量|值越大越好|
从上述表格可以看出,不同的验证指标从不同的角度对聚类结果进行评估。原始数据表示空间的指标主要关注数据点在簇内和簇间的距离关系;聚类集成空间的指标侧重于共识分区与聚类集成中各分区的一致性;学习到的成对相似性空间的指标则是对原始指标在相似性表示下的改进;而基于成对相似性的统计有效性指数则从数据的似然性角度进行评估。
实验分析
在多个合成和真实数据集上进行了实验,以分析和比较不同验证指标在原始、聚类集成和相似性空间中的性能。实验结果表明,不同的指标在不同的数据集和聚类场景下表现各异。
例如,在某些数据集上,Silhouette 指数能够很好地识别出紧凑且分离的簇,但在数据分布较为复杂的情况下,其表现可能不如 Dunn’s 指数。而在评估共识分区与聚类集成的一致性方面,ANMI 和 ACC 指标能够提供有价值的信息。
在相似性空间中,修改后的指标能够更好地适应基于成对相似性的表示,从而更准确地评估聚类结果。例如,Silhouette - 样有效性指数在相似性表示下能够有效地衡量簇内紧凑性和簇间可分离性。
总结与应用建议
综上所述,在进行聚类组合和验证时,应根据具体的数据集和聚类目标选择合适的验证指标。如果数据分布较为规则,且希望评估簇的紧凑性和分离性,可以优先考虑原始数据表示空间的指标,如 Silhouette 指数、Dunn’s 指数和 Davies - Bouldin 指数。
如果关注共识分区与聚类集成中各分区的一致性,可以使用聚类集成空间的指标,如 ANMI 和 ACC。
当数据以成对相似性的形式表示时,学习到的成对相似性空间的指标,如 Silhouette - 样有效性指数、Dunn - 样验证指数和 Davies 和 Bouldin 的有效性指数将更为适用。
而基于成对相似性的统计有效性指数则可以从数据的似然性角度提供额外的评估信息,有助于更全面地评估聚类结果。
以下是选择验证指标的决策 mermaid 图:
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;
A([开始]):::startend --> B{数据表示形式}:::decision
B -->|原始数据| C{关注重点}:::decision
C -->|簇紧凑性和分离性| D(选择原始数据空间指标):::process
C -->|与聚类集成一致性| E(选择聚类集成空间指标):::process
B -->|成对相似性| F(选择相似性空间指标):::process
D --> G(评估聚类结果):::process
E --> G
F --> G
G --> H{是否需要似然性评估}:::decision
H -->|是| I(结合统计有效性指数):::process
H -->|否| J([结束]):::startend
I --> J
通过合理选择和使用这些验证指标,我们可以更准确地评估聚类组合的结果,从而选择出最适合的聚类解决方案,提高数据聚类的质量和可靠性。
301



被折叠的 条评论
为什么被折叠?



