46、共识聚类验证与成对概率聚类方法解析

共识聚类验证与成对概率聚类方法解析

在聚类分析领域，共识聚类验证和成对概率聚类是两个重要的研究方向。本文将深入探讨这两个方面的内容，包括相关的理论、实验结果以及新方法的提出。

共识聚类验证

在共识聚类验证中，我们首先关注的是数据分区的似然性计算。其中，diamk(xi) 表示以 xi 为中心且包含其邻域的区域的“直径”。由于相似性矩阵 C 的取值范围在 [0, 1] 之间，通过 1 - Cij 的转换可以得到不相似性度量，而直径则对应于 xi 的第 K_N 个最近邻的不相似性的两倍。

给定数据集 X 和数据分区 P，数据集 X 在分区 P 下的似然性定义为：
[L(X|P) = \sum_{i = 1}^{N} \sum_{k = 1}^{K} \frac{K_N}{n} \cdot V_k(x_i)]

这里，使用 L 作为有效性指标的基本原理是：在聚类集成中，共关联矩阵 C 对应于模式在一个聚类中成对共现概率的最大似然估计。将这种共现概率视为由聚类集成诱导的模式成对相似性，那么数据集 X 在组合分区 P 下的似然性可以通过 L(X|P ) 进行估计。基于成对相似性的统计有效性指标 L，对应于组合分区 P* 与聚类集成以及从中提取的成对信息的拟合优度。因此，最佳的组合策略应该能够使数据的似然值 L 达到最高。

同样地，我们也可以在原始数据表示空间中计算给定组合分区下数据的似然性。在这种情况下，似然性 L 对应于组合分区 P* 与原始表示中数据的统计特性的拟合优度。我们用 L_O 表示从原始数据表示计算得到的似然性，用 L_S 表示从共关联矩阵（诱导相似性）计算得到的似然性。

为了评估有效性