探索聚类集成技术性能极限与多特征相似性轮廓分组
1. 聚类集成技术性能极限探索
在聚类集成技术中,我们关注如何衡量聚类结果的质量以及探索其性能极限。首先,定义了距离总和(SOD)的概念,对于一个聚类结果 $\tilde{P}$,其 SOD 为 $SOD(\tilde{P}) = \sum_{i=1}^{N} d(\tilde{P}, P_i)$,其中 $d$ 是距离函数,$P_i$ 是已知的分区。而最优分区 $P^ $ 的 SOD 为 $SOD(P^ ) = \sum_{i=1}^{N} d(P^ , P_i)$,并且有 $SOD(\tilde{P}) \geq SOD(P^ )$。
由于 $P^
$ 和 $SOD(P^
)$ 通常是未知的,我们采用一个下界 $\Gamma$ 来衡量 $\tilde{P}$ 的质量,即 $0 \leq \Gamma \leq SOD(P^*) \leq SOD(\tilde{P})$,用 $SOD(\tilde{P}) - \Gamma$ 来评估 $\tilde{P}$ 的质量。这个下界 $\Gamma$ 可以通过线性规划来计算,具体如下:
最小化 $x_1 + x_2 + \cdots + x_N$,约束条件为:
- 对于任意 $i, j \in {1, 2, \cdots, N}$,$i \neq j$,有
- $x_i + x_j \geq d(P_i, P_j)$
- $x_i + d(P_i, P_j) \geq x_j$
- $x_j + d(P_i, P_j) \geq x_i$
- 对于任意 $i \in {1, 2, \cdots, N}$,有 $x_i \geq 0$
计算得到的偏差 $\Delta = SOD(\tilde{P}) - \Gamma$ 可以提示 $\tilde{P}$ 的绝对准确性。如果 $\Delta \approx 0$,则说明对于当前数据集,几乎没有进一步改进的空间。
1.1 实验设置
为了研究下界 $\Gamma$,我们进行了一系列实验,实验设置包括以下几个方面:
-
度量距离函数
:选择了三种可证明为度量的距离函数,分别是:
-
信息方差
:$d_{vi}(P, Q) = H(P) + H(Q) - 2I(P, Q)$,其中 $H(P)$ 和 $H(Q)$ 分别是 $P$ 和 $Q$ 的熵,$I(P, Q)$ 是它们的互信息。
-
van Dongen 度量
:$d_{vd}(P, Q) = 1 - \frac{1}{2n} \left( \sum_{C_p \in P} \max_{C_q \in Q} |C_p \cap C_q| + \sum_{C_q \in Q} \max_{C_p \in P} |C_q \cap C_p| \right)$
-
Mirkin 度量
:设 $a$ 为在 $P$ 中共同聚类但在 $Q$ 中不共同聚类的模式对数量,$b$ 为在 $Q$ 中共同聚类但在 $P$ 中不共同聚类的模式对数量,则 $d_m(P, Q) = a + b$。
-
聚类集成方法
:使用了两种聚类集成方法:
-
证据积累方法(EAC - AL)
:计算共现矩阵,将其解释为模式之间的新相似性度量,然后使用层次聚类算法得到共识分区,这里只报告平均链接变体的结果。
-
随机游走方法(RW)
:同样基于共现矩阵,但采用随机游走分割算法产生最终聚类。
-
数据集
:使用了两个数据源的十一个数据集,包括九个 UCI 数据集和两个人工数据集,具体信息如下表所示:
| 数据集 | $n$ | # 属性 | # 聚类 |
| — | — | — | — |
| Iris | 150 | 4 | 3 |
| Wine | 178 | 13 | 3 |
| Breast | 683 | 9 | 2 |
| Optic | 1000 | 64 | 10 |
| Soy | 47 | 35 | 2 |
| Glass | 218 | 9 | 7 |
| Haberman | 306 | 3 | 2 |
| Mammo | 830 | 5 | 2 |
| Yeast | 1484 | 8 | 10 |
| 2D2K | 500 | 2 | 2 |
| 8D5K | 1000 | 8 | 5 |
-
测试协议
:对于给定的集成 $P$,使用 EAC - AL 或 RW 计算最终聚类 $\tilde{P}$,使用 $SOD(\tilde{P})$、下界 $\Gamma$ 和偏差 $\Delta’ = \frac{SOD(\tilde{P}) - \Gamma}{SOD(\tilde{P})}$(百分比)来表征性能。对于每个数据集,重复此过程十次并报告平均度量。
1.2 实验结果与讨论
实验结果如下表所示,偏差 $\Delta’$ 可以解释为进一步改进的潜力。
| 证据积累方法 EAC - AL | dvi | | | dvd | | | dm | | |
| — | — | — | — | — | — | — | — | — | — |
| 数据集 | $SOD(\tilde{P})$ | $\Gamma$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma$ | $\Delta’(\%)$ |
| Iris | 8.22 | 7.24 | 12.0 | 2.26 | 2.16 | 4.3 | 27621 | 25113 | 9.1 |
| Wine | 2.01 | 1.86 | 7.7 | 0.35 | 0.33 | 5.1 | 7232 | 6777 | 6.3 |
| Breast | 1.16 | 1.08 | 7.3 | 0.16 | 0.15 | 3.8 | 71244 | 68392 | 4.0 |
| Optic | 7.50 | 6.37 | 15.0 | 2.06 | 1.85 | 10.0 | 378439 | 315016 | 16.8 |
| Soy | 3.90 | 3.79 | 2.9 | 1.65 | 1.62 | 1.9 | 1616 | 1591 | 1.6 |
| Glass | 5.20 | 4.66 | 10.4 | 1.37 | 1.24 | 9.4 | 39909 | 33939 | 15.8 |
| Haberman | 7.60 | 7.58 | 0.3 | 2.84 | 2.84 | 0.0 | 233417 | 232994 | 0.2 |
| Mammo | 1.77 | 1.77 | 0.0 | 0.38 | 0.38 | 0.0 | 248649 | 248649 | 0.0 |
| Yeast | 13.94 | 11.40 | 18.3 | 3.85 | 3.34 | 13.4 | 3512666 | 3010184 | 14.3 |
| 2D2K | 4.86 | 4.69 | 3.0 | 1.18 | 1.15 | 3.0 | 1037580 | 978050 | 5.7 |
| 8D5K | 4.97 | 4.91 | 1.8 | 1.69 | 1.66 | 2.0 | 585462 | 579262 | 1.1 |
| 随机游走方法 RW | dvi | | | dvd | | | dm | | |
| 数据集 | $SOD(\tilde{P})$ | $\Gamma$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma$ | $\Delta’(\%)$ |
| Iris | 8.40 | 7.24 | 13.8 | 2.28 | 2.16 | 5.2 | 28067 | 25113 | 10.5 |
| Wine | 2.09 | 1.86 | 10.0 | 0.35 | 0.33 | 4.5 | 7242 | 6777 | 5.8 |
| Breast | 1.49 | 1.08 | 27.7 | 0.20 | 0.15 | 23.9 | 90032 | 68392 | 24.0 |
| Optic | 11.38 | 6.37 | 44.0 | 3.90 | 1.85 | 50.9 | 749459 | 315016 | 57.7 |
| Soy | 6.19 | 3.79 | 36.9 | 4.08 | 1.62 | 52.0 | 3433 | 1591 | 49.3 |
| Glass | 7.96 | 4.66 | 41.1 | 2.53 | 1.24 | 45.9 | 69186 | 33940 | 49.3 |
| Haberman | 7.70 | 7.58 | 1.5 | 2.86 | 2.84 | 0.7 | 234484 | 232995 | 0.6 |
| Mammo | 1.77 | 1.77 | 0.0 | 0.38 | 0.38 | 0.0 | 248650 | 248650 | 0.0 |
| Yeast | 18.60 | 11.40 | 38.2 | 10.51 | 3.34 | 67.5 | 6606869 | 3010185 | 53.4 |
| 2D2K | 4.69 | 4.69 | 0.0 | 1.15 | 1.15 | 0.0 | 978050 | 978050 | 0.0 |
| 8D5K | 5.24 | 4.91 | 5.9 | 2.43 | 1.66 | 15.0 | 721412 | 579262 | 11.3 |
对于 Haberman、Mammo 和 2D2K 三个数据集,$SOD(\tilde{P})$ 几乎达到了下界 $\Gamma$,这表明几乎没有进一步改进的空间。而对于偏差较大的情况,可能是下界不够紧或者计算得到的解 $\tilde{P}$ 离最优解 $P^*$ 还很远。在这种情况下,我们可以生成更多的集成并计算更多的共识聚类候选,然后使用 $SOD$ 来选择最终解。
此外,不同的距离函数可能会导致偏差值不一致,这是因为不同的距离函数对相似性的看法不同,用户需要根据具体的数据聚类任务选择更合适的距离函数。
对于 Mirkin 距离 $d_m$,还定义了一个特定的下界 $\Gamma_m$:
$\Gamma_m = \sum_{i<j} \min \left( \sum_{k=1}^{N} X_{ij}^{(k)}, N - \sum_{k=1}^{N} X_{ij}^{(k)} \right)$
其中 $X_{ij}^{(k)}$ 是一个伯努利随机变量,如果 $x_i$ 和 $x_j$ 在分区 $P_k$ 中共同聚类,则为 1,否则为 0。比较 $\Gamma$ 和 $\Gamma_m$ 的结果如下表所示:
| 数据集 | $\Gamma$ | $\Gamma_m$ | $(\Gamma_m - \Gamma)/\Gamma(\%)$ |
| — | — | — | — |
| Iris | 25113 | 26377 | 5.0 |
| Wine | 6777 | 6820 | 0.6 |
| Breast | 68392 | 71196 | 4.1 |
| Optic | 315016 | 335678 | 6.6 |
| Soy | 1591 | 1599 | 0.5 |
| Glass | 33940 | 34513 | 1.7 |
| Haberman | 232995 | 233273 | 0.1 |
| Mammo | 248650 | 248650 | 0.0 |
| Yeast | 3010185 | 3224160 | 7.1 |
| 2D2K | 978050 | 1168728 | 8.4 |
| 8D5K | 579262 | 584848 | 1.0 |
可以看到,在没有 $d_m$ 的具体知识的情况下,基于一般度量性质的下界 $\Gamma$ 几乎接近 $\Gamma_m$。
2. 多特征相似性轮廓分组
在计算机视觉领域,轮廓分组是一项关键任务,它从低级图像特征中提取有意义的对象信息,并为后续处理提供输入。传统上,许多聚类算法使用成对相似性度量,但由于自然图像中的噪声和背景杂乱等复杂因素,这些算法往往不够鲁棒,无法生成与人类感知的视觉对象一致的分组结果。
我们提出在基于信息的聚类框架下,利用多特征相似性来提高分组性能,并与使用成对相似性的其他聚类方法进行比较。
轮廓分组可以看作是一个聚类过程,根据格式塔感知组织定律,可以计算任意一对边缘元素(edgels)之间的相似性,因此大多数方法使用成对相似性矩阵作为聚类过程的输入。然而,成对相似性在捕捉全局数据结构方面存在局限性,无监督识别过程对特征描述的质量非常敏感,并且会受到背景中噪声特征的显著影响。
信息聚类(Iclust)通过利用集体而非成对的相似性度量,为数据关系提供了更灵活的描述。我们建议使用集体相似性度量,即多特征相似性,作为聚类过程的输入信息,并将分组结果与成对相似性产生的结果进行比较。
综上所述,聚类集成技术中的下界 $\Gamma$ 为评估聚类结果的质量和探索性能极限提供了一种有效的方法,而多特征相似性在轮廓分组中有望提高分组性能,为计算机视觉领域的相关任务带来更好的效果。
3. 加权聚类集成技术的扩展
聚类集成技术可以通过为每个涉及的分区 $P_i$ 分配一个权重 $w_i$ 来扩展,这个权重代表了分区的估计相对优点。加权中位数分区问题可以表述为:$P^* = \arg \min_{P \in P_X} \sum_{i=1}^{N} w_i \cdot d(P, P_i)$ ,这里假设较小的权重意味着更有利的分区。
线性规划下界 $\Gamma$ 可以很容易地扩展到处理加权聚类集成问题,得到下界 $\Gamma_w$ ,具体如下:
最小化 $w_1 \cdot x_1 + w_2 \cdot x_2 + \cdots + w_N \cdot x_N$,约束条件为:
- 对于任意 $i, j \in {1, 2, \cdots, N}$,$i \neq j$,有
- $x_i + x_j \geq d(P_i, P_j)$
- $x_i + d(P_i, P_j) \geq x_j$
- $x_j + d(P_i, P_j) \geq x_i$
- 对于任意 $i \in {1, 2, \cdots, N}$,有 $x_i \geq 0$
许多聚类集成方法可以很容易地集成这些权重。例如,在基于共现的技术(如 EAC - AL 和 RW)中,可以在计算共现矩阵时完成这一操作,这里我们仅使用了簇间距离作为权重。
3.1 加权算法的性能
加权算法的性能指标如下表所示:
| 加权证据积累方法 EAC - AL | dm | | | dvd | | | dvi | | |
| — | — | — | — | — | — | — | — | — | — |
| 数据集 | $SOD(\tilde{P})$ | $\Gamma_w$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma_w$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma_w$ | $\Delta’(\%)$ |
| Iris | 0.78 | 0.68 | 12.1 | 0.21 | 0.12 | 4.5 | 2599 | 2356 | 9.2 |
| Wine | 0.20 | 0.19 | 7.5 | 0.04 | 0.03 | 5.0 | 723 | 678 | 6.2 |
| Breast | 0.12 | 0.11 | 7.3 | 0.02 | 0.02 | 3.8 | 7119 | 6834 | 4.0 |
| Optic | 0.75 | 0.64 | 14.7 | 0.21 | 0.19 | 9.7 | 36742 | 31492 | 13.9 |
| Soy | 0.39 | 0.38 | 2.2 | 0.16 | 0.16 | 1.4 | 160 | 158 | 1.2 |
| Glass | 0.52 | 0.47 | 10.5 | 0.14 | 0.12 | 9.6 | 3996 | 3423 | 12.5 |
| Haberman | 0.77 | 0.76 | 1.5 | 0.29 | 0.29 | 0.8 | 23754 | 23303 | 1.9 |
| Mammo | 0.17 | 0.17 | 0.0 | 0.04 | 0.04 | 0.0 | 23794 | 23794 | 0.0 |
| Yeast | 1.40 | 1.14 | 18.4 | 0.38 | 0.33 | 13.2 | 353189 | 299571 | 15.0 |
| 2D2K | 0.52 | 0.52 | 0.0 | 0.13 | 0.13 | 0.0 | 107322 | 107834 | 0.0 |
| 8D5K | 0.49 | 0.48 | 1.3 | 0.16 | 0.16 | 1.6 | 56825 | 56218 | 1.0 |
| 加权随机游走方法 RW | dm | | | dvd | | | dvi | | |
| 数据集 | $SOD(\tilde{P})$ | $\Gamma_w$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma_w$ | $\Delta’(\%)$ | $SOD(\tilde{P})$ | $\Gamma_w$ | $\Delta’(\%)$ |
| Iris | 0.81 | 0.68 | 16.0 | 0.22 | 0.20 | 9.1 | 2753 | 2356 | 14.4 |
| Wine | 0.64 | 0.19 | 70.8 | 0.11 | 0.03 | 70.8 | 2303 | 677 | 70.6 |
| Breast | 0.22 | 0.11 | 50.6 | 0.03 | 0.02 | 50.5 | 13819 | 6834 | 50.5 |
| Optic | 1.12 | 0.64 | 43.0 | 0.36 | 0.19 | 46.0 | 55409 | 31492 | 42.2 |
| Soy | 0.52 | 0.38 | 25.5 | 0.39 | 0.16 | 47.6 | 307 | 157 | 42.3 |
| Glass | 0.85 | 0.47 | 44.7 | 0.30 | 0.13 | 51.9 | 6436 | 3422 | 42.5 |
| Haberman | 0.80 | 0.76 | 4.3 | 0.29 | 0.29 | 1.4 | 24101 | 23303 | 3.3 |
| Mammo | 0.17 | 0.17 | 0.0 | 0.04 | 0.04 | 0.0 | 23794 | 23794 | 0.0 |
| Yeast | 1.85 | 1.14 | 38.8 | 1.02 | 0.33 | 66.7 | 511552 | 299571 | 40.8 |
| 2D2K | 0.52 | 0.52 | 0.9 | 0.13 | 0.13 | 0.9 | 108495 | 107833 | 0.5 |
| 8D5K | 0.52 | 0.48 | 5.8 | 0.24 | 0.16 | 15.0 | 70603 | 56218 | 11.3 |
与未加权的结果相比,变化不大。对于 Haberman、Mammo 和 2D2K 三个数据集,$SOD(\tilde{P})$ 再次几乎达到了下界 $\Gamma_w$,这表明几乎没有进一步改进的空间。而对于偏差较大的情况,我们同样可以将偏差作为继续优化的提示。
4. 讨论与结论
- 下界 $\Gamma$ 的有效性 :在某些情况下,计算得到的解可以(几乎)达到下界 $\Gamma$,这意味着对于特定数据集,在使用的距离函数下,几乎没有进一步改进的空间。较大的偏差可能表示有一定的改进潜力,但这种潜力是不确定的,可作为继续优化的提示。
- 加权方法的表现 :加权聚类集成方法的结果与未加权的情况类似,对于部分数据集,下界仍然非常紧,说明加权方法在一定程度上也能有效评估聚类结果的质量。
- 特殊距离函数下的下界 :在 Mirkin 距离 $d_m$ 的情况下,通过与特定下界 $\Gamma_m$ 比较,发现基于一般度量性质的下界 $\Gamma$ 几乎能达到 $\Gamma_m$,这表明 $\Gamma$ 具有较好的通用性。
4.1 对非度量距离函数的扩展
定义下界 $\Gamma$ 时假设了度量距离函数 $d()$,其三角形不等式排除了一些特殊情况。但在实践中,可能存在不满足三角形不等式的距离函数。有研究将度量的概念扩展到了松弛的三角形不等式:$d(P, R) + d(R, Q) \geq \frac{d(P, Q)}{1 + \epsilon}$,其中 $\epsilon$ 是一个小的非负常数,这在数学中也称为拟度量。
只要 $\epsilon$ 不是很大,松弛的三角形不等式仍然保留了人类对相似性的直觉。通过相应地改变线性规划中的不等式,下界 $\Gamma$ 可以很容易地扩展到拟度量距离函数,这种扩展后的下界有望在基于拟度量的聚类集成方法中发挥作用。
整个研究过程可以用以下 mermaid 流程图表示:
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px
A([开始]):::startend --> B(选择数据集):::process
B --> C(选择聚类集成方法):::process
C --> D(选择度量距离函数):::process
D --> E(计算最终聚类 $\tilde{P}$):::process
E --> F(计算 $SOD(\tilde{P})$、$\Gamma$ 和 $\Delta'$):::process
F --> G{$\Delta'$ 是否接近 0?}:::decision
G -->|是| H(几乎无改进空间):::process
G -->|否| I(生成更多集成并计算候选解):::process
I --> J(使用 $SOD$ 选择最终解):::process
H --> K(结束评估):::process
J --> K
K --> L([结束]):::startend
综上所述,聚类集成技术中的下界 $\Gamma$ 为评估聚类结果的质量和探索性能极限提供了一种有效的方法,无论是在普通聚类集成还是加权聚类集成中都有重要作用。而多特征相似性在轮廓分组中有望解决传统聚类方法的不足,提高分组性能。同时,下界 $\Gamma$ 对拟度量距离函数的扩展也为处理更复杂的实际情况提供了可能。



被折叠的 条评论
为什么被折叠?



