19、选择性伪标签聚类：解决高维数据聚类难题

选择性伪标签聚类：解决高维数据聚类难题

1. 聚类概述

聚类是将数据集划分为多个簇的任务，使得同一簇内的数据点彼此相似，不同簇的数据点不同。它适用于任何有数据点相似性概念的数据集，无需监督学习的显式标签或自监督学习中的对称性和不变性知识。成功的聚类能让我们用所属簇来描述数据，这在人类认知中很常见，比如听到声音想到“水”这个词，看到视频想到“跳跃”动作。然而，在处理高维数据时，经典算法如 k - 均值或期望最大化算法由于“维度诅咒”表现不佳，因为在高维空间中，欧几里得距离这个相似性基础会变弱。

2. 相关工作

• 自动编码器方法 ：早期的深度图像聚类模型通过在重建损失上训练自动编码器（AE），然后在潜在空间进行聚类，并使用损失项使潜在空间更适合聚类。
• 集成聚类与损失优化 ：一些方法将编码器训练与聚类集成，定义不同的损失函数。例如基于学生 t 分布的软聚类分配损失，先预训练 AE，再交替进行聚类分配和编码器训练。后续工作还进行了改进，如预训练后使用重建损失和正则化以鼓励簇大小均衡。还有方法用可直接通过梯度下降优化簇质心的聚类损失替代交替优化。
• 伪标签训练 ：有研究将聚类分配解释为伪标签，用于训练多层感知器，交替进行编码聚类和将这些簇作为标签训练编码器。
• 生成对抗网络（GAN） ：GAN 在图像合成方面成果显著，基于 GAN 的图像聚类模型设计生成器从潜在空间采样，恢复输入图像的潜在向量并聚类。
• 对抗训练与过滤