学习Self-Weighted Contrastive Fusion for DeepMulti-View Clustering

原创

已于 2025-10-05 23:46:08 修改 · 870 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #科研 #聚类 #论文笔记 #论文阅读 #算法

于 2025-10-05 23:44:10 首次发布

一、摘要

二、研究背景

随着多媒体技术的快速发展，数据通常从多个来源或通过多种特征进行描述，形成多视图数据。例如，一个视频包含图像帧（视觉视图）、音频流（音频视图）和字幕文本（文本视图）。这些视图既共享着一致的语义信息，也包含各自特有的信息。

多视图聚类 作为一种重要的无监督学习方法，旨在探索多个视图之间的一致性和互补性信息，从而获得比单视图聚类更 robust、更准确的聚类结果。近年来，深度多视图聚类 方法因其强大的特征学习能力而备受关注，它们通常利用自编码器来学习每个视图的非线性潜在特征，然后进行特征融合与聚类。

然而，尽管取得了显著进展，该领域仍面临一些长期存在的根本性挑战。

三、应用场景

本研究所提出的方法适用于任何需要从多源、多模态数据中发掘内在结构（聚类）的应用场景，主要包括：

视频内容分析：融合视觉、音频、文本等多模态信息进行场景或事件聚类。
生物信息学：整合基因、蛋白、临床数据等多种生物视图对疾病亚型进行聚类分析。
跨模态检索与推荐：学习商品图像与文本描述的统一表征，进行商品聚类。
大规模多媒体数据管理：对来自网络的海量多源、多模态数据进行自动组织和归档。

论文在九个公共数据集上进行了验证，涵盖了小规模（如MNIST-USPS, BDGP）和大规模（如CCV, Cifar100）场景，证明了其广泛的适用性。

四、研究点/核心问题

论文精准地指出了当前深度多视图聚类领域面临的两个主要挑战：

目标冲突问题：模型需要在同一特征空间内同时完成两个矛盾的目标——学习视图间共识信息（用于聚类）和重构视图私有信息（用于自编码器训练）。前者要求过滤视图特有信息，后者要求保留所有信息以供重构，这种冲突限制了模型性能。
表示退化问题：现有基于对比学习的方法通常平等地对待所有视图，迫使所有视图的特征相互对齐。这会导致高质量视图的特征被低质量、高噪声的视图所“污染”，从而引发表示退化，损害聚类性能。

问题：

这篇论文的核心是解决多视图聚类中的两个根本性矛盾：

共识与私有信息的矛盾：多视图数据既包含所有视图共享的共识信息（Consensus Information），也包含每个视图独有的私有信息（View-Private Information）。聚类任务需要的是共识信息，而私有信息（如某个摄像头的独特噪声、某种传感器的特定偏差）对于聚类来说是冗余甚至有害的。传统方法在同一个特征空间里既要学习共识（做聚类），又要重构私有信息（保证自编码器有效），这就像让一个学生同时学习数学和美术，目标不一致，会导致互相干扰。论文称之为 “目标冲突”（Objective Conflict）。
一致性与退化性的矛盾：通过对比学习拉近不同视图的特征（追求一致性）是有效的，但如果盲目地、平等地让所有视图互相看齐，会导致表示退化（Representation Degeneration）。即高质量的视图（信息丰富、噪声少）会被低质量的视图（噪声大、信息少）“拖后腿”，被迫向低质量视图对齐，从而导致所有视图学到的特征都变差了。