Dual Contrastive Prediction for Incomplete Multi-view Representation Learning个人学习

摘要

问题：我们提出了一个统一的框架（unified framework）来解决 不完全多视图表示学习（incomplete multi-view representation learning）中的以下两个挑战性问题：i）如何学习统一不同视图的一致表示（a consistent representation unifying different views），ii）如何恢复丢失的视图（recover the missing views）。
解决：为了应对这些挑战，我们提供了一个信息理论框架（information theoretical framework），将一致性学习（consistency learning）和数据恢复（data recovery）作为一个整体来处理。在理论框架下，我们提出了一个新的目标函数（objective function），它联合解决了上述两个问题，并实现了可证明的充分最小表示（achieves a provable sufficient and minimal representation）。
具体做法：具体来说，一致性学习是通过对比学习（contrastive learning）->最大化不同视图的互信息（mutual information）来实现的，而缺失的视图是通过对偶预测（dual prediction）->最小化条件熵（dual prediction）来恢复的。
结论意义：据我们所知，这是第一个从理论上统一表示学习的跨视图一致性学习和数据恢复的工作。大量实验结果表明，在六个数据集上，该方法在聚类、分类和人类行为识别方面明显优于20种竞争性多视图学习方法。可以从以下位置访问代码https://pengxi.me.

介绍

在实际应用中，数据通常以多个视图或模式表示，它们通常具有多种异构属性（heterogeneous properties）。为了缩小这种异质差距（het