何恺明团队最新力作SimSiam：消除表征学习“崩溃解”，探寻对比表达学习成功之根源

最新推荐文章于 2025-01-09 16:25:30 发布

原创

最新推荐文章于 2025-01-09 16:25:30 发布 · 2.1k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #算法 #神经网络 #深度学习 #机器学习

SimSiam是FAIR的研究人员提出的无监督学习方法，通过简单的Siamese网络结构避免了表达学习中的“崩溃”问题。该方法不需要负样本对、大批次或动量编码器，仅使用stop-gradient操作就能学习到有意义的特征表示。实验表明，stop-gradient是防止“崩溃”的关键，同时对比学习方法的成功部分归因于孪生网络架构。SimSiam在ImageNet及下游任务上表现出竞争力，为无监督学习提供了新的视角。

该文是FAIR的陈鑫磊&何恺明大神在无监督学习领域又一力作，提出了一种非常简单的表达学习机制用于避免表达学习中的“崩溃”问题，从理论与实验角度证实了所提方法的有效性；与此同时，还侧面证实了对比学习方法成功的关键性因素：孪生网络。

paper: https://arxiv.org/abs/2011.10566

本文为极市平台原创，作者Happy，转载需获授权。

Abstract

孪生网络已成为无监督表达学习领域的通用架构，现有方法通过最大化同一图像的两者增广的相似性使其避免“崩溃解(collapsing solutions)”问题。在这篇研究中，作者提出一种惊人的实证结果：**Simple Siamese(SimSiam)**网络甚至可以在无（(1) negative sample pairs；(2)large batch；(3)momentum encoders）的情形下学习有意义的特征表达。

作者通过实验表明：对于损失与结构而言，“崩溃解”确实存在，但是“stop-gradient”操作对于避免“崩溃解”有非常重要的作用。作者提出了一种新颖的“stop-gradient”思想并通过实验对其进行了验证，该文所提SimSiam在ImageNet及下游任务上均取得了有竞争力的结果。作者期望：这个简单的基准方案可以驱动更多研员重新思考无监督表达学习中的孪生结构。

Method

上图给出了该文所提SimSiam的示意图，它以图像 $x$ 的两个随机变换 $x_1, x_2$ 作为输入，通过相同的编码网络 $f$ (它包含一个骨干网络和一个投影MLP头模块，表示为h)提取特征并变换到高维空间。此外作者还定义了一个预测MLP头模块h，对其中一个分支的结果进行变换并与另一个分支的结果进行匹配，该过程可以描述为 $p_1 = h(f(x_1)), z_2 = f(x_2)$ ，SimSiam对上述特征进行负cosine相似性最小化：