对比学习论文阅读 MOCO Momentum Contrast for Unsupervised Visual Representation Learning

 对比学习论文阅读：

对比学习论文阅读 simCLR A Simple Framework for Contrastive Learning of Visual Representations-优快云博客

对比学习论文阅读 MOCO Momentum Contrast for Unsupervised Visual Representation Learning-优快云博客

对比学习论文阅读 BYOL Bootstrap Y our Own LatentA New Approach to Self-Supervised Learning-优快云博客

对比学习论文阅读 SimSiam Exploring Simple Siamese Representation Learning-优快云博客

---

无监督视觉表征学习的动量对比

无监督学习在NLP应用广泛，但在CV领域一般。原因可能是二者的信息类型不同，nlp的信息是浓缩的语义信息，而cv的信息是高维连续的。

将对比学习描述成一个字典匹配的问题。

以往的对比学习方法也都可以看作一个字典查询任务，但以往方法无法同时兼顾大字典和一致性两方面。

动量的含义：​这里的m是超参数, Yt是这一时刻你想要改变的输出，Y{t-1}为上一时刻的输出，Xt是当前时刻的输入，实质就是不想当前时刻的输出完全依赖于当前时刻的输入，也希望继承之前的输出的信息。

对比学习字典需满足的两个特性：1、字典要尽可能大2、在训练的时候要保证字典的一致性。  MOCO的解决方式：