对比学习论文阅读 simCLR A Simple Framework for Contrastive Learning of Visual Representations

对比学习论文阅读：

对比学习论文阅读 simCLR A Simple Framework for Contrastive Learning of Visual Representations-优快云博客

对比学习论文阅读 MOCO Momentum Contrast for Unsupervised Visual Representation Learning-优快云博客

对比学习论文阅读 BYOL Bootstrap Y our Own LatentA New Approach to Self-Supervised Learning-优快云博客

对比学习论文阅读 SimSiam Exploring Simple Siamese Representation Learning-优快云博客

---

一个视觉表征对比学习的简单框架 simCLR

对比学习训练网络依赖于借口任务（代理任务），代理任务可能会限制学习到的表征的普遍性

simCLR得出的结论：1、数据增强方式重要；2、在表示层和对比损失层之间加一个可学习的非线性层（MLP）有结果有益；3、与监督学习相比，对比学习受益于更大的批量和更多的训练步骤

hi,hj为MLP层：zi与zj对比损失效果优于hi和hj对比（结论2）

图像的表示效果h仍然优于z所以模型训练完成后，需要保留的是f(·) ，MLP仅是辅助训练过程