New_WR的博客

MoCo论文笔记   1 ABSTRACT 理论贡献： 提出用于无监督视觉表示学习的动量对比度（MoCo），从作为字典查找的对比学习的角度来看，构建了带有队列和移动平均编码器的动态字典，可以动态地构建大型且一致的词典，促进对比性无监督学习。 实验证明： MoCo在ImageNet分类的线性分类问题上具有竞争力。 MoCo学习到的表示形式可以很好地转移到下游任务中。 在PASCAL VOC，COCO和其他数据集上的7个检测/细分任务中，MoCo可以胜过其监督的预训练同类，有时甚至可以大大超过其性能。

SimCLR 论文笔记   1 ABSTRACT SimCLR： 用于视觉表征的对比学习框架，简化了最近提出的对比自我监督学习算法，无需专门的架构或存储库。 理论贡献： 组合数据増广在定义有效的预测任务中有重要作用 在视觉表征和对比损失之间引入可学习的非线性转换，可以改善所学习表征的质量 与监督学习相比，对比学习得益于更大的批量和更多的训练轮数 实验证明： 通过结合这些发现，我们能够大大胜过ImageNet上用于自我监督和半监督学习的先前方法。 由SimCLR学习的经过自我监督表示训练的线性分