4.无监督算法 SimCLR

有点像词向量预训练模型，这个框架可以作为很多视觉相关的任务的预训练模型，可以在少量标注样本的情况下，拿到比较好的结果。

结果

该研究一次就把无监督学习（学习后再用于分类等后续任务）的指标提升了 7-10%，甚至可以媲美有监督学习的效果。在这篇论文中，研究者发现[4]：

• 多个数据增强方法组合对于对比预测任务产生有效表示非常重要。此外，与有监督学习相比，数据增强对于无监督学习更加有用；
• 在表示和对比损失之间引入一个可学习的非线性变换（MLP）可以大幅提高模型学到的表示的质量；
• 与监督学习相比，对比学习得益于更大的批量和更多的训练步骤。

基于这些发现，他们在 ImageNet ILSVRC-2012 数据集上实现了一种新的半监督、自监督学习 SOTA 方法——SimCLR。在线性评估方面，SimCLR 实现了 76.5% 的 top-1 准确率，比之前的 SOTA 提升了 7%。在仅使用 1% 的 ImageNet 标签进行微调时，SimCLR 实现了 85.8% 的 top-5 准确率，比之前的 SOTA 方法提升了 10%。在 12 个其他自然图像分类数据集上进行微调时，SimCLR 在 10 个数据集上表现出了与强监督学习基线相当或更好的性能。

自监督情况下

固定特征提取层, 使用所有数据训练softmax分类器

小数据集fineturn

所有参数微调

迁移学习

所有数据

The Illustrated SimCLR Framework

Published March 04, 2020 in illustration

https://amitness.com/2020/03/illustrated-simclr/

近年来，众多的自我监督学习方法被提出用于学习图像表示，每一种方法都比前一种更好。但是，他们的表现仍然低于有监督的方法。当Chen等人在他们的研究论文“SimCLR：A Simple Framework for Contrastive Learning of Visual Representations”中提出一个新的框架时，这种情况改变了。SimCLR论文不仅改进了现有的自监督学习方法，而且在ImageNet分类上也超越了监督学习方法。在这篇文章中，我将用图解的