33、自监督学习模型与方法介绍

自监督学习模型与方法介绍

1. 引言

自监督学习是一种利用未标记数据学习数据分布的强大方法，可用于解决下游任务。本文将介绍多种自监督学习的模型和方法，包括聚类方法、对比学习方法、多模态模型以及预训练任务等。

2. 聚类方法

2.1 DeepCluster

DeepCluster认为像ImageNet这样的监督学习数据集“太小”，无法学习超越图像分类的通用特征。为了学习通用特征，需要在互联网规模的数十亿图像上进行训练，但标记如此大的数据集不可行。因此，DeepCluster提出了一种聚类方法，联合学习神经网络的参数和特征的聚类分配。
- 步骤 ：
1. 使用K-Means聚类算法迭代地对特征进行分组。
2. 将聚类分配作为伪标签来学习卷积神经网络（ConvNet）的参数。
3. 训练的最终产物是ConvNet的权重，这些权重已被证明是有用的通用视觉特征，在许多下游任务中表现优于已发表的最佳结果。

2.2 SwAV

SwAV（SWapping Assignments between multiple Views）通过预测一个视图的聚类分配（伪标签）来学习特征。
- 步骤 ：
1. 对同一输入图像x进行变换得到x1和x2，通过编码器𝑓𝑓𝜃𝜃生成表示z1和z2。
2. 将z1和z2的特征与一组K个原型向量{c1, …, cK}匹配，计算q1和q2。
3. 分别用q1和q2预测x2和x1的聚类分配。

与DeepCluster不同，SwAV